在对其收取贿赂后进行款项退还这一行为是否构成犯罪进行判断时，我们必须要考虑到具体的案情和相关因素。
如果行为人能在收到钱财之后立即将其退还或上交，那么通常情况下不会被认定为接受了贿赂。
然而，若是由于行为人本身或者涉及到与他的受贿行为密切关联的人、事情正在被审查之中，为了掩盖自己的犯罪行为而选择退还或者上交这些款项的话，这种情况仍然会被认定为受贿罪行。

《最高人民法院最高人民检察院关于办理受贿刑事案件适用法律若干问题的意见》第九条
国家工作人员收受请托人财物后及时退还或者上交的，不是受贿。国家工作人员受贿后，因自身或者与其受贿有关联的人、事被查处，为掩饰犯罪而退还或者上交的，不影响认定受贿罪。