根据相关法律法规，宣告无效的专利权应被视为自初始起并不存在。
然而，对于宣告无效之前由人民法院做出并已经执行的专利侵权判决、调解书，已经完成履行或正在进行强制执行的专利侵权纠纷处理决定，以及已经履行的专利实施许可合同和专利权转让合同，其效力不应受到追溯性的影响。
然而，由于专利权人的恶意行为给他人带来的损失，仍然需要对此类损害给出相应的赔偿。
根据上述规定，如果没有返还专利侵权赔偿金、专利使用费、专利权转让费等款项，并且此种行为明显背离了公平原则，则应当全额或部分地返还这些费用。

《中华人民共和国专利法》第四十七条
宣告无效的专利权视为自始即不存在。
宣告专利权无效的决定，对在宣告专利权无效前人民法院作出并已执行的专利侵权的判决、调解书，已经履行或者强制执行的专利侵权纠纷处理决定，以及已经履行的专利实施许可合同和专利权转让合同，不具有追溯力。
但是因专利权人的恶意给他人造成的损失，应当给予赔偿。
依照前款规定不返还专利侵权赔偿金、专利使用费、专利权转让费，明显违反公平原则的，应当全部或者部分返还。