不一定可以退还货物。在质量异议期内货物有问题可以退货，如果因为欠款不还的问题，不可以要求退货，但可以协商处理，如果对方同意退货就可以。
法律规定，当事人一方不履行合同义务或者履行合同义务不符合约定，给对方造成损失的，损失赔偿额应当相当于因违约所造成的损失；
包括合同履行后可以获得的利益，但不得超过违反合同一方订立合同时预见到或者应当预见到的因违反合同可能造成的损失。

《民法典》第五百八十四，条当事人一方不履行合同义务或者履行合同义务不符合约定，造成对方损失的，损失赔偿额应当相当于因违约所造成的损失，包括合同履行后可以获得的利益；
但是，不得超过违约一方订立合同时预见到或者应当预见到的因违约可能造成的损失。