需要按照约定支付违约金。出租的车要退车要看一下是否有违约的情形，有违约的情形就需要承担相应的违约金，违约金一般都会在合同中约定清楚，合同中没约定就会按照实际损失来算。
法律依据：
《合同法》第一百一十四条
违约金过高的比较标准为守约方的实际损失，如上所述，实际损失包括直接损失和履行利益损失。