退房违约金的数额是首付款还是房款取决于合同约定，且约定优先。
所以，合同中约定违约责任并明确违约金具体数额的，从其约定如果没有约定，按照相关法律规定处理。正常情况下如果没有约定违约金的百分比是多少，一般不超过百分之三十的。
双方都有过错的，按照各自过错程度分担。约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加，如果约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。

《民法典》第五百八十五条
当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加;约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。