买房协议书违约金的约定是：
1、对卖方而言，对于买方逾期支付房款的，违约金可约定自逾期之日起，每日按逾期应付款的万分之五支付违约金；
超过一定期限还未支付的，可视为构成根本违约，需按房屋总价款的20%支付违约金，合同解除；
2、对买方而言，卖方逾期履行合同义务的情况下，按买方已支付房款的万分之五要求卖方支付违约金。

《民法典》第五百八十五条
当事人可以约定一方违约时应当根据违约情况向对方支付一定数额的违约金，也可以约定因违约产生的损失赔偿额的计算方法。
约定的违约金低于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以增加；约定的违约金过分高于造成的损失的，人民法院或者仲裁机构可以根据当事人的请求予以适当减少。
当事人就迟延履行约定违约金的，违约方支付违约金后，还应当履行债务。