可以退，但是需要双方协商自愿、根据双方签订的合同承担违约责任并支付违约金。如果买房人不与开发商签订《商品房买卖合同》，那么就会给开发商的销售造成影响甚至是损失，买房人需要依照《房屋认购协议书》的约定承担违约责任。
《民法典》第五百八十八条：当事人既约定违约金，又约定定金的，一方违约时，对方可以选择适用违约金或者定金条款。定金不足以弥补一方违约造成的损失的，对方可以请求赔偿超过定金数额的损失。