可以退还。“意向金”是房屋买卖双方(或中介参与的第三方)之间确定购买意向，保证双方权益的具有法律效应的保证金。
如果双方还没有签订房屋买卖合同，只是签订了认购意向书，而认购意向书对合同中的内容又没有明确约定，则这笔意向金就属于卖房方的不当得利，应当退还;如果双方已经签订了房屋买卖合同，对意向金有了相关约定，则买房人若退房就需要承担相关违约责任，意向金就不能退了。

《民法典》第五百八十八条当事人既约定违约金，又约定定金的，一方违约时，对方可以选择适用违约金或者定金条款。
定金不足以弥补一方违约造成的损失的，对方可以请求赔偿超过定金数额的损失。