出资购房款给小三购房，赠与的标的是购房款，而非房屋，因此，不能要回房屋，但可以要回购房款，理由是：有配偶者赠与给小三购房款的赠与行为系违背社会公序良俗的行为和损害社会公共利益的行为，因此该赠与合同的效力是无效的，合同无效的，已经履行的部分，应当予以返还。

《民法典》第一百五十七条，民事法律行为无效、被撤销或者确定不发生效力后，行为人因该行为取得的财产，应当予以返还；不能返还或者没有必要返还的，应当折价补偿。有过错的一方应当赔偿对方由此所受到的损失；各方都有过错的，应当各自承担相应的责任。法律另有规定的，依照其规定。