如果是用夫妻共同财产给小三付首付的，配偶可以要回。
而且夫妻对共同财产享有平等的处理权，并不意味着夫妻各自对共同财产享有一半的处分权。
只有在共同共有关系终止时，才可对共同财产进行分割，确定各自份额。
因此夫妻一方擅自将共同财产赠与他人的赠与行为应为全部无效，而非一半无效。

《民法典》第一千零六十二条
夫妻在婚姻关系存续期间所得的下列财产，为夫妻的共同财产，归夫妻共同所有：
（一）工资、奖金、劳务报酬；
（二）生产、经营、投资的收益；
（三）知识产权的收益；
（四）继承或者受赠的财产，但是本法第一千零六十三条
第三项规定的除外；
（五）其他应当归共同所有的财产。夫妻对共同财产，有平等的处理权。