男人自愿给小三的钱能要回。婚内任何一方挣的钱都是夫妻共有，若男方给小三钱，该行为属于单方处置财产的行为，但其目的并不是为了家庭生活、工作经营的共同开支，这侵占了另一方的财产份额；当被侵占的一方发现后有权追回属于自己的那一半份额。

《中华人民共和国民法典》第一千零六十二条
夫妻在婚姻关系存续期间所得的下列财产，为夫妻的共同财产，归夫妻共同所有：
（一）工资、奖金、劳务报酬；
（二）生产、经营、投资的收益；
（三）知识产权的收益；
（四）继承或者受赠的财产，但是本法第一千零六十三条第三项规定的除外；
（五）其他应当归共同所有的财产。
夫妻对共同财产，有平等的处理权。