关于能否要回给第三者的钱，需要分情况具体分析：
1.基于不正当关系给予的钱可通过法律途径要回：在一些特殊情况下，比如婚外情中一方给予第三者财物。
这种赠与行为违背了公序良俗，是不被法律所认可的。
公序良俗是社会公共秩序和善良风俗的简称，维护着社会正常的运转和基本的道德观念。
在此类情形下，相关方可以依法主张撤销该赠与行为，从而要回给予的财物。
2.基于合法关系给予的钱不能随意要回：若钱的给予是基于合法的交易、借贷关系，例如为第三者支付购房款，且有明确的交易或借贷约定，那么就需根据具体的法律关系和相关证据来判断能否要回。
3.复杂情况需综合考量：当涉及财产分割等复杂情况时，要综合考虑多种因素，像双方的过错程度等。
总之，能否要回给第三者的钱要依据具体事实和法律关系确定，不能一概而论。

案情回顾:

小朱与小丽是夫妻，小朱在婚外与小静发展不正当关系，期间小朱赠与小静大量财物。后小丽得知，要求小静返还财物，小静拒绝，双方产生争议。此外，小胡曾给第三者小李支付购房款，有借贷约定，后小胡想收回也起了纠纷。

案情分析:

1、小朱赠与小静财物基于不正当的婚外情关系，该赠与行为违背公序良俗，不被法律认可，小丽作为相关方有权依法主张撤销该赠与行为，要回财物。
2、小胡给小李支付购房款有明确借贷约定，属于基于合法关系给予钱的情况，需根据具体法律关系和相关证据判断小胡能否要回款项。
3、若涉及财产分割等复杂情况，要综合考虑双方过错程度等多种因素来确定能否要回给第三者的钱。