原配想要追回给小三的钱，男方是否有责任，需分情况来看：
一、涉及夫妻共同财产时
若款项属于夫妻共同财产，男方未经原配同意就擅自赠与小三，这种行为是不合理的。
因为夫妻对共同财产有平等的处理权，任何一方都不能擅自处分。
比如，夫妻共同存款、婚后购买的房产所产生的收益等，都属于共同财产范畴。
在这种情况下，原配不仅有权要求小三返还该款项，同时也可向男方主张返还。
二、涉及男方个人财产时
当款项是男方的个人财产，且男方有合法的处分理由，例如小三曾在男方生命危急时刻对其进行救助，基于此合法行为男方赠与小三财物，原配可能就无法追回。
总之，要依据具体情况判断男方是否有责任返还给小三的款项。
要是存在争议，通过法律途径解决是较为妥当的选择。

案情回顾:

小朱与小李是夫妻，小李背着小朱给小三小胡转了一笔钱。小朱得知后要求追回，争议点在于这笔钱性质不同，男方责任也不同，小朱能否追回款项。

案情分析:

1、若该款项属于夫妻共同财产，比如是夫妻共同存款等，小李未经小朱同意擅自赠与小胡，此行为不合理。因夫妻对共同财产有平等处理权，小朱有权要求小胡返还，也可要求小李返还。
2、若款项是小李个人财产，且有合法处分理由，如小胡曾救助过小李生命，基于此小李赠与财物，小朱可能无法追回。