在没有确凿证据能够证实男方给予小三钱财的情况下，要想将这些钱要回来确实存在一定的难度。
从法律层面来看，此类赠与行为有很大可能会被认定为不正当的利益输送。
然而，即便如此，在满足特定条件时，仍有要回钱款的可能。
比如说，倘若该赠与行为对夫妻共同财产的利益造成了损害，那么另一方就可以依法主张撤销该赠与行为。
但这需要去证明在赠与行为发生之时，存在着欺诈、胁迫等法定的情形，亦或是能够证明该赠与行为严重违反了公序良俗。
倘若无法提供有效的证据来证实上述这些情况，那么主张要回钱款的诉求很可能难以获得支持。
总之，在没有证据的这种情况下，要回男方给予小三的钱具有很大的不确定性，必须综合考量各种因素以及相关的法律规定，谨慎行事。

案情回顾:

小朱与小李在婚姻关系存续期间，小朱怀疑小李给小三钱财，但没有确凿证据。小朱想把这笔钱要回来，争议点在于缺乏证据的情况下，能否要回这笔疑似赠与小三的钱款。

案情分析:

1、在没有确凿证据证明小李存在赠与行为的情况下，小朱要回钱款面临很大的不确定性。因为法律上需要综合考虑多种因素以及相关法律规定，证据不足时诉求较难得到支持。
2、若小朱能够证明小李的赠与行为损害了夫妻共同财产利益，或者存在欺诈、胁迫等法定情形，又或是严重违反公序良俗，那么小朱就可以依法主张撤销小李的赠与行为，从而要回钱款，反之则诉求难以获支持。