通常来讲，借款的实际使用人通常是要承担责任的。
要是借款人与实际使用人之间有明确的约定，规定由实际使用人来承担还款的责任，并且出借人也清楚知晓并同意这个约定，那么实际使用人就应当依照约定去履行还款的义务。
假如没有这样的约定，或者约定得不够清晰明确，出借人就可以向借款人主张让其还款，借款人在偿还了借款之后，是可以向实际使用人进行追偿的。
然而，在一些特殊的情形之下，比如说出借人明明知道借款实际上是被用于非法活动等情况，这就很可能会使得借款合同变为无效。
在这种情况下，实际使用人或许就不需要承担还款的责任了。
总之，不能一概而论，一定要根据具体的借款合同以及实际发生的情况来仔细判断借款的实际使用人到底应不应该承担责任。
如果借款合同中有明确的约定且符合法律规定，那么实际使用人就应当承担责任；如果存在特殊情况导致合同无效，那就需要具体问题具体分析，不能简单地让实际使用人承担还款责任。

案情回顾:

小朱向小李借款10万元，实际使用人是小胡，小朱与小胡约定由小胡还款，小李也知晓并同意。后小胡拒绝还款，小李要求小朱还款，小朱称有约定不应由自己还，双方产生争议。且若借款用于非法活动，实际使用人是否担责也成问题。

案情分析:

1、小朱与小胡有明确约定且小李知晓同意，按约定小胡应履行还款义务，小朱可据此抗辩小李要求其还款的诉求。
2、若借款用于非法活动，借款合同可能无效，此时小胡可能无需承担还款责任，需根据具体情况判断。