若借款人离世，债务并非一定要由其家属负责还款。
根据相关法律条文所述，当借款人离世之后，其所负债务通常应转由其配偶或法定继承人负责承担。
然而需注意的是，其他亲属如父母、子女等，若未领取借款人遗留财产的继承权，则无需对此部分债务承担偿还责任。
反之，若是以上人员领取了遗产，则应对其继承财产的实际价值内所涵盖的被继承人之债务进行清偿。

《民法典》第一千一百六十一条
继承人以所得遗产实际价值为限清偿被继承人依法应当缴纳的税款和债务。超过遗产实际价值部分，继承人自愿偿还的不在此限。
继承人放弃继承的，对被继承人依法应当缴纳的税款和债务可以不负清偿责任。
第一千一百六十二条
执行遗赠不得妨碍清偿遗赠人依法应当缴纳的税款和债务。