借款人死亡时借款合同不一定终止。
借款人死亡后，继承人以所得遗产实际价值为限清偿被继承人依法应当缴纳的税款和债务。
超过遗产实际价值部分，继承人自愿偿还的不在此限。
但是，继承人放弃继承的，对被继承人依法应当缴纳的税款和债务可以不负清偿责任，借款合同终止。

《民法典》第一千一百五十九条
分割遗产，应当清偿被继承人依法应当缴纳的税款和债务；
但是，应当为缺乏劳动能力又没有生活来源的继承人保留必要的遗产。
第一千一百六十一条
继承人以所得遗产实际价值为限清偿被继承人依法应当缴纳的税款和债务。
超过遗产实际价值部分，继承人自愿偿还的不在此限。
继承人放弃继承的，对被继承人依法应当缴纳的税款和债务可以不负清偿责任。