倘若有他人借取财物却迟迟未按约归还欠款，并进而前往借款人家庭进行索要银子，这一行为恐会对借款人家属的私隐权造成侵犯，乃至扰乱他们的日常生活与工作的正常秩序。
参照我中华人民共和国《民法典》第一百七十九条之规定，借款人有权请求停止侵害、排除妨碍、恢复原状等救济方式，甚至可以提出赔偿损失的诉求。
若借款人的行为已构成侵权，那么他便可向当地法院提起民事诉讼，请求被告方停止侵权行为、赔偿损失等。
同时，依据我国《民事诉讼法》第二百六十二条之规定，若借款人未能履行还款义务，人民法院有权采取限制其出境、将其失信情况录入征信系统、通过媒体公开披露其不履行义务的相关信息等多种手段。
这就意味着，如若借款人拒绝偿还债务，法院有权采取一系列法律措施以强制执行。
总而言之，当有人借钱不还并上门讨债时，借款人有权依法采取各种措施维护自身的合法权益，并且可以通过法律途径追究借款人的法律责任。

《中华人民共和国民法典》第一百七十九条
承担民事责任的方式主要有：
（一）停止侵害；
（二）排除妨碍；
（三）消除危险；
（四）返还财产；
（五）恢复原状；
（六）修理、重作、更换；
（七）继续履行；
（八）赔偿损失；
（九）支付违约金；
（十）消除影响、恢复名誉；
（十一）赔礼道歉。
法律规定惩罚性赔偿的，依照其规定。
本条规定的承担民事责任的方式，可以单独适用，也可以合并适用。