通常在以下几种特定的情况下，房主有权不予退还租户所缴纳的房屋押金：
首先，租户未能按照双方签订的租赁协议中规定的时间期限提前解除租赁关系，这种行为属于严重违反了合同规定，对房主造成了相应的经济利益损失；
第二，当租赁协议到期终止之际，发现所出租的房屋以及其中附属的设施设备遭遇到了人为损害，并且这种损害并非由于不可抗力或者自然因素导致，然而租户却拒绝承担起相应的维修或者补偿责任；
再次，在未经房主事先许可的前提下，租户擅自将房屋进行再租转让，违反了租赁协议的相关条款；
最后，租户未能按照租赁协议中的具体规定，如期足额地向房主支付应付的租金、水电费等相应的费用。
但值得注意的是，房主提出不予退还押金的要求时，必须要有明确的合同条款作为支持或者充分的实质性证据来证明租户确实存在以上几种违约行为。
与此同时，房主扣留的押金金额也应该是客观衡量的，不能超出租户因为违约行为而产生的实际经济损失。