通常而言，在以下几种情形下，出租方有权扣除押金而不再予以归还：
首先，当承租人未能遵守租赁协议中规定的退租期限时；
其次，当承租人对房屋内部结构以及设施设备造成损害，并且拒绝对此进行赔偿和修复工作时；
再者，当承租人在未经出租方事先许可的情况下擅自将房屋转租给他人时；
最后，当承租人未能按照租赁协议中的规定按时足额支付租金以及其他相关费用，经过出租方多次催促后仍然未能履行义务时。
此外，如果租赁协议中已经明确列出了其他可能导致押金无法退还的违约情形，那么也需要依据这些条款来开展相关工作。
然而，在此要强调的是，出租方若想要扣除或不退还承租人的押金，必须要有充足的证据以证实承租人确实存在以上列举的任何一种违约行为。
倘若出租方没有合理理由就随意扣除押金，承租人则应该寻求通过与出租方进行友好协商处理、提交争议纠纷到相关机构调解或者直接提起法律诉讼等途径来保护自己的合法权益不受侵害。