针对几种常见情形，出租方有可能拒绝退还租赁保证金：
首先是未能依照租赁合约规定按时履行终止租赁合同的义务；
其次是损坏了租赁房室内的各项设施及设备，且未能给予适度的补偿或是及时修复；
再者，未经出租方事先许可便自行实施租赁房屋的转租；
此外，未能完全结算应该由承租方负担的包括水费、电费、燃气费和物业管理等相关费用；
最后，违反了租赁合同中有关房屋使用的具体约定，例如擅自更改房屋用途或者从事非法活动等等。
然而，值得我们关注的是，出租方如果想要拒绝退还租赁保证金，必须提供充足的证据来证实承租方确实存在以上所述的违约行为。
倘若双方对于是否应当返还租赁保证金产生分歧，那么可依据租赁合同中的争议解决条款，通过协商、调解、仲裁或者诉讼等途径加以解决。