首先，我们必须明确为何不能退回押金。
假如在租赁协议中已经明文规定了退还押金的相应条款，并且您已经做到了符合这些条款的全部要求，而出租人仍然拒绝退还押金的话，那么，您可以考虑采取如下几种适当的途径来处理这个问题：
首先，您可以尝试和出租人进行平等协商以寻求和平地解决这一纠纷，并明确告知他他的行为属于违约，以及需要尊重您作为租户的正当权益；
其次，如双方无法通过友好协商达成共识，您也可以向当地基层的调解委员会提出调解请求。
再次，请准备好租赁协议、支付押金的相关凭证等等相关的证据资料，然后向具备司法管辖权的人民法院递交起诉书以便启动法律程序。
值得强调的是，诉讼过程存在一定的时限性，左右一般的诉讼期限大约是三年时间。
在这段期间内，您务必要积极主动地维护自己的合法权益，以免因为超过诉讼时效而导致自身权益受到损害。