电话费充错对方不退违法，这属于不当得利。
民法典规定，得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还取得的利益。
得利人知道或者应当知道取得的利益没有法律根据的，受损失的人可以请求得利人返还其取得的利益并依法赔偿损失。

《民法典》第九百八十五条
得利人没有法律根据取得不当利益的，受损失的人可以请求得利人返还取得的利益，但是有下列情形之一的除外：
（一）为履行道德义务进行的给付；
（二）债务到期之前的清偿；
（三）明知无给付义务而进行的债务清偿。