依据相关法律规定，男方不按离婚协议归还钱，可以直接通过法院诉讼解决；如果对方只是因某种原因要求延期付款，双方可以重新签订还款协议。若该笔债务是原夫妻一方个人债务，即使该债务在婚姻关系存续期间所负，则该债务在离婚后仍应由其个人来负责归还;若该债务属夫妻共同债务，则该债务的承担应根据夫妻离婚的方式和对债务的约定或规定来确定由一方或双方来承担。离婚时，夫妻的共同财产由双方协议处理;协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。对夫或者妻在家庭土地承包经营中享有的权益等，应当依法予以保护。夫妻共同债务应当共同偿还。共同财产不足清偿或者财产归各自所有的，由双方协议清偿;协议不成的，由人民法院判决。

《中华人民共和国民法典》第一千零八十七条
离婚时，夫妻的共同财产由双方协议处理;协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。
《中华人民共和国民法典》第一千零八十九条
离婚时，夫妻共同债务应当共同偿还。共同财产不足清偿或者财产归各自所有的，由双方协议清偿;协议不成的，由人民法院判决。