若男方发现配偶存在不正当关系，他应当采取以下措施以维护自己的权益：
首先，应尽可能全面地收集有关证据，之后向当地法院提起离婚诉讼。
其次，在面临财产分配问题时，男方有权要求法庭根据过错程度对其进行适当的调整，如削减或完全不予分配对方的财产份额。
此外，若满足一定条件，男方还可向法院提出损害赔偿请求。

《中华人民共和国民事诉讼法》第一百二十条
起诉应当向人民法院递交起诉状，并按照被告人数提出副本。
书写起诉状确有困难的，可以口头起诉，由人民法院记入笔录，并告知对方当事人。
《民法典》第一千零八十七条
离婚时，夫妻的共同财产由双方协议处理；
协议不成的，由人民法院根据财产的具体情况，按照照顾子女、女方和无过错方权益的原则判决。
对夫或者妻在家庭土地承包经营中享有的权益等，应当依法予以保护。
第一千零九十一条
有下列情形之一，导致离婚的，无过错方有权请求损害赔偿：
（一）重婚；
（二）与他人同居；
（三）实施家庭暴力；
（四）虐待、遗弃家庭成员；
（五）有其他重大过错。