在婚姻存续期间与他人进行非法同居行为的证据通常涵盖以下几个方面：
首先，可以提供双方共同居住的房屋租赁合同、购房合同或者房产证等相关文件，以证实他们的居住地点以及共同生活的具体状况；
其次，可以通过邻居、物业管理人员等人的证言来证明这对男女长期共同生活的事实；
再次，可以提供诸如亲密合照、录像等影像资料，例如他们共同进出住所、外出旅行等场景的记录；
最后，还可以提供双方的通信记录，如短信、微信聊天记录等，这些都能够反映出他们之间的亲密关系以及共同生活的具体内容。