在搜集遗弃罪的证据时，首要关注的应为书证，例如能够明确证明被告人和被遗弃者之间关系的户口簿、结婚证书等文件。
其次，证人证言亦是不可或缺的一环，我们需要寻找了解案情的邻居、亲戚朋友等人，获取他们的相关陈述。
此外，物证也具有举足轻重的地位，例如被遗弃者当时所处的恶劣环境的照片、物品等。
在此基础上，还需重视视听资料的搜集工作，如相关的监控录像、录音等。
最后，被遗弃者的陈述同样视为重要的证据来源之一。

《中华人民共和国刑法》第二百六十一条
【遗弃罪】对于年老、年幼、患病或者其他没有独立生活能力的人，负有扶养义务而拒绝扶养，情节恶劣的，处五年以下有期徒刑、拘役或者管制。