未婚怀孕男方不承担责任时，你可以采取以下步骤来起诉他。
首先，要精心收集各类证据，像是你们之间的聊天记录，那些言语中能体现男方知晓你怀孕并且拒绝负责的内容；
还有通话录音，其中可能包含他对怀孕事件的态度和拒绝负责的表达。
同时，不要忘记收集产检资料，这能明确证明你怀孕的事实以及孕期产生的各项费用。
接着，向男方的住所地或者经常居住地的基层人民法院提起民事诉讼。
在起诉时，一定要明确清晰地提出诉讼请求，比如要求男方支付孕期检查所花费的费用、生产过程中产生的费用等一系列合理的开支。
法院受理案件后会进行认真的审理。
如果经过调查认定男方确实存在责任，那么法院会依据实际情况作出判决，让男方承担相应的费用。
需要特别注意的是，整个诉讼过程可能会比较复杂繁琐，涉及到诸多法律程序和细节。
为了能更好地维护自己的合法权益，建议你聘请一位专业的律师来协助你。
律师具备丰富的法律知识和实践经验，能够在诉讼过程中为你提供专业的指导和帮助，确保你的权益得到最大程度的保障。