不能如此行事。
即使是轻微伤害行为尚未达到刑事犯罪的程度，打人者仍然需要履行其相应的民事赔偿责任。
依据《中华人民共和国民法典》中所涉及到的侵权责任规范条例来看，任何侵犯他人身体健康权益行为的肇事者，都必须对受害者所产生的医疗费、护理费、交通费、营养费以及住院伙食补贴费等合理的治疗及康复所需费用进行全额赔偿，同时还应赔偿由于误工而导致的收入损失。
倘若打人者拒绝支付这些赔偿款项，那么受害者便有权利向法院提出民事诉讼请求，要求您承担起赔偿责任。
在这种情况下，法院通常会根据双方当事人所提交的证据材料以及案件的实际情况来作出裁决。
如果您依然拒绝执行法院的判决，那么您可能会面临强制执行等法律程序的后果。
因此，我们强烈建议您积极地与受害者就赔偿问题展开协商，以期避免更严重的法律纠纷。