倘若在动手打人之后，被动手者明确表示不接受任何形式的调解，而您又无法决定提起诉讼，那么您接下来可能会面对如下隐患与风险：
首先，如果对方所受的伤害已经达到了轻伤乃至更重级别的损伤等级，公共安全部门便有权力依照法律法规展开刑事调查程序，这个时候任何人都无法左右。
其次，即使对方的伤势尚未达到刑事立案的标准，他们仍有权通过民事诉讼的方式向您索求赔偿，如果您对此采取消极回避的态度，那么您将可能承受严重的不良后果。
然而，如果您坚决地选择不进行起诉，我们强烈建议您尽可能地收集和保留对您有利的证据，例如能够证明对方存在过错、或者证明您在此次事件中所做出的行动是在合理范围之内等等，这样一来可以预防未来可能出现的纠纷。
此外，您还需要充分考虑到可能产生的公众舆论压力以及社会评价。
总而言之，在面对此类问题时，您必须审慎地权衡各种利弊得失。