通常来讲，伤残赔偿金到底该由谁来赔付，这得依据具体的保险合同以及事故的实际情况去确定。
要是在机动车交通事故责任强制保险（交强险）或者商业第三者责任险这些保险的范畴之内，并且是因为保险事故而引发了伤残的情况，一般来说，就是由保险公司来进行赔付。
不过，如果是雇主责任保险这类特定的险种，那很可能就是由雇主的保险公司来赔付。
要是出现了多种保险相互交叉，或者责任不太清晰的这种状况，那就得按照保险合同的约定以及相关的法律法规去确定最终的赔付主体。
总之，可不能随随便便就一概而论地说伤残赔偿金就一定得由保险公司来赔付，得具体问题具体地分析，得根据每一个案件的实际情况来判断到底该由谁来承担这个赔付的责任。