可以，但是如果代理人单方面不履行职责而给被代理人造成损害的，应当承担民事责任。
如果没有法定原因单方面解除代理合同，所造成的损害由原代理人承担；如果代理合同中有相关规定关于提前解除合同的，以代理合同为准。
法律依据：
《合同法》第410条
委托人或者受托人可以随时解除委托合同。因解除合同给对方造成损失的，除不可归责于该当事人的事由以外，应当赔偿损失。