如果没有合同方面的约定，特别是刚进入代理领域但还没实际开展业务，想要主张退出并且让对方退回全部的代理费，这可不是件容易的事。
要是双方都没清楚地约定代理的期限以及解除的条件之类的，那就得具体情况具体分析。
要是因为对方的原因，导致没法继续代理下去，那你可以跟对方好好商量商量，争取让对方退还一部分代理费。
可要是你自己因为某些原因决定要退出，对方很可能就会要求扣掉一定的费用，当作违约金或者是损失补偿。
这里得特别注意，法律上的规定以及具体的实践情况，可能会因为地区的不同、行业的差异而有所变化。
所以，你最好能跟对方好好地沟通、协商一下，把自己的想法和诉求说清楚，或者也可以去咨询一下专业的法律意见，这样才能更好地维护好自己的合法权益。