不一定。
变更抚养权这件事，是可以由双方坐下来好好商量，达成一致后进行变更的。
要是双方商量不拢，那就可以向有管辖权的法院去提起诉讼。
那管辖权的确定，一般是以被告住所地或者经常居住地的法院来管辖为主要原则。
要是其中一方离开住所地已经超过一年，那另一方起诉离婚的案子，就可以由原告住所地的人民法院来管辖。
不过，对于变更抚养权的案子，有些地方有规定，是以被告住所地或者经常居住地的法院作为管辖法院的。
所以，不一定就非得回到当初离婚的那个地方去，具体到底该由哪个法院来管辖，得根据当地的法律规定以及实际的情况来好好确定。
这样一来，就能更准确地处理变更抚养权的相关事宜，避免出现一些不必要的麻烦。