Ваш вопрос из разряда: я женат, но влюбился в другую, что делать? Что бы Вы не делали, жалеть или не жалеть о сделанном можно лишь по итогам, а "волков бояться - в лес не ходить!" Обычно идут к шефу и шантажируют - иногда повышают зарплату, иногда посылают ...и Вы уходите ...в свободное плавание. Удачи!

Во-первых, незаменимых людей не бывает, как мне кажется.
Во-вторых, надо спросить себя - есть ли преимущества у новой работы. Если их нет, то зачем переходить? Ну разве что для смены обстановки.
В-третьих, я считаю, что если уж возникло такое желание уйти, то надо уходить. С любимой работы и уходить не придёт в голову.

Ты никому ничего не должен(на)! Запомни это. Уходи если велит сердце.

Выйди из зоны комфорта

Идите вперёд! На место любого человека, пусть даже очень ценного, найдётся замена, а мучать себя ради другого не есть хорошо