Тут довольно двоякая ситуация, с одной стороны, если вам хорошо с этим человеком проводить время, а ваш муж в этом плане (эмоциональной близости) вас не удовлетворяет, расставшись с коллегой, который стал вам другом, вы будете чувствовать себя ужасно одинокой, с другой стороны не расставшись с ним у вас может возникнуть зависимость и желание быть вместе чаще что может привести к разводу с обеих сторон. Но тут уже надо выбирать что вам важнее: либо имеющейся семья с одиночеством, либо новая семья с человеком, с которым вам не скучно.
Думаю что им не совсем и комфортно было у вас дома. Выросли то они на улице, кроме кота и собаки. Вот если бы вы выпустили потом на волу стрижа и ящериц, вот это было бы добром