Причиной многих успехов Загоровский считал хорошее образование. Программа обучения сыновей Загоровского должна была выглядеть следующим образом: в первую очередь дети должны были научиться читать и писать на родном языке, затем следовало пригласить ученого «бакаляра» для продолжения домашнего образования, делая упор на изучении латыни. Далее, сыновья должны были отправиться к виленским иезуитам. Разница в вероисповедании нисколько не смущала Загоровского. Более того, отец предостерегал сыновей от модных увлечений протестантскими течениями. Закончив образование, дети должны были немедленно поступить на королевскую службу.
Также отец дал сыновьям весьма ценный совет в отношении вступления в брак: не прельщаться красотой избранниц, их богатством и знатностью. Больше обращать внимание на душевные качества, на готовность вместе прожить жизнь в доверии и любви. В этом случае Загоровский очень хорошо знал, о чем говорил. Насколько каштелян брыцлавский был удачлив в карьере, настолько несчастлив оказался он в личной жизни.
В феврале 1566 года князь Николай Андреевич Збаражский, староста кременецкий, выдавал свою дочь Марину (Марушу) за Василия Загоровского. Конечно, жених не относился к старой аристократии, но был образован и на хорошем счету. Князь, впрочем, не посчитал такой брак мезальянсом – было очевидно, что Загоровский далеко пойдет. Да и будущий зять еще во время сватовства проявил завидную рачительность: хотя и обеспечил долю будущей жены веновой записью в два раза превышавшей стоимость приданного, но вот имения покойной матери невесты вежливо попросил переписать на нее. Збаражскому пришлось признать, что зять его умница и в законах разбирается хорошо.
Начиналась жизнь молодых красиво. Вскоре после свадьбы по моде того времени молодые обменялись ценными подарками - записали друг на друга свои имения. Марина формально не могла записать мужу имений своей матери, поэтому имела места обычная хитрость: отдала их в залог мужу за несуществующий долг. А вот это вызвало настороженность князя Збаражского. На всякий случай князь Николай Андреевич внес запись в актовые книги о том, что дарение было совершено против воли его дочери. Финансовые дела и вмешательство родни привели к разладу в семье. Впрочем, это были только первые неприятности, но Загоровский сделал свои выводы и решил, что все происходит исключительно от родни его супруги.
Через некоторое время княгиня Збаражская, мачеха Марины, пожелала посетить свою падчерицу. На беду, пана Василия дома не оказалось, а его управляющий просто не пустил княгиню на порог. Через несколько дней в имение нагрянул сам князь для серьезного разговора с зятем. Но Загоровский все еще отсутствовал, а сопротивляться вооруженной свите князя управляющий сам не решился. Николай Андреевич забрал дочь с собой.
Перед Загоровским встал сложный вопрос: как вернуть домой жену? Тягаться со Збаражскими ему было явно не под силу. Да еще и выяснилось, что Марина беременна. Следовало крепко подумать.
Решение пришло само собой: Загоровский подал на тестя в суд, представив дело как вооруженный разбой и похищение. Збаражский тоже на зятя подал в суд, обвиняя в подлоге и попытке незаконного обогащения за счет его дочери. Ситуация для всех стала весьма некомфортной. И многое теперь зависело от показаний Марины.
Поначалу князь Збаражский утверждал, что в имении у зятя он не был, а остановился в селе. Дочь же якобы сама пробежала к нему и просила увезти ее от мужа-тирана, который держит ее взаперти. Но через некоторое время Марина стала утверждать, что муж ее бил, мучил, держал, словно в тюрьме, и все ради ее имущества, которое она ему по доброй воле не хотела передавать. Загоровский почувствовал себя преданным, но снова все списал на козни семейства жены. Впрочем, и судебное разбирательство было бы делом совсем неудобным как для Загоровского, так и для Збаражских, т.к. могла серьезно пострадать репутация. Стороны попытались договориться.
Загоровский настаивал на возвращении ему супруги, Збаражские - на возвращении имущества и отказа от иска о нападении. Загоровский немедленно отказался от своего иска и стал ждать ответного хода со стороны тестя. И совершенно напрасно. Тогда Василий попытался зайти с другой стороны: вызвал жену в духовный суд к епископу Феодосию Лазовскому. Но на помощь Марине поспешил ее брат Януш, силой отнявший имения сестры. Так или иначе, время было потрачено на дела финансовые, и на суд духовный Марина просто не явилась. А там как раз происходили интересные события. Епископ за непослушание Марины объявил Василия вольным от жены. Збаражские всполошились: одно дело развод по обоюдному согласию, другое – по епископскому решению. Снова начались переговоры с Загоровским. Он согласился на все условия, вернул документы, но потребовал отказаться от обвинений в тиранстве жены. Марина немедленно опровергла собственные слова. Супруги расстались, поспешив забыть о неудачном браке как можно скорее. Даже епископа позабыли уведомить о свершившемся разводе. Единственное о чем сожалел Загоровский, так это о том, что не может видеть дочь. В своем завещании он оставит ей солидное приданное, но свидеться им так и не доведется.
Через два года Загоровский решил снова вступить в брак. На этот раз его избранница была из еще более уважаемого рода - княжна Чарторыйская. В январе 1571 отпраздновали свадьбу. Предварительно будущая теща навела все возможные справки, в том числе и о предыдущем разводе.
Но и во втором браке дела пошли не так. Причиной тому стали напряженные отношения с тещей и карьерный взлет Загоровского. Через год после свадьбы он был пожалован в каштеляны браславские, что давало право на место в сенате. А вот с тещей вышло нехорошо, начались взаимные обвинения. Княгиня Чарторыйская обвинила зятя в разорении имений, Загоровский обвинял тещу в захвате тех же имений. Развязка семейной драмы каштеляна наступила в 1576 году. Его супруга под предлогом посещения больной матери ушла из дома, оставив детей на попечение мужа. Напрасно Загоровский пытался вернуть жену, напрасно грозил теще. Ответ княгини был простым и исчерпывающим: «Твою жену не держу, но и дочь силой из дома гнать не стану». Вскоре и от супруги поступили предложения – Катерина Чарторыйская просила развода и до него от встречи с мужем решительно отказывалась. Уговоры не помогали, и Загоровский стал снова хлопотать о расторжении брака. Но не успел. В марте 1577 он выступил в поход против татар. Шляхетское ополчение было разгромлено, а сам Загоровский был серьезно ранен и попал в плен. Неурегулированные имущественные отношения и высокая стоимость выкупа откладывали возвращение домой на неопределенный срок. Освобождения из плена Загоровский не дождался, в феврале 1580 он скончался в Крыму.
Однако на этом семейная драма Загоровского еще не завершилась. Обе супруги, мало ценившие покойного при жизни, вдруг обеспокоились о том, кому из них достанется честь носить гордое звание вдовы каштеляна. Марина Збаражская начала процесс о признании недействительным второго брака Загоровского. На руку сыграло то, что ни в какие актовые книги документ о разводе не был внесен. А это открывало прекрасные перспективы сделать дочь единственной наследницей. Чарторыйские законно возмутились. Первым судил дело епископ Феодосий. Но побоялся принять решение и отправил дело на суд митрополиту киевскому. Митрополит Онсифор Девочка так же не решился выносить вердикт в таком скандальном деле. И вернул все назад Феодосию.
С 1 по 7 ноября 1583 года проходил сложный процесс. Княжна Збаражская запаслась самыми невероятными доказательствами своей правоты и даже получила письмо константинопольского патриарха осуждавшего разводы, называвшего вторичные браки блудом и предававшего проклятию священников, освящавших такие браки. Но и у Чарторыйских были на руках важные документы - собственноручно подписанное Мариной соглашение о разводе.
Феодосий был в первую очередь человеком своего времени, потому, несмотря на обращение патриарха, принял сторону Чарторыйских. Княжна Збаражская обратилась к королю, но тот передал дело на суд целой комиссии в составе католического архиепископа и двух православных епископов. Впрочем, и эта комиссия окончательного решения не вынесла. Позже обе дамы продолжали себя именовать «каштеляновыми браславскими». И, судя потому, что родовое имение Загоровского Суходолы отошло Чарторыйской, а земли с церковью св. Ильи в городе Владимире оказались подвластны Збаражской, дамы попросту поделили земли покойного нелюбимого мужа.
