Тогда владельцем заводов и распорядителем доходов с майората являлся внук его основателя Афанасий Николаевич Гончаров. Выйдя в отставку, он полностью посвятил себя Полотняному Заводу. Но если дед умел наживать, то внук умел с большим вкусом тратить нажитое. Полотняный Завод был превращен им в великолепную барскую усадьбу со всевозможными затеями, на которые так изобретателен был Екатерининский век. Афанасий Николаевич любил жить широко, ни в чем не отказывая себе и не отставая от виднейших вельмож. Трехэтажный барский дом «покоем», построенный им рядом с фабриками, поражает при первом взгляде своими масштабами, а при внимательном знакомстве — великолепием отделки интерьеров, над которыми трудились и русские, и иностранные мастера. Огромных расходов требовало не только создание всего великолепия усадьбы, но и ее содержание. Да и свой московский дом Афанасий Николаевич поставил на барскую ногу.
Неотъемлемой частью имения являлись собственно заводы, давшие ему основание. История самого рода Гончаровых не просто связана с Полотняным Заводом, но всем обязана ему, начиная со своего зарождения. Когда речь идет о старых русских фамилиях, таких как Пушкины, то история родового поместья следует за историей тех заслуг перед отечеством, которые были вознаграждены их пожалованием. Другое дело, когда речь идет о новом, выслужном дворянстве, а тем более поднявшемся из купеческого сословия, как это и было в случае с Гончаровыми. Заводы дали им состояние, а со временем и права на дворянство, и только после этого могла создаваться собственно дворянская усадьба. Подобное могло произойти лишь в результате Петровских реформ, когда в гору пошли и соединились с «гордым русским дворянством» такие фамилии, как Строгановы, Демидовы и другие, не столь известные и громкие. К ним относились и Гончаровы. Так что по своему рождению Наталья Николаевна принадлежала к так называемому новому дворянству.
Ей едва исполнился месяц, когда тогдашний владелец Полотняного Завода, дедушка Афанасий Николаевич, в сентябре 1812 года неожиданно вернулся из-за границы. В его дневнике читаем запись: «Приехал на Завод в 4-м часу пополудни. Не нашел ни хозяев, ни приказчиков и дом совершенно пустым».
Когда Москва была оставлена французами, Полотняный Завод снова оказался в зоне военных действий. Кутузов повел русскую армию по старой Калужской дороге в убеждении, что Наполеон в надежде на запасы пойдет на Калугу, как и произошло. Сражением под Малоярославцем русские войска сумели оттеснить французскую армию на старую Смоленскую дорогу. Афанасий Николаевич становится свидетелем происходящих событий, что отражается в дневнике, который он неизменно ведет.
«12/24 октября. Суббота. Сей день большое сражение в Малом Ярославце. Город начал гореть, и с сей ночи французская армия начала ретироваться.
13/25 октября. Воскресенье. На Заводе. Сей день сражение в Медыни, где наши три казачьи полка разбили неприятельской корпус, состоящий из 5000 человек, взяли 5 пушек и двух генералов».
Еще через день, во вторник 15 октября, со стороны сражения от села Детчина в Полотняный Завод въехал штаб главнокомандующего фельдмаршала М. И. Голенищева-Кутузова. В те дни А. Н. Гончаров записал в дневнике:
«15/27 окт., вторник. На Заводе. Утром вся дворня и фабричные разбежались с Заводу в разные места. А к вечеру Главная наша армия пришла ко мне на Завод, где учреждена Главная квартира. Я ж, отдав весь свой дом под оную, сам выехал ночевать в Товарково к Петру Антипову.
16/28 окт., середа — в Товарково. По утру рано ездил на Завод в Главную квартиру, был у Светлейшего, коим весьма хорошо был принят, благодарен за порядок нашедшей у меня на Заводе и им даны мне караулы расставить при всех магазеинах и фабриках, также и по садам для сбережения всего имущества. Пробыл я на Заводе до вечера, откуда на ночь опять уехал в Товарково.
17/29 окт., четверг — в Товаркове же. Рано по утру отправился опять на Завод. После обеда вышла армия и Главная квартира в село Адамовское. Провожал Светлейшего, которой для моего збережения оставил мне эскадрон кирасиров на мое содержание и 4 пленных мне отдали с рук на руки. Графа Moroet, St. Air и двух женщин. Был до самого вечера на Заводе, а ночевал опять в Товарково».
Для Полотняного Завода война была окончена. Теперь дневниковые записи А. Н. Гончарова посвящены сражениям в ближайших местах.
Л. Н. Толстой в «Войне и мире» упоминает, как в столичных кругах «обвиняли Кутузова и говорили, что он с самого начала кампании мешал им победить Наполеона, что он думает только об удовлетворении своих страстей и не хотел выходить из Полотняных Заводов, потому что ему там было покойно…». Александр I, вовсе не понимая намерений полководца, но прислушиваясь к подобным суждениям, писал Кутузову: «…ненужное и пагубное отступление Ваше после сражения под Малым Ярославцем до Гончарова уничтожили все преимущества положения Вашего…»
Жители Калуги и ее окрестностей заволновались было из-за приближения неприятеля, так что Кутузов вынужден был отправить из Полотняного Завода послание городскому голове Калуги:
«Государь мой Иван Викулич!
Именем моим поручаю вам успокоить купеческое и мещанское сословия, которые, как я слышал, пустыми слухами приведены в волнение и опасность. Уверьте их, что я ищу дать врагу сражение, но никак не ретируюсь, и что цель моя не в том состоит, чтобы выгнать неприятелей из пределов наших, но чтобы, призвав в помощь всемогущего Бога, изрыть им могилы в недрах России. Уповайте на Бога, молите его о поддержании сил и храбрости нашего воинства, исполняйте ваши обязанности и будьте покойны. Вы есте и будете защищены: в том удостоверяет вас всегда доброжелательный и усердный
Князь Г. Кутузов
16 октября 1812 г.
с. Полотняный Завод».
Судя по дате отправки письма, о пустых слухах рассказал Кутузову не кто иной, как посетивший его в этот день Афанасий Николаевич Гончаров, беспокоившийся о своем имуществе.
17 октября французская армия вынуждена была, как на то и рассчитывал Кутузов, уйти на старую Смоленскую дорогу. Фельдмаршал в тот же день выступил из Полотняного Завода в село Кременское. Русские войска еще недели три проходили через Завод.
На территорию главной усадьбы Гончаровых въезжали через Спасские ворота, к которым с одной стороны и ныне примыкает полотняный завод. С другой стороны стояла церковь Спаса Нерукотворного Образа, построенная в 1736 году, которая была разрушена в советские годы. При ней исторически сложилась и фамильная усыпальница Гончаровых, также разгромленная. Напротив заводских построек располагается конный двор с воротами середины XVIII века, от которых тянется каменная ограда в сторону соседней усадьбы Щепочкиных, буквально сливающейся с гончаровской. В сравнении с домом Гончаровых дом Щепочкиных время и люди пощадили: в нем сохранились фаянсовые печи, лепнина и даже росписи плафонов, выполненные, скорее всего, теми же мастерами, которые некогда отделывали гончаровский дом.
После смерти Пушкина именно в Полотняный Завод, ища душевного покоя, приезжает Наталья Николаевна с детьми, приобщая их к дорогим ей местам и воспоминаниям своего детства. Завод тогда принадлежал старшему ее брату Дмитрию Николаевичу, затем его сыну Дмитрию Дмитриевичу и, наконец, внуку, Дмитрию Дмитриевичу-младшему. С ним, заводчиком и уездным предводителем дворянства, подружился ссыльный Анатолий Васильевич Луначарский и жил в Полотняном Заводе в 1900 году. Жена Д. Д. Гончарова Вера Константиновна была до замужества актрисой московского частного театра Ф. А. Корша. Гончаровы открыли в Полотняном Заводе народный театр, в репертуаре которого были пьесы и Шекспира, и Пушкина. Луначарский, принявший в этом живейшее участие, вспоминал: «Полотняный Завод превратился в настоящие маленькие Афины: концерты, оперные спектакли, литературные вечера чередовались там, принимая зачастую весьма оригинальный и привлекательный характер». Он подчеркивал, что всё там помнило Пушкина, «заветами которого и памятью о друзьях и врагах в высокой мере овеян был дворцеподобный дом Гончаровых».
