Когда дворянская усадьба в 19 веке попадала в руки купца, ее внешний облик быстро деградировал согласно «вкусам» нового хозяина. Вот что пишут про усадьбу Глинки Якова Брюса:
«Сначала это купец Усачёв, потом какая-то помещица Колесова, велевшая скромности ради побросать в пруд всех обнаженных Бахусов и Венусов, украшавших дорожки сада.
После Колесовой усадьба переходит в руки купца Лопатина, построившего здесь громадную фабрику. Сообщают, что оставшиеся мраморные фигуры были при нем употреблены в плотину в качестве бута.
Удар молнии в дом, который Лопатин превратил в склад хлопка, произвел в нем опустошительный пожар; и вот, подчиняясь суеверным, Лопатин не только отремонтировал его весь — правда, снова в качестве склада, но даже восстановил в нем, как сумел, вышку с часами, конечно, нелепую на «сарае». Вскоре сгорела и лопатинская фабрика, зияющая сейчас на берегу Вори разломанными стенами своих корпусов».