Одним из последних помещиков села Полужья был К. Рябчинский. До нашего времени сохранились остатки его имения. Историческим памятником села является дом помещика. Он построен в 1912 г. Строила его Пелагея Алексеевна Рябчинская вместе со своими сыновьями Александром, Дмитрием, Анатолием, Николаем, Сергеем, Владимиром и дочерью Ниной.
Здание двухэтажное, симметричное, в восточной части дома был большой балкон и красивая лестница, по которой можно было спуститься к аллее, ведущей в сад. В конце сада была построена беседка. Крыша здания покрыта железом. Карнизы всего дома отделаны резными кружевами. Внутри здание оштукатурено, потолки побелены, высота - 3 метра. Полы здания были сделаны очень прочно: сначала проложен дубовый бревенчатый накат, а через полметра качественные доски. Отапливалось здание 9 печами. Печи были очень красивыми, все отделаны цветной изразцовой плиткой. В доме было 10 комнат: 3 спальные комнаты на втором этаже, куда вела деревянная резная лестница.
После революции в бывшем помещичьем имении организована детская колония. В ней воспитывались беспризорники, дети, родители которых умерли от голода в Поволжье. Через два года колонию перевели в Свенский монастырь в Супонево. В 1926 г. в помещичьем доме была открыта начальная школа. Заведующим школой стал Панин Александр Федорович. И в настоящее время дом используется как жилое помещение. В нем проживает несколько семей.