В комплексе зданий монастыря существовало еще одно небольшое и малоприметное, но носившее мемориальный характер, строение. Это домик Петра I. Домик располагался южнее Успенского собора и напротив древней колокольни. В нем, по монастырской истории, останавливался во время пребывания в Свенском монастыре Петр I.
Домик одноэтажный, каменный и представлял собой обычную келью с внутренними размерами 3,73 м ширины, 5,86 м длины и 2,5 м высоты. Он состоял из единственной комнаты с тремя небольшими окнами и сеней с двумя окнами, из которых одно заделано.
В памятной монастырской записи говорилось:
"Император Петр I изволил пребывать многие месяцы в оном монастыре, почему нарочно для пребывания Его была устроена особая каменная келия, в коей на одной стороне поставлен был иконостас со святыми образами. Во время же сего Государя пребывания дано знать, что Гетьман Мазепа изменил. Посему изволил он, Государь, отправиться к Полтаве, и получа над врагами победу, обратно заезжал и служил молебен".
Архитектурным украшением сводчатой комнаты домика была кафельная печь из поливных узорчатых изразцов семи видов рисунка. Точно такие изразцы можно увидеть на печи "Домика Петра I" в музее-заповедники русской архитектуры "Коломенское" в Москве. Этот деревянный домик перевезен в заповедник с острова Маркова в устье Северной Двины, где он был построен в 1702 году против Новодвинской крепости.
Два деревянных стула из свенского домика сохранились и находятся в Брянском краеведческом музее.
Кроме иконостаса, стены комнаты были украшены двумя портретами. На одном из них, сильно потемневшем от времени и сырости, изображен во весь рост Петр I. На втором – императрица Елизавета Петровна (велина около 70 см). Иконостас и портреты итеряны.
Снаружи домик был оштукатурен, покрыт железной четырехскатной крышей, завершенной расписанной кирпичной дымовой трубой. Под карнизом северного фасада во всю его ширину размещалась надпись: "Въ семъ домике неоднократно пребывалъ Преобразователь России". Ниже надписи был прибит старый императорский герб.
Домик Петра I бережно сохранялся потомками, но после Октябрьского переворота 1917 года был уничтожен. Сейчас восстановлен.