С северо-западной стороны пустыни, в четверти версты от неё (ныне — территория санатория "Дубок"), находился скит, основанный в 1850-х годах. Он был обнесён деревянной оградой на каменном фундаменте и с каменными же столбами; с восточной его стороны были устроены расписанные Св. ворота. В центре скита возвышался двухэтажный храм (1856), заключавший в себе две церкви: верхнюю, деревянную, холодную — во имя Всех Святых, и нижнюю, каменную, тёплую — во имя Печерской иконы Божьей Матери. Для монашествующих в скиту были построены четыре деревянных корпуса с кельями, где проживали старые монахи-отшельники. Богомольцы скит не посещали. В ограде скита, вокруг церкви, располагалось небольшое кладбище, на котором хоронили умерших белобережских монахов. Снаружи скита, у самых его ворот, находилось другое кладбище, где погребались умершие в обители странники и богомольцы. В описании Белобережской пустыни 1909 года указано, что деревянная часть скитского храма прежде была сельским храмом, простоявшим более двухсот лет до перенесения в Белые Берега. Тем удивительнее его дальнейшая история. В отличие от каменных храмов монастыря, при Советской власти безжалостно разрушенных и разобранных на кирпич, Всехсвятскую церковь верующим было официально разрешено перенести в село Малое Полпино, что и было осуществлено в 1926 году. По воспоминаниям старожилов, уже через несколько лет храм официально был закрыт, но Богослужение совершалось в нём до 1943 года, когда он полностью сгорел.