Здание было построено в 1881—1882 годах по заказу отставного штабс-капитана А. И. Вернера, в конце 1899 года стало собственностью Алексея Апполоновича Бострома, отчима А. Н. Толстого, принадлежало ему до 1918 года.
Основу экспозиции музея составляют архивы А. Н. Толстого и его матери — писательницы А. Л. Толстой (Бостром): письма, дневники, фотографии, книги, личные вещи. В фондах музея находится более 10 тыс. документов и материалов, связанных с жизнью и творчеством А. Н. Толстого. Центральное место в экспозиции занимает мемориальная квартира, в которой жил с родителями будущий автор. Домашняя обстановка залов переносит поситителя в атмосферу провинциального городка рубежа XIX—XX веков.