В 1895 году Кузьма Баев купил небольшой земельный участок на 1-й Мещанской улице. Здесь он построит свой особняк. Дом был построен в стиле модерн с элементами готики.
На первом этаже с 1910 по 1924 жил один из величайших поэтов Серебряного века Валерий Яковлевич Брюсов. Жена поэта Иоанна (Жанна) Матвеевна Брюсова сохранила квартиру в первозданном виде. Именно благодаря её усилиям по сохранению наследия поэта после реставрации в 1999 году в доме Баева был открыт музей Серебряного века.