В начале двадцатого века это был перекресток улиц Таганрогской и Тифлисской (ныне Свердлова и Коммунаров). Тогда же в Ейске жил купец Иван Варваров. Личность незаурядная. Как и многие в Ейске разбогател он на торговле зерном, часть капитала вкладывал в строительство недвижимости, потом сдавал ее в аренду. Хватка у купца была железная, дела шли в гору. Он первым в городе приобрел автомобиль. Но мощь бизнеса требовала более серьезной демонстрации. И Варваров принимает решение построить себе дом ни чем не уступающий лучшим домам Ейска. 1909 году дом, как и многие дома в Ейске, в псевдорусском стиле был построен. К сожалению имя архитектора не сохранилось.
Судьба купеческого сословия после Революции 17-го года была незавидной. Так и имя купца Варварова после двадцатого года затерялось в истории советской России. А дом ждала новая жизнь. В 20-х дом был отдан под санаторий. Во время войны в доме был госпиталь Красной Армии. В 1942 город оккупировали фашисты и разместили в нем Сельскохозяйственную комендатуру, которая ведала сбором сельхоз продукции с ейчан и отправкой ее в Германию. В 1943 году город от немцев освободили. И здание занял штаб Азовской военной флотилии. Командовал тогда флотилией будущий создатель отечественного ракетно-ядерного флота С.Г. Горшков. Сегодня в доме находится отделение Пенсионного фонда.