Величественное здание дворца Алфераки всегда обращает на себя внимание гостей Таганрога своим необычным архитектурным декором; портиком с четырьмя коринфскими колоннами, тяжелыми лепными украшениями в стиле барокко.  

Семья Алфераки относилось к многочисленной на юге России диаспоре греческих поселенцев, основная масса которых появилась на берегах Чёрного и Азовского морей во времена императрицы Екатерины Великой. Первым из рода прибыл в Россию Дмитрий Ильич Алфераки. Он переселился из Греции после Русско-турецкой войны 1768-1774 годов. Ему, как офицеру было дано российское дворянство и имение в Приазовье, названное в честь его родины Лакадемоновкой. Переселенцы с островов греческого Архипелага сыграли значительную роль в экономическом развитии края, превращении Таганрога в большой торговый порт, где сосредотачивался экспорт сельскохозяйственной продукции и через который к нам приходили товары с Запада.

Алфераки закончили постройку своего особняка в 1848 году и прожили в нём в общей сложности около 30 лет. Автором проекта был известный архитектор, профессор Петербургской академии художеств Андрей Иванович Штакеншнейдер, признанный на то время авторитет в вопросах дворцовой архитектуры. Несколько позже к дому был пристроен большой двусветный зал, высотою около 9 метров, украшенный картинами, камином и массивными часами. Лепка античной работы, украшавшая здание с наружи и изнутри, анфиладное расположение парадных комнат, большой двусветный зал, потолочная роспись гостиной, сделанная итальянскими художниками, приближали здание к дворцовому типу. Выстроенный особняк, и по внутренней и по внешней отделке действительно представлял собой настоящий дворец. Князь М.Г.Голицын, побывавший в Таганроге в 1857 году, писал в журнале "Библиотека для чтения": "В отношении великолепия в Таганроге есть дома, не уступающие царским палатам. Таков, например, дом известного богача, негоцианта Алфераки, стоящий, по уверению многих, внимательного осмотра по превосходным картинам, статуям, антикам и другим предметам художественной роскоши".

Несколько позже к дому был пристроен большой двусветный зал, высотою около 9 метров, украшенный картинами, камином и массивными часами. В этом зале Алфераки давали грандиозные балы, на которые приглашалось избранное таганрожское общество, жившие в градоначальстве помещики и знакомые Алфераки из соседних городов. Гости приезжали в роскошных нарядах, привезённых нарочными из Парижа и Вены. Вся мебель в доме, обстановка и сервировка были приобретены за границей.

 Рядом с главным двухэтажным домом, где на правах хозяина стал жить помещик-негоциант Николай Дмитриевич Алфераки находился большой флигель коридорной системы, где со своими учителями и гувернёрами поселились сыновья старшего Алфераки – Николай, Ахиллес, Сергей и Михаил. Дети оказались талантливы, но не на коммерческом поприще: Сергей был известным путешественником, Ахиллес стал композитором. К сожалению, все они вели довольно расточительный образ жизни и после смерти Н. Д. Алфераки дела семьи пришли в упадок.

После революции здание клуба занимали различные советские учреждения, с 1927 года оно было передано краеведческому музею, основанному ещё в 1898 году. Основателем музея по праву считается Антон Павлович Чехов. При его активном участии были собраны экспонаты для художественного отдела музея, оказывал он и финансовую помощь. Была в истории городского краеведческого музея и долгая полоса, именуемая капитально-восстановительными работами. Музей закрыли на ремонт в 1966 году, а завершили его к ноябрьским праздникам 1971. За это время исчезли потолочные росписи, прекрасные цветные плафоны на библейские сюжеты, во многих местах убрали художественную лепнину, унесли в запасники зеркала и скульптуры. Интерьер залов совершенно преобразился. Стиль 70-х отличался художественным минимализмом и обилием производственной тематики.

В 1989 – 96 годах произошло своеобразное возвращение к корням – были проведены реставрационные работы, позволившие во многом восстановить первоначальный облик дворца. Предстал в прежнем своём великолепии знаменитый двухярусный зал, где проходят концерты, выставки, торжественные бракосочетания, отмечаются памятные даты, вошедшие в историю нашего города. В 95 – 96 годах открыта ныне действующая экспозиция. С возобновлением традиции концертов и приёмов, музей вновь превратился в важнейший центр культурной жизни города.