Здание не раз перестраивалось, но представляет архитектурный интерес, как одно из самых старых в городе, построен в 1816 г. Фасад, сохранившийся по ул. Греческой, д.40, является характерным для провинциального классицизма начала 19 века. 

  В начале 19 века домовладение на Греческой улице приобрел градоначальник Таганрога, генерал- майор Петр Афанасьевич Папков. На его средства дом был отремонтирован и перестроен в полутороэтажный. В 1816 году Папков продал здание городскому Строительному комитету, и он стал казенным домом градоначальства.

Первый раз Александр I посетил Таганрог и жил в этом доме в мае 1818-го во время путешествия по Югу России. Он с удовольствием ознакомился с городом. Был и в тюрьме, где приказал рассадить деревья.

В 1820 году проездом на Кавказ в этом доме останавливался А.С.Пушкин вместе с семьей генерала А.Раевского, героя Отечественной войны 1812 года.

Государь прибыл в Таганрог 13 сентября и остановился в каменном доме на Греческой улице. Описание внутреннего устройства дома позднее дал историк Н.К.Шидлер:"Дом, избранный для жительства их величеств в Таганроге, был каменный, одноэтажный, с подвальным этажом, для помещения прислуги. Половина императрицы состояла из восьми небольших комнат, из коих две предназначались для двух фрейлин. В середине дома был расположен большой сквозной зал, служивший столовой и приемной. На половине императрицы, в особой комнате, помещалась походная церковь. С другой стороны приемной залы находились две комнаты государя: одна, довольно просторная, предназначавшаяся для кабинета, служила вместе с тем и спальней; другая полукруглая и очень небольшая, в которой государь одевался, была туалетной или уборной, с окном, выходившим во двор. При этих двух комнатах был коридор, он предназначался для дежурного камердинера; гардеробная же находилась в подвальном помещении. При доме были обширный двор и небольшой сад с плодовыми деревьями, несколько запущенный, но к приезду государя приведенный в возможный порядок. Меблировка всего дома была самая простая". Царский дворец был меблирован очень просто, без всякой роскоши и богатства. Государь лично расставлял стулья и небольшие липовые шкафы для библиотеки, сам вбивал гвозди и вешал картины. Из многого, подчеркивает историк Павел Филевский, можно было заметить, что царь устраивался в Таганроге надолго, может быть, навсегда. Он давно тяготился делами государственного управления, говаривал: "Надо, чтобы переход к частной жизни не был резок".