Константин Аполлонович Савицкий родился 25 мая (6 июня) 1844 года в Таганроге в семье военного врача. После выхода в отставку отец будущего художника работал врачом в мужской гимназии, в здании которой в то время и проживала его семья. Детские годы Константина прошли в Таганроге. В детстве мальчик увлекся рисованием. Константин с родителями часто бывал на берегу Азовского моря и в Приазовской степи, при этом делая многочисленные зарисовки с натуры. Когда мальчику исполнилось десять лет, он был определен в гимназию, где его любимым уроком также было рисование.

Однако беззаботные детские годы Савицкого закончились, когда он учился в пятом классе гимназии. Неожиданно, друг за другом, умерли родители мальчика. С этого момента жизнь подростка резко изменилась; Константина забрал к себе брат отца, живший в то время в Латвии, который стал его опекуном. Там юноша продолжил свое обучение в частном пансионе.

В 1862 году после окончания курса пансиона, Савицкий едет в Петербург, где поступает в Академию художеств. Однако, вследствие недостаточной подготовленности, художнику пришлось бросить учебу, и, после двух лет упорной самостоятельной работы, в 1864 году он снова продолжает обучение в Академии. В 1871 году за картину «Каин и Авель» живописец получает малую золотую медаль. Уже в академические годы Савицкий был близок к Художественной артели Ивана Николаевича Крамского, а позднее к Товариществу передвижных художественных выставок. В 1873 году Константин Аполлонович экспонировал несколько своих работ на Второй передвижной выставке, вызвав тем самым огромное недовольство Совета Академии художеств, который в том же году исключил Савицкого из учебного заведения, придравшись к первому подходящему поводу (не сданный в срок из-за женитьбы экзамен). Живописец продолжал участвовать в выставках передвижников до 1903 года. В ряды же Товарищества Савицкий вступил в 1878 году.

Лишившись места в Академии, художник начал самостоятельно работать над большим произведением «Ремонтные работы на железной дороге». Картина была показана на Третьей передвижной выставке, проходившей в 1874 году. Это полотно для своей знаменитой коллекции приобрел П. Третьяков, что позволило Савицкому для совершенствования мастерства уехать в Европу. Художник продолжил учебу в Париже, где написал ряд картин, среди которых «Море в Нормандии», «Путешественники в Оверни».

Летом 1876 вернулся в Россию и поселился в Динабурге. Под впечатлением событий русско-турецкой войны 1877-78 годов начал работу над картиной «На войну». Писал ее десять лет. Лучшим произведением художника стала картина «Встреча иконы», написанная в 1878 году.

Более двадцати лет своей жизни Савицкий посвятил педагогической деятельности. В 1880-м поселился в Петербурге и начал преподавать живопись в Училище технического рисования барона Штиглица. В 1891 году художник переехал в Москву, где позднее стал преподавать в Московском училище живописи, ваяния и зодчества (1894-97). В 1897 году реформированная Академия признала его академиком; в тот же год он был назначен директором Пензенского художественного училища, где и преподавал.

Умер Константин Аполлонович Савицкий в Пензе 31 января (13 февраля) 1905 года. Именем художника названы Пензенское художественное училище и Пензенская областная картинная галерея, директором которой он являлся. В ней же открыт музей К.А. Савицкого. 

Его картины хранятся в Третьяковке, в Русском музее. В Таганрогской картинной галерее находятся работы "Отец" и "Бабушка и внучка".