С осени 1915 г. Алексей Максимович принял под свое командование 12-й армейский корпус 8-й армии. Его принципом было планировать боевые действия всех подчиненных ему частей до мелочей, но если он убеждался в способности какого-либо командира действовать инициативно и со знанием дела, жесткая опека с его стороны сразу же ослабевала. Молчаливый и угрюмый командир корпуса не любил и не умел говорить красивых, возбуждающих слов, но его регулярное появление на передовой линии, спокойные беседы с офицерами и солдатами, порой под жестоким огнем, вызывали полное доверие и уважение к нему войск.

После того как весной 1916 г. Брусилов возглавил Юго-Западный фронт, Каледин сменил его на посту командующего 8-й армией. Знаменитое наступление войск фронта - "Брусиловский прорыв" - по роли в нем 8-й армии стал, в первую очередь, "Калединским прорывом". Армия действовала на главном, Луцком направлении. Начав наступление 22 мая, она уже к исходу следующего дня прорвала первую полосу обороны австрийской 4-й армии. Еще через два дня был взят Луцк. Австрийцы бежали к Ковелю и Владимир-Волынскому, бросая все на своем пути; в плен было захвачено более 44 тысяч человек. Немецкое командование вынуждено было принимать срочные меры, чтобы помочь своим союзникам и закрыть "ковельскую дыру". Отражая контратаки подходивших дивизий противника, 8-я армия упорно продвигалась вперед, оттеснив к концу июля австро-германские войска в своей полосе на 70- 110 километров. В конце июля наступление войск фронта, не поддержанное соседними фронтами, прекратилось, но его военные и политические итоги были весьма значительными. "Луцкий прорыв" стал памятной страницей хрестоматий по военному искусству.

В дальнейшем война велась по преимуществу в позиционных формах борьбы, и боевая активность армии Каледина, как и других полевых русских армий, затухала. Удостоенный за время войны Георгиевского оружия, орденов святого Георгия 4-й и 3-й степеней, Алексей Максимович мрачнел, не видя перспектив оживления вооруженной борьбы. Угасанию у командования и войск воли к победе способствовала кризисная обстановка в России, ставшая после февральской революции 1917 г. особо запутанной. Русская армия была вовлечена в демократизацию, принявшую форму развала вооруженных сил. Каледин, как боевой командир, не мог смириться со своеволием солдатских комитетов, митинговщиной, неисполнением приказов. Командующий фронтом Брусилов писал главковерху М.Алексееву: "Каледин потерял сердце и не понимает духа времени. Его необходимо убрать. Во всяком случае на моем фронте ему оставаться нельзя". Не находилось заслуженному генералу места и на других фронтах. В апреле 1917 г. Алексеев определил его в члены Военного совета в Петрограде. Уязвленный Каледин вскоре отпросился "на покой" и уехал домой, на Дон. "Вся моя служба, - говорил он, - дает мне право, чтобы со мной не обращались как с затычкой различных дыр и положений, не осведомясь о моем взгляде".

Когда из Петрограда Алексей Максимович ехал на Дон и его спросили - согласится ли он принять пост войскового атамана, на который его хотят выдвинуть донские деятели, он отвечал: "Никогда! Донским казакам я готов отдать жизнь, но то, что будет, - это будет не народ, а будут советы, комитеты, советики, комитетики. Пользы быть не может". Но ему все-таки пришлось взять на себя эту тяжелую ношу. 17 июня Донской войсковой круг постановил: "По праву древней обыкновенности избрания войсковых атаманов, нарушенному волею Петра 1 в лето 1709 и ныне восстановленному, избрали мы тебя нашим войсковым атаманом..." Приняв пернач атамана, как тяжелый крест, угрюмый Каледин говорил: "Я пришел на Дон с чистым именем воина, а уйду, быть может, с проклятиями".

Сохраняя лояльность по отношению к Временному правительству, но видя его слабость, Каледин начал проводить меры по восстановлению старинных форм управления Доном, отказывался от посылки казаков для усмирения мятежных войск и районов. 14 августа на Государственном совещании в Москве он заявил, что приветствует "решимость Временного правительства освободиться, наконец, в деле государственного управления и строительства от давления партийных и классовых организаций". Для спасения от поражения в войне он предложил ряд мер: армия должна быть вне политики; все Советы и комитеты как в армии, так и в тылу, за исключением полковых, ротных и сотенных, следует распустить; декларация прав солдата должна быть дополнена декларацией его обязанностей; дисциплину в армии необходимо восстановить самыми решительными методами. "Время слов прошло, терпение народа истощается", - подчеркнул донской атаман.