Родился в селе Новопетровка Первомайского района Алтайского края. В 1971 году окончил Новосибирский институт инженеров железнодорожного транспорта. В том же году начал работать инженером на Восточно-Сибирской железной дороге. Здесь последовательно прошел путь от дежурного по станции и маневрового диспетчера станции Иркутск-Сортировочный сперва до главного инженера, а затем до начальника станции Суховская и Тайшетского отделения.

В 1980 году назначен заместителем начальника Красноярской железной дороги. В 1992 году стал первым заместителем начальника, затем — начальником Куйбышевской железной дороги. В 2000 году Анатолий Левченко стал ректором Самарской государственной академии путей сообщения; возглавлял вуз два года. С 2002 по 2007 год руководил Южно-Уральской железной дорогой. В 2007 году вновь стал начальником Куйбышевской железной дороги. С 2008 года был президентом Самарского государственного университета путей сообщения.

Левченко внес большой личный вклад в техническое переоснащение железнодорожных предприятий. Под его руководством успешно развивались пассажирская и путевая инфраструктура и системы электроснабжения, а также повышалось обеспечение безопасности движения.

Левченко был инициатором создания территориальных компаний по пригородным пассажирским перевозкам. Он развивал скоростное межобластное и пригородное движение. В качестве руководителя активно занимался жилищным строительством для сотрудников железной дороги. Провел реконструкцию Челябинского, Курганского и Оренбургского вокзалов.

В 2003 году удостоен звания «Заслуженный работник ЮУЖД». Награжден орденами «Знак Почета» (1988), Дружбы (2005), Преподобного Сергия Радонежского и медалями. В 2006 году также был награжден знаком «За заслуги перед Челябинской областью».