Родился 15 октября 1914 года в поселке городского типа Климово в семье крестьянина. Русский. Член ВКП(б) с 1939 года. Окончил начальную школу на родине, затем 7 классов в городе Конотопе и школу ФЗУ при паровозоремонтном заводе. Работал столяром-краснодеревщиком. В 1932 году поступил в Киевский государственный университет. В 1934 году бросил учебу в университете и по комсомольской путевке отправился в 8-ю Одесскую военную авиационную школу имени П.Осипенко, которую окончил в 1936 году. В 1938 году участвовал в национально-революционной войне испанского народа. Участвовал в боях под Эбро и Мадридом. Был тяжело ранен. В 1939 году поступил в Военную академию командного и штурманского состава ВВС РККА имени Н.Е.Жуковского, которую окончил в 1941 году. На фронтах Великой Отечественной войны с июня 1941 года. Сражался на Ленинградском, Волховском, Калининском, Западном, Юго-Западном, Степном, Северо-Западном, 1-м Белорусском, Центральном фронтах. Всего совершил 241 успешный боевой вылет, в 41 воздушном бою сбил 14 самолетов противника. 12 сентября 1944 года гвардии полковник Панов в воздушном бою был тяжело ранен и погиб при вынужденной посадке самолета. Звание Героя Советского Союза Алексею Борисовичу Панову присвоено посмертно 23 февраля 1945 года. Награжден орденом Ленина, четырьмя орденами Красного Знамени, орденами Александра Невского, Отечественной войны 1-й степени, Красной Звезды, медалями.