Родился 15(28).08.1904 года в городе Харькове. Русский. Из семьи рабочих. Окончил начальную школу. Работал на стекольном заводе в посёлке Бытошь ныне Дятьковскийрайон Брянской области: рассыльный, канцелярист, счетовод. Член ВКП(б)/КПСС с 1929 года. В Красной Армии с сентября 1924 года. В 1927 году окончил Вторую Московскую пехотную школу, в 1937 году - Военную академию имени М.В. Фрунзе, в 1938 году - Военно-политические курсы. С августа 1927 года командовал взводом, с августа 1930 - помощник командира и с октября 1931 - командир роты в 44-м стрелковом полку 15-й Сивашской стрелковой дивизии, затем командир учебной команды 40-го пулеметного батальона той же дивизии. С июля 1933 года - инструктор физической подготовки 11-й тяжелой бомбардировочной бригады, затем на такой же должности в 14-й кавалерийской дивизии. С 1937 года на партийно-политической работе - военный комиссар 24-й Самаро-Ульяновской Железной стрелковой дивизии, в том же году ему присвоено воинское звание "полковой комиссар". С июля 1939 года - член Военного совета Приволжского военного округа. Дивизионный комиссар (22.07.1939). В феврале - августе 1941 года - член Военного совета Дальневосточного фронта. На фронтах Великой Отечественной войны корпусной комиссар Желтов с сентября 1941 года. Был членом Военного совета Карельского фронта, с июля 1942 года - 63-й армии, с сентября 1942 года - Донского, с октября 1942 - Юго-Западного и с октября 1943 года до окончания войны - 3-го Украинского фронта. 6 декабря 1942 года А.С. Желтов был переаттестован в генерал-лейтенанты. Генерал Желтов участвовал в обороне Советского Заполярья, подготовке и проведении операций по разгрому фашистских войск под Сталинградом, по освобождению Украины и Молдавии, Румынии, Болгарии, Венгрии, Югославии и Австрии. Возглавляя партийно-политическую работу фронтов, А.С Желтов внёс большой вклад в обеспечение успешного выполнения боевых задач, укрепление воинской дисциплины, примерности коммунистов и комсомольцев в бою, в политическое воспитание личного состава. После победоносного окончания войны, с июля 1945 года по июль 1950 года - член Военного совета Центральной группы войск и заместитель Верховного комиссара от СССР в Союзнической комиссии по Австрии. С июля 1950 года он был членом Военного совета Туркестанского военного округа, с января 1951 года - начальник Главного управления кадров Советской Армии. С апреля 1953 года - начальник Главного политического управления Советской Армии и Военно-Морского Флота. В 1957 году - один из руководителей кампании по дискредитации снятого с поста Министра обороны СССР Маршала Советского Союза Г.К. Жукова. С января 1958 года - заведующий отделом ЦК КПСС, с июня 1959 года начальник Военно-политической академии имени В.И. Ленина. С декабря 1971 по ноябрь 1987 года - военный консультант Группы генеральных инспекторов Министерства обороны СССР. За умелое руководство войсками, личное мужество и отвагу, проявленные в борьбе с немецко-фашистскими захватчиками в годы Великой Отечественной войны, большой вклад в подготовку и повышение боевой готовности войск в послевоенный период Указом Президиума Верховного Совета СССР от 21 февраля 1978 года генерал-полковнику Желтову Алексею Сергеевичу присвоено звание Героя Советского Союза с вручением ордена Ленина и медали "Золотая Звезда". С 1971 года - заместитель председателя, а в 1981-1988 годах - председатель Советского комитета ветеранов войны. С ноября 1987 года - в отставке. Скончался 29 октября 1991 года. Похоронен в Москве на Введенском кладбище.