Родился Власов 14 сентября 1901 года в селе Ломакино Гагинской волости Сергачского уезда Нижегородской губернии. Русский. Он был тринадцатым ребёнком, младшим сыном. Семья жила в бедности, что мешало отцу выполнить его желание — дать всем своим детям образование. За обучение Андрея пришлось платить старшему брату — Ивану, который послал брата получить духовное образование в Нижегородскую семинарию. Обучение в семинарии прервала революция 1917 года. В 1918 году Андрей пошёл учиться на агронома, но в 1919 году был призван в Красную армию.
После окончания четырёхмесячных командирских курсов стал командиром взвода и участвовал в боях с Вооружёнными силами Юга России на Южном фронте. Служил во 2-й Донской дивизии. По окончании ликвидации белых войск на Северном Кавказе дивизию, в которой служил Власов, перебросили в Северную Таврию против войск Врангеля. Власов был назначен командиром роты, затем переведён в штаб. В конце 1920 года отряд, в котором Власов командовал конной и пешей разведкой, был переброшен на ликвидацию повстанческого движения, руководимого Нестором Махно.
С 1922 года Власов занимал командные и штабные должности, а также занимался преподаванием. В 1929 году окончил Высшие армейские командные курсы «Выстрел». В 1930 году вступил в ВКП(б). В 1935 году стал слушателем Военной академии имени М. В. Фрунзе. Историк А. Н. Колесник утверждал, что в 1937—1938 годах Власов был членом трибунала Ленинградского и Киевского военных округов. С августа 1937 года — командир 133-го стрелкового полка 72-й стрелковой дивизии, а с апреля 1938 года — помощник командира этой дивизии. Осенью 1938 года направлен в Китай для работы в составе группы военных советников, что свидетельствует о полном доверии к Власову со стороны политического руководства. С мая по ноябрь 1939 года исполнял обязанности главного военного советника. На прощание, перед отъездом из Китая, был награждён Чан Кайши орденом Золотого Дракона, жена Чан Кайши подарила Власову часы. И орден, и часы были отобраны властями у Власова по возвращении в СССР.