振武军的历史起源于唐朝时期，以黄河的一条支流——振武河得名，它流经古云中城，沿河套北岸向西南延伸，最终在内蒙古托克托县附近注入黄河。该军的设立可追溯到708年，张仁愿在筑造三受降城时创建，其最初的治所在东受降城，即今天的托克托县。745年，王忠嗣将治所迁至单于都护府城，即和林格尔西北的土城子，增强了该地的防守力量，并在此增设了金河县。
758年，振武军从朔方军节度使中独立出来，然而旋即又归并于朔方军。778年，郭子仪将朔方军分割，再次设立振武军节度使，由浑瑊担任。尽管回鹘曾经对振武军构成威胁，但这段历史时期并未对军镇造成实质性的危害。
796年，三受降城被划归天德军和振武军管辖，振武军最初管理中受降和东受降两城。813年，中受降城转隶于天德军，这一变化导致了西受降城的修复争议。李进贤任振武军节度使期间，东受降城被黄河水毁，他提出修城和河防，但随后在812年，西受降城因黄河泛滥受损。在李进贤的治下，军镇内局势动荡，兵变发生，李进贤逃亡，唐朝派夏州、河东二镇的4000兵马平定了叛乱。830年，李泳成为振武军节度使，继续加强军镇的防御。
黄巢之乱期间，李克用在讨伐叛军时掠夺粮食，河东节度使郑从谠向振武军节度使契苾璋求助，但李克用在此战中被契苾璋击败。882年，契苾璋计划与天德军和大同军共同对付李克用。最终，916年辽太祖阿保机以30万大军进攻振武军，俘虏了节度使李嗣本，振武军镇被并入辽国，改称振武县，这段历史也随之告一段落。
唐乾元（758年二月—760年闰四月）初分朔方节度置振武军节度，属关内道，单于都督府治，在今内蒙古和林格尔县，寻复属朔方，大历末又置，领绥、银、麟、胜等州、东中二受降城、及振武镇北等州军。今陕西绥德以北及内蒙古南部之地，中和以后属于河东。