В 1937 году Альберт Шпеер был назначен генеральным инспектором имперской столицы по строительству, в задачу которого входила перестройка Берлина. В 1938—1939 годах он разработал генеральный план реконструкции столицы Германии. По замыслу Гитлера, Берлин должен был стать столицей нового мира в монументальном архитектурном стиле.
В 1938 году Шпеер получил звание прусского государственного советника и был награждён золотого знака НСДАП. В 1941—1945 годах был депутатом рейхстага от западного избирательного округа Берлина. 8 февраля 1942 года после гибели Фрица Тодта был назначен А. Гитлером рейхсминистром вооружений и боеприпасов, генеральным инспектором дорог, а также генеральным инспектором водных и энергоресурсов. В этом качестве успешно руководил всей военной промышленностью рейха и её переориентацией на тотальную войну. Несмотря на поврежденную немецкую инфраструктуру и перебои в снабжении сырьём, к 1944 году Шпееру удалось добиться значительного роста производства вооружений. Шпееровская организация военной промышленности, в частности, опиралась на использование подневольных рабочих и заключенных концентрационных лагерей. Для этого он тесно сотрудничал с Генрихом Гиммлером и его организацией СС. 2 сентября 1943 года различные ведомства Шпеера были объединены в Имперском министерстве вооружения и военной промышленности.
В 1944 году Шпеер тяжело заболел и всю весну не мог исполнять свои служебные обязанности. В связи с нехваткой сырья и рабочей силы военная экономика оказалась на грани краха. Несмотря на то, что Шпеер выступал за прекращение войны, Гитлеру удалось убедить его остаться на своем посту. После июльской попытки переворота были обнаружены документы участников заговора, в которых они предлагали его в качестве министра нового правительства. Однако Шпеер смог убедительно объяснить, что он об этом ничего не знал и не поддерживал никаких связей с заговорщиками.
Шпеер с февраля 1945 года сопротивлялся «тактике выжженной земли», саботировал приказы об уничтожении промышленных предприятий и инфраструктуры рейха и даже якобы, как он сам позднее утверждал, хотел отравить Гитлера. В последние месяцы войны он называл фюрера «преступником и безумцем», однако 23 апреля 1945 года прилетел в осажденный Берлин, чтобы лично проститься с ним.
29 апреля 1945 года, за день до своей смерти Гитлер в политическом завещании освободил Шпеера от должности, заменив его Карлом Отто-Зауром, тем не менее Карл Дёниц проигнорировал это.
23 мая 1945 года Шпеер был арестован союзниками вместе с другими членами Фленсбургского правительства и помещён в военную тюрьму в Нюрнберге. Во «время Нюрнбергского процесса против главных военных преступников был одним из немногих обвиняемых, которые признали свою вину. В своем последнем слове Шпеер сказал:
«Диктатура Гитлера была первой диктатурой индустриального государства в век современной технологии, диктатурой, которая довела до совершенства технологический инструментарий, чтобы повелевать собственным народом… С помощью таких технических средств, как радио и громкоговорители, у восьмидесяти миллионов людей было отнято самостоятельное мышление».
В конце Нюрнбергского процесса из 8 судей участвующих в принятии решения о мере наказания для Шпеера, 3 высказались за смертную казнь, 1 за пожизненное заключение, и еще 4 за длительный срок лишения свободы. В ходе двухдневных дискуссий все судьи выработали компромиссное решение, и 1 октября 1946 года Международный военный трибунал признал Альберта Шпеера виновным в совершении военных преступлений и преступлений против человечности и приговорил его к 20 годам тюремного заключения. В вину ему было поставлено использование труда заключённых концлагерей.
Вместе с шестью другими осуждёнными его поместили в бывшую военную тюрьму Шпандау на территории Западного Берлина. Тюрьма в Шпандау находилась под контролем представителей четырёх стран-союзниц. Многочисленные прошения о помиловании со стороны семьи и политиков были отклонены из-за неприемлемости для Советского Союза. 30 сентября 1966 года Шпеер вышел из тюрьмы, отбыв весь срок заключения.
В 1969 году он опубликовал написанные ещё в тюрьме мемуары — «Воспоминания» , которые пользовались большим успехом. В 1975 году вышла его книга «Шпандау: Тайный дневник» , а в 1981 году — «Государство рабов. Мои дискуссии с СС». В них он изобразил себя аполитичным технократом и интеллектуалом, который почти ничего не хотел знать о преступлениях режима и только «исполнял свой долг».
Альберт Шпеер скоропостижно скончался 1 сентября 1981 года в возрасте 76 лет в отеле Park Court в Лондоне от кровоизлияния в мозг во время встречи с любовницей.