Родился в семье военного, сын генерал-майора. В 1902 году поступил на службу в армию, в 1904 году произведён в лейтенанты. В 1914 году окончил Баварскую военную академию. Участвовал в Первой мировой войне, служил в штабах различного уровня, был награждён Железным крестом 1-го и 2-го классов. После демобилизации немецкой армии остался в рейхсвере. В 1923—1924 годах командовал батареей 7-го артиллерийского полка, затем в штабе 7-й дивизии и военного округа. С 1926 года — обер-квартирмейстер Войскового управления. С августа 1931 года начальник штаба 6-го военного округа. С октября 1934 — командующий артиллерией 7-й дивизии, с октября 1935 года командир 7-й дивизии. С октября 1937 года второй, а с февраля 1938 — первый обер-квартирмейстер Генштаба Сухопутных войск. 27 августа 1938 стал начальником Генерального штаба Сухопутных войск вместо ушедшего в отставку Людвига Бека. В сентябре 1942 года Гитлером был смещен с этого поста в связи с провалом стратегии немецкого командования в битве на Волге и Северном Кавказе.

Гальдер был посвящен в 1938 и 1939 годах в планы заговорщиков, которые хотели свергнуть гитлеровский режим путём военного переворота для того, чтобы избежать вовлечения Германии в войну.

 Являясь противником начавшейся в 1939 году войны и сопротивляясь гитлеровской агрессивной политике, Гальдер, однако, продолжал выполнять приказы фюрера. Он активно участвовал в создании гитлеровской армии, разработке и осуществлении планов агрессии против Польши, Франции, Бельгии, Нидерландов, Люксембурга, Югославии, Греции и СССР. После провала гитлеровской стратегии осенью 1942 года Гальдер был отстранен от должности 24 сентября 1942.

23 июля 1944 года Гальдер был арестован по подозрению в причастности к покушению на Гитлера и 25 июля 1944 года был помещён в концлагерь Дахау. С 7 октября Гальдер для допросов переведён в тюрьму РСХА на Принц-Альбрехтштрассе, после чего 7 февраля 1945 года был переведён во Флоссенбург, а 9 апреля — вновь в концлагерь Дахау. В это время с 31 января 1945 года он был уже уволен с действительной военной службы с лишением наград и запрещением носить военную форму. 28 апреля 1945 года он был освобождён американцами и содержался в лагере военнопленных. В качестве свидетеля Гальдер давал показания на Нюрнбергском процессе, где заявил, что, не случись гитлеровского вмешательства в военные дела, Германия в 1945 году могла бы заключить мир на «почётных» условиях: «Хотя выиграть войну и не удалось бы, но можно было, по крайней мере, избежать позора поражения».

20 июня 1947 года Гальдер был переведён в лагерь для интернированных гражданских лиц. Находясь в американском плену, он участвовал в написании военно-исторических трудов. В 1948 года успешно прошёл денацификацию и после ряда апелляций с 12 сентября 1950 года официально стал считаться «свободным от обвинений».

Позднее написал брошюру «Гитлер как полководец» (1949), в которой пытался представить Гитлера единственным виновником поражения Германии и доказать непогрешимость германского генералитета и его стратегии. Стране вонзили нож в спину, утверждал он, но не социал-демократы того периода, а не кто иной, как Адольф Гитлер.

Опубликовал свой «Военный дневник» (в 3-х томах), который содержит огромный фактический материал о действиях вермахта в 1939-42. В 1950 году возглавил созданный в ФРГ «Рабочий штаб Гальдера», который разработал «План Г.», намечавший создание вооруженных сил ФРГ.

«Военный дневник» (т. 1-3, 1962-64) Гальдера — важный источник по истории 2-й мировой войны.