Josef Mengele naît à Günzburg, cité médiévale située au bord du Danube. Il est le deuxième enfant et l'aîné des trois fils de Karl Mengele (1881-1959) et de sa femme Walburga (née Hupfauer, † 1946), de riches industriels bavarois. Ses frères se nomment Karl (1912-1949) et Alois (1914-1974). En janvier 1930, il quitte sa ville natale pour rejoindre Munich. C'est dans cette ville qu'il va adopter l'idéologie nationale socialiste, par conviction, et ambition. En mars 1931, il entre dans la Stahlhelm, Bund der Frontsoldaten (Ligue des Soldats du Front, Casque d'Acier), qui le rapprocha du NSDAP. En octobre 1933, il s'enrôle dans la Sturmabteilung.