Erste Versuche, eine historisch-statistische Beschreibung der Reichskirche zu verfassen, gehen bis in das 16. Jahrhundert zurück. Am Beginn steht der Klosterschematismus des Humanisten Kaspar Bruschius (1518–1557), die Chronologia monasteriorum Germaniae praecipuorum ac maxime illustrium (Ingolstadt 1551). Die Chronologia enthält die Geschichte von 145 überwiegend süddeutschen Klöstern, die in alphabetischer Abfolge nach dem gleichbleibenden Schema Gründung – Stiftungen – Äbteliste aufgeführt werden.
Den ersten Versuch einer Beschreibung der Bistümer stellen die Epitome de omnibus Germaniae episcopatibus dar, von denen allerdings nur ein Band vollendet wurde (Nürnberg 1549).
Der Name „Germania sacra“ wurde erstmals von Gabriel Bucelinus in der Germania topo-chrono-stemmato-graphica sacra et profana verwendet (erschienen in 4 Bänden, Augsburg 1655–1678). Abt Martin Gerbert von St. Blasien im Schwarzwald verfolgte als erster den Plan, die Beschreibung der Diözesen des Reiches als Gemeinschaftsprojekt zu realisieren. Bis 1803 erschienen allerdings nur vier Bände.
Paul Fridolin Kehr (1860–1944), Organisator der deutschen Mediävistik, begründete 1917 am Kaiser-Wilhelm-Institut für deutsche Geschichte das Projekt Germania Sacra (später als „Alte Folge“ bezeichnet). Er beabsichtigte damit, ein landesgeschichtliches Bindeglied zu umfassenden Kirchengeschichtsprojekten (Germania Pontificia, Repertorium Germanicum) zu schaffen, die am Preußischen Historischen Institut in Rom und vor allem am Vatikanischen Archiv etabliert waren.
1956 wurde die Germania Sacra an das neu gegründete Max-Planck-Institut für Geschichte in Göttingen übertragen. Die Direktoren Hermann Heimpel, Josef Fleckenstein und Otto Gerhard Oexle ließen die Germania Sacra als „Neue Folge“ fortführen.
Nach der Schließung des Max-Planck-Instituts für Geschichte zum 31.12. 2007 übernahm die Union der Akademien in Deutschland zum 01.01.2008 für weitere 25 Jahre die Verantwortung für die Germania Sacra. Die „Dritte Folge“ der Germania Sacra wurde als Arbeitsstelle an der Akademie der Wissenschaften zu Göttingen eingerichtet.