Dank der Erbschaft und Spende des Jesuiten und Stiftsdekans Ignatius Desiderius von Peutingen konnte mit Erlaubnis des Ellwanger Fürstprobstes Franz Ludwig von der Pfalz am 31.07.1720 mit dem Bau des ehemaligen Jesuitenkollegs, dem heutigen Gebäude Marktplatz 6, begonnen werden. Das Gebäude wurde unter der Bauleitung des Ordensbruders Jakobus Amrhein in 2 Jahren vollendet. Noch im Jahr 1722 wurde mit dem Bau des Jesuitengymnasiums mit großem Theatersaal, dem heutigen Gebäude Schmiedstr. 1 mit Schwurgerichtssaal, begonnen. Bauleiter war wieder Bruder Jakobus. Das Gebäude wurde 1723 fertig. Für die prächtige Ausstattung der Gebäude sorgten Ellwanger Künstler und Stukkateure sowie die Maler und Frescanten Antonius Haffner aus Dillingen und Thomas Scheffler. Mit der Säkularisation wurde das Kollegium Ignatianum am 21.12.1802 durch Herzog Friedrich II. aufgehoben und die Gebäude fielen an Württemberg. Von 1803 bis 1815 wurden die beiden Gebäude als Kaserne für die württ. Truppen verwendet; erst im Jahre 1818 wurden sie dem Gymnasium, das solange im ehemaligen Kameralamtsgebäude in der Priestergasse 5 untergebracht war, zurückgegeben. Im Jahre 1848 musste das ehemalige Jesuitengebäude an das Gericht übergeben werden. Das Gymnasium blieb bis zum 26.07.1963 im ehemaligen Jesuitenkolleg: an diesem Tag konnte es, nachdem der 2. Bauabschnitt des neuen Peutinger-Gymnasiums fertiggestellt war, ganz in diesen Neubau umziehen. Damit ging die Nutzung des Gebäudes an das Landgericht über. In den Jahren 1964/65 wurde es durch das Staatliche Hochbauamt für die Strafkammern des Landgerichts und die Staatsanwaltschaft Ellwangen umgebaut und renoviert.