Im Jahre 1735 errichteten die Jesuiten den damals vielbewunderten Neubau. Der Bau maß in in seiner gesamten Länge 140 Fuß (ca. 41 m), an jeder Seite hatte er 40 Fuß (ca. 12 m) und erhob sich in drei Stockwerken zu einer Höhe von 35 Fuß (ca. 10 m). 17 Fenster in einer Front spendeten reichlich Licht und prägten sein Äußeres.

Im Jahre 1865/66 wurde ein Anbau errichtet, der im rechten Winkel zur Front des Altbaus an die Südseite angeschlossen wurde und sich in gleicher Höhe (11 m) fast bis zur Studienkirche erstreckte.

Der jetzige Zustand des ehemaligen Knabenseminars St. Ulrich resultiert aus einer umfangreichen Baumaßnahme, begonnen im Jahre 1957/58.

Aus der Erbauerzeit sind Fassade und Raumaufteilung nur noch teilweise vorhanden.

Das Gebäude wurde in den Jahren 1862-1990 als Bischöfliches Knabenseminar St. Ulrich genutzt.

Danach diente das Gebäude den Regens-Wagner-Anstalten als Alten- und Pflegeheim, sowie als Unterkunft für eine Gruppe schwierig erziehbarer Jugendlicher. In einem Teil des Gebäudes war außerdem ein zweigruppiger Kindergarten untergebracht.

Das Gebäude das ehemaligen Knabenseminars St. Ulrich steht unter Denkmalschutz (sowohl als Einzeldenkmal als auch als Ensembleschutz).

Das Amtsgericht Dillingen a.d.Donau war zusammen mit dem Finanzamt im Schloss Dillingen untergebracht. Im Juni 2001 kam es zu einer gravierenden Verschlechterung der Standsicherheit des Süd-Ost-Flügels des Schlosses Dillingen. Dadurch wurde es notwendig, kurzfristig den betroffenen Bereich zu räumen. Das Amtsgericht musste in ein geeignetes Gebäude ausgelagert werden, da nun eine Unterbringung beider Behörden im Schloss nicht mehr möglich war.

Das Amtsgericht erhielt neue Räumlichkeiten im ehemaligen Knabenseminar St. Ulrich. Nach Durchführung umfangreicher Umbaumaßnahmen erfolgte im Jahr 2003 die Einweihung.