Im 12. Jh. erbauten „die Spät(h)en" oder „Spet" von Steinhart eine Burg. Im 13. Jh. verlegten sie ihren Sitz nach Faimingen an der Donau. Die Erwerber der Burg, die Grafen von Oettingen, gaben sie als Lehen an verschiedene Ritterfamilien. Im 14. Jh. dürfte die Burg aufgegeben worden sein. Burghügel und Graben sind noch erkennbar. Eine neue Befestigung mit einem ausgedehnten Grabensystem entstand oberhalb der alten Anlage. 1634 wurden Dorf und Burg niedergebrannt. Steinhart besaß eine jüdische Gemeinde mit einer eigenen Synagoge. Der ehemalige Friedhof befindet sich auf dem einstigen Burghügel.