Das Schelztor war Teil der Esslinger Stadtbefestigung, die bis in das 13. Jahrhundert zurückgeht. Die mächtigen Mauern mit ihren Schießscharten für Bogen- und Armbrustschützen sowie die später eingebrochenen runden Öffnungen für Feuerwaffen zeugen bis heute von der Wehrhaftigkeit der ehemaligen Reichsstadt.