Die Altstadt ist geprägt von der mittelalterlichen Stadtbefestigung, vielen historischen Denkmälern und Fachwerkhäusern:

Der Tannenturm aus dem 15. Jahrhundert, auch unter der Bezeichnung “Hexenturm” bekannt, bildet den nördlichen Abschluss der mainseitigen Stadtmauer, die inzwischen als auch zur Hochwasserschutzmauer ausgebaut wurde. Das Obere Tor bildete im Südwesten einen landseitigen Zugang zur Stadt und wurde Mitte des 15. Jahrhunderts in Stein erbaut. Auch der Turm der St. Wolfgangskirche diente ursprünglich als Wehrturm der Stadtmauer, denn unter dem Fußboden konnte archäologisch ein Weg entlang der Stadtmauer freigelegt werden. Zudem hat der Kirchturm im ersten Stock noch wehrhafte Schießscharten. Die erste Erwähnung der Wolfgangskirche erfolgt im Jahr 1328 mit einem Marienpatrozinium, typisch für spätmittelalterliche Stadtgründungen. Im 15. Jahrhundert fanden größere Umbauten statt und das Patrozinium wechselte auf St. Wolfgang. Heute ist in der Kirche das Schifffahrtsmuseum untergebracht, welches den seit 1652 an der Wörther Mainlände belegten Schiffsbau dokumentiert.

Innerhalb der Stadtmauern befand sich ein kurmainzisches Schloss, das 1299 erstmals urkundlich erwähnt wird. Es war die Residenz der Familie von Kronberg. Seine letzte Glanzzeit erlebte es in den 20er Jahren des 17. Jahrhunderts unter Philipp von Kronberg. Ab der Mitte des 18. Jahrhunderts verfiel das aufgegebene Schloss. Seine Reste sind weitgehend von einem Fabrikgelände überbaut. Nur noch ein Turm mit Renaissanceportal im Herzen des Firmenareals erinnert an die höfische Geschichte an diesem Platz.

Besonders sehenswert ist in der Altstadt das Bürgerhaus (früher Rathaus) aus dem Jahr 1600. Das Fachwerkgebäude besitzt ein Renaissanceportal. Im ersten Stockwerk des Gebäudes befindet sich der alte Sitzungssaal, der heute für verschiedene öffentliche Anlässe der Stadt und für standesamtliche Trauungen Verwendung findet. Im zweiten Stockwerk ist eine Sammlung von römischen Fundstücken aus dem Bereich des Wörther Römerkastells zu sehen.