Am 27. 1. 1903 fand die Gründungsversammlung in Gasthaus Zum Felsenberg (der ehemaligen Ortsverwaltung) Schloß Str. 25 statt. Es war bemerkenswert, dass schon auf Anhieb 100 Mitglieder bereit waren im Geist des Turnvaters Jahn diesen Verein zu gründen und zu fördern. In den Statuten war verankert: körperliche Ertüchtigung durch Turn- und Pflege des deutschen Volksbewusstseins unter Abschaffung politischer Bestrebungen. Wer gegen diesen Vorsatz verstieß, musste sich entschuldigen und wurde im Wiederholungsfall aus dem Verein ausgeschlossen. Am 24. 2 1903 fand die erste Hauptversammlung statt. Den Vorsitz übernahm der Schmiedemeister und spätere Bürgermeister Friedrich Naab. Dem Vorstand gehörten Jakob Maurer. August Windisch, Wilhelm Gerhardt, Peter Zimmermann, Philipp Hauf, Georg Glock und Friedrich Eimermann an. Der monatliche Beitrag wurde auf 20 Pfennig festgelegt.
Jahresveranstaltungen und Theater-abende wurden lange Zeit mit dem Männergesangsverein Germania gemeinsam gestaltet. Mit gutem Erfolg beteiligte man sich schon am 14. 6. 1903 bei dem Turnfest in Gimbsheim. Sehr bald wurde der Verein durch große Leistungen bekannt.
Nach dem I. Weltkrieg kehrten von 28 aktiven Turnern nur 15 wieder zurück. Noch größere Verluste brachte der II. Weltkrieg. Durch die Besatzungsmächte gehindert, konnte erst 1949 unter Hermann Hauf als Vorsitzenden und Leonhard Bucher als Oberturnwart der Turnbetrieb wieder aufgenommen werden. Geräte Turnen war die besondere Stärke und brachte dem Verein großes Ansehen.
Junge und alte Turner feierten 1953 in einem großen Festzelt auf dem Weedplatz mit vielen Bürgern und Gästen das 50-jährige Jubiläum. Große Mengen von gespendetem Wein wurden getrunken. Bald war Hermann Hauf beruflich verhindert und der Hauptlehrer Paul Kaiser übernahm den Vorsitz. Ihm folgte von 1958 bis 1970 Hans Strub, der diesen Posten an den damaligen Bürgermeister und späteren Ortsvorstand Paul Frank übergab der seither die Kasse verwaltete.
Im Turnsaal feierte man 1978 den 75. Geburtstag im kleinen Rahmen. Frauen- und Männergymnastik sowie Tischtennis wurden neben dem Kinderturnen, welches viele Jahre in den Händen von Oberturnwart Hans Kuchler lag zur Haupttätigkeit. Im Jahr 1980 tauschte Paul Frank seine Tätigkeit mit dem seitherigen 2. Vorsitzenden Reinhold Göttelmann.
Über viele Jahre bis 1994 leitete Reinhold Göttelmann mit seiner ruhigen und besonnen Art den Verein.
Im Jahr 1983 wurde die überaus erfolgreiche Tischtennisabteilung nach 7 Jahren aufgelöst.
In der Amtsperiode von Reinhold Göttelman, der im Jahre 2001 verstorben ist, wurde der 90. Geburtstag des Vereins festlich gefeiert.
In dieser Zeit wurden viele Weichen gestellt, die das Vereinsleben entscheidend beeinflusst haben.
Für das Turnhallenproblem, um die sich alle Vereinsvorstände seit der Gründungsversammlung 1903 vergeblich bemühten, wurde mit dem Verkauf der Raiffeisenhalle an die Gemeinde Nierstein 1993 eine Lösung gefunden.
Damit begann für den TV 03 ein neues Kapitel. Mit dem Um- und Neubau in ein Bürgerhaus fand der Turnverein neben anderen Vereinen ein neues Zuhause. Nach 5 jähriger Bauzeit wurde 1998 das Bürgerhaus eingeweiht. Wir konnten aus dem beengten Turnsaal dem Felsenkeller mit all unseren neuen und alten Turngeräten umziehen. Das Bürgerhaus wurde von den Bürgern zum großen Teil in Eigenleistung gebaut. Die Mitglieder des TV 03 waren mit ihrem Arbeitseinsatz maßgeblich daran beteiligt.
Gleichzeitig mit dem Umbau der Raiffeisenhalle wurde unter dem neuen Vereinsvorsitzen Friedel Stauß (Vorsitz von 1994 bis 1998) das Sport- und Freizeitgelände im Ried in vielen Arbeitsstunden hauptsächlich eigenfinanziert gebaut. Die 1. Vorsitzende Heide Kokoscha (Amtszeit von 1998 bis 2002) feierte im Sommer 2000 die Einweihung mit einem Sportfest.
Im Jahre 2002 wurde Armin Küllenberg zum 1. Vorsitzenden gewählt. In dessen Amtszeit fiel das 100. Vereinsjubiläum. 2004 wurde das Beachvolleyballfeld im Ried eingeweiht.
Seid Ende 2011 wird der TV-Schwabsburg von einem neuen Vorstand geleitet. Mit doppelter Frauenpower (Martina Mogk- Schuch als 1. Vorsitzende und Lucia Schenk als 2. Vorsitzende) geht es nun weiter.