Der gebürtige Ulmer wechselte mit 14 Jahren zum SSV Ulm 1846. Dort wurde er dann auch nach seiner Jugendspielzeit in den Kader der ersten Mannschaft übernommen. In dieser Saison 2008/09 etablierte er sich auch als Stammspieler. Als der damalige SSV-Trainer Markus Gisdol ein Jahr später die zweite Mannschaft der TSG 1899 Hoffenheim übernahm, tat Ludwig es ihm gleich und wechselte mit seinem Trainer in den Kraichgau. In dieser Saison gelang ihm der Sprung in den Profikader und machte sein erstes Bundesligaspiel. Dabei blieb es aber auch vorerst - Ludwig kam zu seinen Einsätzen in der Zweiten. In der Saison 2011/12 wurde der Mittelfeldspieler nach Heidenheim ausgeliehen, kam aber zur Rückrunde wieder zurück. Nun bekommt der mit 15 Toren aus 24 Spielen in der U23 torgefährlichste Mann das Vertrauen von seinem neuen alten Trainer. Gisdol nahm ihn nach seinem Amtsantritt zu sich in den Profikader und wechselte "Lude" am 29. Spieltag in der Volkswagen-Arena in Wolfsburg auch gleich ein.