Sprachmodelle wie ChatGPT oder Claude sind längst im Alltag von Millionen Menschen angekommen. Doch was tatsächlich im Inneren dieser Systeme vorgeht und warum sie erst nach gezielter Feinjustierung wirklich zuverlässig arbeiten, bleibt selbst in der Forschung ein weitgehend blinder Fleck. Genau diese Lücke will Marius Mosbach schließen, der zum Professor für Language Science and Technology an der Universität des Saarlandes ernannt wurde.
Im Zentrum seiner Arbeit steht ein Vorgang, den Fachleute als Fine-Tuning oder Post-Training bezeichnen. Erst durch diesen Schritt entwickelt ein vortrainiertes Sprachmodell seine volle Leistungsfähigkeit: Es lässt sich auf einzelne Fachgebiete, Sprachen oder Aufgaben spezialisieren und wird zugleich sicherer und stärker an menschlichen Bedürfnissen ausgerichtet. Das Paradoxe daran ist, dass nahezu jede praktische Anwendung auf dieser Anpassung beruht, obwohl kaum jemand präzise beschreiben kann, wann und warum sie funktioniert.
Mosbach möchte dieses Feld aus dem Bereich der empirischen Faustregeln herausführen und auf ein wissenschaftliches Fundament stellen. Seine Forschung verfolgt dabei drei Stränge. Der erste betrifft die Interpretierbarkeit: Wie arbeiten Modelle im Inneren, und wie verändert die Anpassung ihre Struktur? Der zweite widmet sich der Frage, wann Systeme auch jenseits ihrer Trainingsdaten verlässlich bleiben. Der dritte Strang untersucht das kontinuierliche Lernen, also die Fähigkeit eines Modells, veraltetes Wissen selbstständig zu aktualisieren und sich im laufenden Einsatz zu verbessern.
Ein besonderes Anliegen ist ihm, die oft theoretisch geprägte Interpretierbarkeitsforschung praktisch anwendbar zu machen. Bekannt wurde er in der Fachwelt unter anderem durch das Verfahren LLM2Vec, mit dem sich große Sprachmodelle in leistungsstarke Text-Encoder umwandeln lassen. Auch seine grundlegenden Untersuchungen zur Stabilität beim Fine-Tuning etablierter Modelle wie „Bert“ fanden breite Beachtung.
An der Universität des Saarlandes wird Mosbach in der Fachrichtung Sprachwissenschaft und Sprachtechnologie am Saarland Informatics Campus eine neue Forschungsgruppe aufbauen. Zugleich übernimmt er die Rolle des wissenschaftlichen Direktors am Deutschen Forschungszentrum für Künstliche Intelligenz und verankert seine Arbeit damit fest in der internationalen KI-Forschung am Standort.
Ausgezeichnet wurde der Wissenschaftler gemeinsam mit seinen Mitautorinnen und Mitautoren bereits mehrfach, darunter mit einem Best Paper Award auf der COLING 2022, dem Best Theme Paper Award auf der ACL 2023 sowie dem Most Interesting Paper Award der BabyLM Challenge 2023.
Sein Weg führte ihn dabei durchaus zurück an vertrautes Terrain: Mosbach studierte Informatik an der Universität des Saarlandes und promovierte dort an der Fakultät für Mathematik und Informatik. Anschließend forschte er als Postdoktorand am Mila – Quebec AI Institute und an der McGill University im kanadischen Montréal. Seine neue Doppelrolle an Universität und DFKI tritt er am 1. Oktober an.
