Made in Aachen: Hermann Ney – wie Aachener Sprachforschung Google Translate mitprägte

Wer heute im Ausland vor einem Schild steht, das Smartphone zückt und sich dessen Inhalt übersetzen lässt, erlebt etwas, das längst selbstverständlich geworden ist.

Ein paar Sekunden reichen.

Text eingeben, Sprache auswählen, Übersetzung erhalten.

Auch gesprochene Sprache wird inzwischen nahezu in Echtzeit erkannt, verarbeitet und übersetzt.

Hinter dieser scheinbaren Selbstverständlichkeit liegen jedoch Jahrzehnte mathematischer und informatischer Grundlagenforschung.

Und ein bemerkenswert wichtiger Teil dieser Geschichte führt nach Aachen.

Zu einem Wissenschaftler, dessen Name außerhalb der Fachwelt vergleichsweise wenig bekannt ist:

Professor Dr.-Ing. Hermann Ney.

Wie bringt man einem Computer Sprache bei?

Für einen Menschen ist Sprache intuitiv.

Für einen Computer zunächst überhaupt nicht.

Eine Maschine hört keine Wörter. Sie verarbeitet Signale.

Sie kennt zunächst keine Grammatik, keinen Zusammenhang und keine Bedeutung. Und selbst wenn einzelne Wörter erkannt wurden, beginnt das eigentliche Problem erst.

Welche Wortfolge ist wahrscheinlich?

Was bedeutet ein Wort im Zusammenhang mit den Wörtern davor und danach?

Welche von mehreren möglichen Übersetzungen ist die richtige?

Wie verändert sich die Wortstellung zwischen zwei Sprachen?

Und wie findet ein Computer aus Millionen denkbarer Möglichkeiten schnell genug einen sinnvollen Satz?

Mit genau solchen Fragen beschäftigt sich Hermann Ney seit Jahrzehnten.

Nach seinem Studium der Physik und seiner Promotion arbeitete er von 1977 bis 1993 bei den Philips Research Laboratories in Hamburg und Aachen. 1993 wechselte er als Professor für Informatik an die RWTH Aachen.

Seine Forschungsgebiete umfassen unter anderem maschinelles Lernen, automatische Spracherkennung, Sprachmodelle und maschinelle Übersetzung.

Was sehr theoretisch klingt, sollte später in Technologien auftauchen, die weltweit täglich genutzt werden.

Kneser-Ney – zwei Namen werden zum Fachbegriff

Eine seiner bekanntesten Arbeiten entstand gemeinsam mit Reinhard Kneser.

1995 veröffentlichten Kneser und Ney das wissenschaftliche Verfahren „Improved Backing-off for M-gram Language Modeling“.

Heute ist die daraus hervorgegangene Methode vor allem als Kneser-Ney-Smoothing bekannt.

Doch was macht sie eigentlich?

Ein klassisches Sprachmodell versucht vereinfacht gesagt zu berechnen, wie wahrscheinlich bestimmte Wortfolgen sind.

Nehmen wir beispielsweise:

„Ich fahre heute nach …“

Ein Sprachmodell muss abschätzen, welches Wort anschließend wahrscheinlich sein könnte.

Aachen?

Berlin?

Hause?

Paris?

Das funktioniert gut, solange das System ähnliche Wortfolgen bereits häufig in seinen Trainingsdaten gesehen hat.

Sprache besteht jedoch aus praktisch unendlich vielen möglichen Kombinationen.

Ein System wird deshalb ständig mit Wortfolgen konfrontiert, die selten oder überhaupt nicht in seinem Trainingsmaterial vorkamen.

Genau dort wird es kompliziert.

Kneser-Ney-Smoothing entwickelte eine besonders wirkungsvolle Methode, Wahrscheinlichkeiten auch für solche Fälle sinnvoll abzuschätzen.

Die Methode wurde zu einem der bedeutendsten Verfahren der klassischen statistischen Sprachmodellierung.

In Neys wissenschaftlicher Biografie wird sie als eine seiner zentralen Arbeiten aufgeführt und als Verfahren beschrieben, das über viele Jahre zu den leistungsfähigsten Methoden der Sprachmodellierung gehörte.

Doch Hermann Ney beschäftigte sich längst mit der nächsten Herausforderung

Maschineller Übersetzung.

Mitte der 1990er-Jahre gehörte die Vorstellung, Computer könnten automatisch hochwertige Übersetzungen erzeugen, keineswegs zum normalen digitalen Alltag.

Frühere Systeme versuchten häufig, menschliche Sprachregeln möglichst detailliert in Software abzubilden.

Ein anderer Ansatz war radikaler:

Warum sollte man einem Computer jede Regel ausdrücklich erklären?

Warum lässt man ihn nicht aus bereits existierenden Übersetzungen lernen?

Damit begann die große Zeit der statistischen maschinellen Übersetzung.

Ein System analysiert dabei große Mengen von Texten, die in mehreren Sprachen vorliegen.

Aus diesen Daten versucht es statistisch zu lernen:

Welche Wörter entsprechen einander?

Welche Wortgruppen gehören zusammen?

Wie verschieben sich Wörter innerhalb eines Satzes?

Und welche Übersetzung ist mit welcher Wahrscheinlichkeit die richtige?

Hermann Ney und sein Team an der RWTH Aachen begannen ab Mitte der 1990er-Jahre intensiv auf diesem Gebiet zu forschen.

Nicht mehr Wort für Wort

Eine besonders wichtige Entwicklung bestand darin, Übersetzungen nicht ausschließlich anhand einzelner Wörter zu betrachten.

Denn menschliche Sprache funktioniert selten Wort für Wort.

Ein einfaches Beispiel:

Eine Redewendung kann aus mehreren Wörtern bestehen, deren einzelne Übersetzung kaum etwas mit der Bedeutung der gesamten Wortgruppe zu tun hat.

Aachener Forscher entwickelten deshalb Methoden weiter, bei denen zusammengehörige Wortgruppen als Einheiten betrachtet wurden.

Neys wissenschaftliche Biografie nennt für 1999 die datengetriebene, phrasenbasierte maschinelle Übersetzung als wichtigen wissenschaftlichen Beitrag seiner Forschungsgruppe.

Statt lediglich einzelne Wörter miteinander zu verbinden, konnten bilinguale Wortgruppen berücksichtigt werden.

Dieser phrase-based approach entwickelte sich anschließend zu einem der zentralen Verfahren der statistischen maschinellen Übersetzung.

Und an dieser Stelle bekommt die Geschichte plötzlich einen Namen, der die Verbindung von Aachen ins Silicon Valley herstellt.

Franz Josef Och

Franz Josef Och gehörte zu den frühen Doktoranden Hermann Neys auf dem Gebiet der statistischen maschinellen Übersetzung.

2002 promovierte er an der RWTH Aachen mit einer Arbeit über statistische Maschinenübersetzung.

Gemeinsam mit Ney und weiteren Aachener Forschern arbeitete er unter anderem an Verfahren zur Wortausrichtung, an Übersetzungsmodellen und an Methoden, mit denen Computersysteme aus zweisprachigen Textsammlungen lernen konnten.

Aus diesen Arbeiten entstand unter anderem GIZA++.

Das frei verfügbare Werkzeug zur statistischen Ausrichtung von Wörtern in zweisprachigen Texten senkte die Einstiegshürde für andere Forschungsgruppen erheblich und wurde international verbreitet eingesetzt.

Doch Och blieb nicht in Aachen.

Er ging in die USA.

Und schließlich zu Google.

Von Aachen zu Google

Google bot bereits seit 2001 einen Übersetzungsdienst an.

Die damalige Technik basierte jedoch auf kommerzieller Übersetzungssoftware und überzeugte Google nach eigener Darstellung qualitativ nicht.

Anfang der 2000er-Jahre begann das Unternehmen deshalb, einen anderen Ansatz zu verfolgen.

Franz Josef Och kam zu Google und arbeitete daran, datengetriebene statistische Maschinenübersetzung in großem Maßstab einzusetzen.

Google hatte dafür etwas, von dem akademische Forschungsgruppen nur träumen konnten:

enorme Rechenleistung und riesige Mengen mehrsprachiger Daten.

Och beschrieb später selbst, wie Google sein Übersetzungssystem auf den statistischen Ansatz umstellte.

Anfangs benötigte das System noch rund 40 Stunden und 1.000 Computer, um 1.000 Sätze zu übersetzen.

Nur etwa ein Jahr später konnte ein Satz in weniger als einer Sekunde übersetzt werden.

Anfang 2006 schaltete Google zunächst Chinesisch und anschließend Arabisch mit dem neuen statistischen System frei.

Und hier wird die Aachener Verbindung außergewöhnlich deutlich

Man könnte nun vorsichtig formulieren:

Ein ehemaliger RWTH-Doktorand arbeitete später eben zufällig bei Google.

Doch die dokumentierte Verbindung geht weiter.

Hermann Ney beschreibt in seiner eigenen wissenschaftlichen Biografie ausdrücklich, dass Franz Och und weitere ehemalige Doktoranden seiner RWTH-Forschungsgruppe zu Google wechselten und dort den phrasenbasierten Ansatz für den Übersetzungsdienst nutzten.

An anderer Stelle schreibt Ney über Och, dieser habe die statistische maschinelle Übersetzung bei Google eingeführt und weitere ehemalige Aachener Doktoranden seien ihm gefolgt.

Das ist eine bemerkenswerte wissenschaftliche Linie:

Grundlagenforschung in Aachen.

Doktoranden an der RWTH.
**
Statistische Übersetzungsmodelle.**

Wechsel zu Google.

Google Translate.

Hat Hermann Ney Google Translate erfunden?

Nein.

Das wäre eine spektakuläre Überschrift – aber wissenschaftlich nicht korrekt.

Google Translate entstand aus jahrzehntelanger internationaler Forschung und der Arbeit zahlreicher Wissenschaftler und Entwickler.

Auch statistische maschinelle Übersetzung wurde nicht allein in Aachen erfunden.

IBM hatte beispielsweise bereits zuvor grundlegende statistische Übersetzungsmodelle entwickelt.

Was man jedoch sehr wohl sagen kann:

Hermann Ney und seine Forschungsgruppe an der RWTH Aachen haben statistische Spracherkennung und maschinelle Übersetzung maßgeblich weiterentwickelt.

Und:

Forscher aus Neys Aachener Gruppe brachten diese Forschung später unmittelbar zu Google.

Dass Google Translate während seiner statistischen Ära von Technologien und Personen beeinflusst wurde, deren wissenschaftlicher Weg durch Aachen führte, ist keine Legende.

Es ist dokumentierte Forschungsgeschichte.

Eine ganze Forschergeneration

Vielleicht ist genau das die größte Leistung Hermann Neys.

Nicht ein einzelner Algorithmus.

Nicht eine einzelne Veröffentlichung.

Sondern eine ganze wissenschaftliche Schule.

In einer 2021 veröffentlichten wissenschaftlichen Biografie Neys waren 63 erfolgreich promovierte Wissenschaftler aus seiner Forschungsgruppe verzeichnet.

Viele wechselten später in internationale Forschungsteams und Unternehmen wie Google, Amazon, IBM, eBay und Nuance.

Damit exportierte Aachen über Jahrzehnte nicht nur Forschungsergebnisse.

Aachen exportierte Wissenschaftler, Wissen und Methoden.

Und diese Menschen entwickelten Technologien weiter, die anschließend weltweit eingesetzt wurden.

Von klassischer Statistik zu neuronalen Netzen

Die Technik blieb natürlich nicht stehen.

Google Translate stellte später von klassischer statistischer Maschinenübersetzung auf neuronale Übersetzungsverfahren um.

Auch moderne Sprachmodelle und heutige KI-Systeme arbeiten grundlegend anders als die statistischen Systeme der 1990er- und frühen 2000er-Jahre.

Doch Forschungsgeschichte funktioniert nicht so, dass eine neue Generation sämtliche vorherigen Erkenntnisse bedeutungslos macht.

Im Gegenteil.

Viele der grundlegenden Fragen bleiben bestehen:

Wie modelliert man menschliche Sprache mathematisch?

Wie verarbeitet man lange Wortfolgen?

Wie findet man aus vielen möglichen Ergebnissen das wahrscheinlich beste?

Wie trainiert man Modelle anhand großer Datenmengen?

Wie erkennt eine Maschine gesprochene Sprache?

Wie übersetzt man nicht einzelne Wörter, sondern ihren Zusammenhang?

An solchen Problemen arbeitete Hermann Ney bereits, als Begriffe wie generative KI oder Large Language Models noch Jahrzehnte entfernt waren.

Die Fachwelt kennt seinen Namen

Während Hermann Ney außerhalb der Informatik vielen Menschen unbekannt sein dürfte, wurde seine Arbeit international vielfach ausgezeichnet.

2005 erhielt er den Technical Achievement Award der IEEE Signal Processing Society für Beiträge zur Sprach- und Sprachtechnologie, darunter Sprachmodellierung, Suchalgorithmen und maschinelle Übersetzung.

2013 erhielt er den Award of Honour der International Association for Machine Translation für seine langjährigen Beiträge zur maschinellen Übersetzung.

2019 folgte der IEEE James L. Flanagan Speech and Audio Processing Award für wegweisende Beiträge zur statistischen und computergestützten Modellierung für Spracherkennung und Maschinenübersetzung.

2021 erhielt Ney schließlich die ISCA Medal for Scientific Achievement für grundlegende Beiträge zu datengetriebenen Methoden der automatischen Spracherkennung und maschinellen Übersetzung.

Die Öffentlichkeit kennt Google Translate.

Die Fachwelt kennt auch einen der wissenschaftlichen Wege, die dorthin führten.

Und auf diesem Weg steht der Name:

Hermann Ney.

Forschung, deren Auswirkungen erst Jahrzehnte später sichtbar werden

Vielleicht ist genau das die faszinierendste Seite von Grundlagenforschung.

1995 sitzt niemand vor einem Smartphone und denkt darüber nach, einmal seine Kamera auf eine fremdsprachige Speisekarte zu richten.

Niemand fragt einen intelligenten Assistenten nach einer Übersetzung.

Und kaum jemand außerhalb eines kleinen Forschungsgebietes interessiert sich dafür, wie Wahrscheinlichkeiten für Wortfolgen mathematisch berechnet werden.

Doch genau an solchen Problemen wurde gearbeitet.

Jahr für Jahr.

Veröffentlichung für Veröffentlichung.

Doktorand für Doktorand.

Bis aus scheinbar abstrakten mathematischen Problemen Technologien wurden, die heute für Millionen von Menschen vollkommen selbstverständlich sind.

Die Geschichte von Google Translate begann nicht in Aachen.

Aber ein bedeutender wissenschaftlicher Weg dorthin führt mitten durch Aachen.

Und über einen Mann, dessen Forschung wesentlich mehr Menschen erreicht haben dürfte, als seinen Namen kennen:

Hermann Ney.

Quellen & weiterführende Informationen
-RWTH Aachen – Wissenschaftliche Biografie von Prof. Dr.-Ing. Hermann Ney
-RWTH Aachen – Homepage von Prof. Dr.-Ing. Hermann Ney
-RWTH Aachen – Kneser & Ney: Improved Backing-off for M-gram Language Modeling, 1995
-Google Translate Blog – Franz Josef Och über die Entwicklung der statistischen Übersetzung bei Google