moinsen / SoftwaregeschichteEN ↗
← 2017

Ereignis

Der Transformer für maschinelle Übersetzung

Einordnung und Recherchestand
  • Kennung: 2017-transformer
  • Zeitraum: 2017
  • Datumsgenauigkeit: Jahr, sofern im Text nicht genauer / year unless specified in text
  • Art: historische Entwicklung / historical development
  • Kategorien: Sprachen und Techniken, Ereignisse
  • Akteure und Rollen: Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Łukasz Kaiser und Illia Polosukhin: Forschung
  • Region: International

Die 2017 veröffentlichte Forschungsarbeit Attention Is All You Need stellte die Transformer-Architektur vor. Die Autoren untersuchten die auf Attention statt Rekurrenz und Faltung beruhende Architektur an Aufgaben der maschinellen Übersetzung. Forschungsarbeit Quelle

Die Arbeit nennt acht Personen und kennzeichnet ihre Beiträge als gleichwertig. Ein späteres Beispiel für eine darauf aufbauende Entwicklung ist BERT von 2018. Autorenschaft

Vereinfacht betrachtet kann Self-Attention Beziehungen zwischen verschiedenen Teilen eines Satzes gewichten. Beim ursprünglichen Übersetzungsmodell verarbeitet ein Encoder die Eingabe; ein Decoder erzeugt daraus die Übersetzung schrittweise. Die Konferenzfassung meldete 28,4 BLEU für Englisch–Deutsch auf dem WMT-2014-Test. Das ist eine automatische Kennzahl für diesen Test, keine Prozentzahl für allgemeines Sprachverständnis. Versuch und Erklärung

Bei Englisch–Französisch nennt die Konferenzfassung 41,0 BLEU. In der späteren arXiv-Fassung v7 stehen 41,8 in Zusammenfassung und Tabelle, aber weiterhin 41,0 im Ergebnisteil. Der Grund und der zutreffende Wert sind nicht geklärt. Fassungsvergleich

Eine weitere Abweichung steht auf der NeurIPS-Metadatenseite: Ihr HTML-Abstract nennt 41,1 für Englisch–Französisch und 27,5 für Englisch–Deutsch, während das verlinkte Konferenz-PDF 41,0 beziehungsweise 28,4 nennt. Der arXiv-Abstract änderte sich zwischen v4 im Juni und v5 im Dezember 2017 von 41,0 auf 41,8. Die Ursachen dieser Abweichungen sind nicht belegt. Originalfassungen

Die Konferenzfassung vergleicht 41,0 für das große Transformer-Einzelmodell mit 41,29 für ein ConvS2S-Ensemble in derselben Tabelle. Ihr Ergebnisteil beansprucht den Vorsprung deshalb gegenüber früheren Einzelmodellen. In der späteren arXiv-Tabelle steht für Transformer 41,8; bei einem Vergleich muss die Fassung genannt werden. Originaltabellen

Belege

Offen

Ursache und zutreffenden Englisch–Französisch-Wert unabhängig klären; arXiv v7 ist auch intern uneinheitlich. / Independently resolve the cause and correct English-to-French value; arXiv v7 is internally inconsistent.