Quellennachweis
Generatives Vortraining · OpenAI 2018
- OpenAI: Improving language understanding with unsupervised learning, 11. Juni 2018, abgerufen 20. November 2026. Zeitgenössische Vorstellung, Kombination von Transformer und Vortraining sowie Grenzen der Verallgemeinerung.
- Alec Radford, Karthik Narasimhan, Tim Salimans, Ilya Sutskever: Improving Language Understanding by Generative Pre-Training, 2018, abgerufen 20. November 2026. Originalarbeit zu Vortraining, aufgabenspezifischer Feinabstimmung und Benchmarks.
- OpenAI: Better language models and their implications, 2019, abgerufen 20. November 2026. Rückblickende Bezeichnung des Ansatzes von 2018 als GPT und Einordnung von GPT-2.