moinsen / SoftwaregeschichteEN ↗
← 2020

Ereignis

GPT-3 und Aufgaben mit wenigen Beispielen

Einordnung und Recherchestand
  • Kennung: 2020-gpt3-forschung
  • Zeitraum: 2020
  • Datumsgenauigkeit: Jahr / year
  • Art: Forschungsarbeit / research paper
  • Kategorien: Sprachen und Techniken, Ereignisse, Zahlen und Fakten
  • Akteure und Rollen: Tom B. Brown und Forschungsteam: Autoren; OpenAI: Forschungsorganisation
  • Region: International

Die Forschungsarbeit „Language Models are Few-Shot Learners“ stellte 2020 GPT-3 vor, ein autoregressives Sprachmodell mit 175 Milliarden Parametern. Untersucht wurde unter anderem, wie es Aufgaben anhand weniger Beispiele im Eingabetext bearbeitet; die Autoren beschrieben auch Grenzen. Quelle

Das 2019 vorgestellte GPT-2 ist eine frühere Modellreihe. Die API startete 2020 als private Beta; Forschungspublikation und Zugang zum Produkt sind getrennte Ereignisse.

Bei den Versuchen standen Aufgabenbeispiele im Eingabetext; die Forschenden änderten die Modellgewichte dafür nicht durch aufgabenspezifisches Nachtraining. Die Arbeit nennt auch Aufgaben mit schwachen Ergebnissen und mögliche methodische Probleme durch Trainingsdaten aus dem Web. Originalarbeit

Belege

Offen

Forschungsarbeit, Zugang und spätere ChatGPT-Veröffentlichung getrennt betrachten; Parameter sind kein Genauigkeitsmaß. / Distinguish the research paper, access and later ChatGPT release; parameters are not an accuracy metric.