Quellennachweis
Llama 2: Trainingsangaben und veröffentlichte Modellgrößen
- Touvron u. a., Llama 2: Open Foundation and Fine-Tuned Chat Models, 2023, Abschnitte 1 und 2.1 sowie Tabelle 1: Das Forschungsteam gibt zwei Billionen Tokens für das Vortraining und eine Mischung öffentlich zugänglicher Quellen an. In der untersuchten Passage werden diese Quellen nicht einzeln aufgelistet. Tokens sind Texteinheiten und weder Wörter noch eine Zahl unterschiedlicher Dokumente. Der Bericht beschreibt trainierte Modelle mit 7, 13, 34 und 70 Milliarden Parametern; zur Veröffentlichung nennt er 7, 13 und 70 Milliarden und hält die 34-Milliarden-Variante zunächst wegen noch nicht abgeschlossener Sicherheitstests zurück.
- Stanford Center for Research on Foundation Models, Foundation Model Transparency Index: Meta Llama 2, Bewertung Mai 2024, Kriterium „Data sources“: Die unabhängige Bewertung vergibt für die Offenlegung sämtlicher Datenquellen keinen Punkt, weil dafür eine nachvollziehbare Aufschlüsselung der Quellen verlangt wird. Das ist die Bewertung anhand dieses konkreten Kriteriums, keine Aussage, Meta habe keinerlei Angaben zu Trainingsdaten gemacht.
- Abruf: 20. November 2026. Veröffentlichte Gewichte und eine vollständige Offenlegung oder Bereitstellung sämtlicher Trainingsdaten sind verschiedene Fragen. Die 34-Milliarden-Angabe betrifft den damaligen Veröffentlichungsstand, nicht spätere Varianten.