The Pile, ein vielfältiger Open-Source-Datensatz für Sprachmodellierung im Umfang von 825 Gigabyte (2020)

The Pile: ein 800-GB-Datensatz mit vielfältigen Texten für Sprachmodellierung

• The Pile ist ein vielfältiger Open-Source-Datensatz für Sprachmodellierung mit einem Umfang von 825 GiB, der durch die Kombination von 22 kleinen, hochwertigen Datensätzen erstellt wurde.
• Dieser Datensatz wird von der Organisation Eye gehostet und im Datenformat jsonlines mit zstandard komprimiert.
• Falls es Modelle gibt, die The Pile verwenden oder darauf evaluiert werden, wird darum gebeten, die Entwickler darüber zu informieren.

Warum The Pile als Trainingssatz verwenden?

• Jüngere Forschung zeigt, dass insbesondere bei großen Modellen die Vielfalt der Datenquellen das allgemeine domänenübergreifende Wissen des Modells und seine Generalisierungsfähigkeit für Downstream-Aufgaben verbessert.
• Auswertungen zeigen, dass auf The Pile trainierte Modelle bei traditionellen Benchmarks für Sprachmodellierung moderate Verbesserungen erzielen und bei Pile BPB deutliche Verbesserungen zeigen.

Warum The Pile als Benchmark verwenden?

• Um bei Pile BPB (bits per byte) gute Werte zu erreichen, muss ein Modell in der Lage sein, verschiedene Domänen zu verstehen, darunter Bücher, GitHub-Repositories, Webseiten, Chat-Protokolle, Medizin, Physik, Mathematik, Informatik und philosophische Arbeiten.
• Pile BPB ist ein Messwert für Weltwissen und Schlussfolgerungsvermögen in diesen Domänen und ein starker Benchmark für die allgemeine domänenübergreifende Fähigkeit großer Sprachmodelle zur Textmodellierung.

Zitation

• Wenn The Pile oder seine Bestandteile verwendet werden, wird darum gebeten, wie folgt zu zitieren.

@article{pile,
  title={The {P}ile: An 800GB Dataset of Diverse Text for Language Modeling},
  author={Gao, Leo and Biderman, Stella and Black, Sid and Golding, Laurence and Hoppe, Travis and Foster, Charles and Phang, Jason and He, Horace and Thite, Anish and Nabeshima, Noa and Presser, Shawn and Leahy, Connor},
  journal={arXiv preprint arXiv:2101.00027},
  year={2020}
}

Leaderboard

• Die Leaderboard zeigt mögliche Überschneidungen mit dem Testset an, und Zero-shot bedeutet, dass keine Bestandteile von Pile in den Trainingsdaten enthalten waren.
• GPT-3 (Zero-Shot)* und GPT-2 (Zero-Shot)* wurden von OpenAI am 1. Januar 2021 mit Test-BPB-Werten von 0,7177 bzw. 1,225 eingestuft.
• Der Evaluierungscode wird von EleutherAI 2021 bereitgestellt.

Meinung von GN⁺

• Der Datensatz The Pile spiegelt aktuelle Forschungsergebnisse wider, wonach die Vielfalt der Daten für das Training und Benchmarking von Sprachmodellen wichtig ist. Das trägt dazu bei, dass Sprachmodelle die vielfältigen Texte der realen Welt verstehen und verarbeiten können.
• Größe und Vielfalt des Datensatzes ermöglichen es Modellen, ein breiteres Spektrum an Wissen zu erlernen und bessere Generalisierungsfähigkeiten zu entwickeln. Das kann insbesondere im Bereich der künstlichen Intelligenz als wichtiger Fortschritt gesehen werden.
• Um solche groß angelegten Datensätze effektiv zu nutzen, sind jedoch erhebliche Rechenressourcen erforderlich, was Fragen nach Kosten und Umweltauswirkungen aufwirft.
• Andere Projekte mit ähnlicher Funktionalität sind große Sprachmodelle wie GPT-3 von OpenAI, die ebenfalls aus vielfältigen Datenquellen lernen.
• Vor der Nutzung von The Pile ist ein ausreichendes Verständnis der Datenherkunft, der Qualität und der Inhalte, die das Modell lernen soll, erforderlich. Der Vorteil dieses Datensatzes liegt im Erwerb vielfältigen Wissens durch das Modell, zugleich müssen aber auch die Kosten für Datenverarbeitung und Speicherung berücksichtigt werden.