OpenOrca – Open-Source-Datensatz und instruktionstuningbasiertes Sprachmodell

 (huggingface.co)
6 Punkte von xguru 2023-07-01 | 2 Kommentare | Auf WhatsApp teilen
  • Eine Open-Source-Reproduktion auf Basis der Inhalte aus Microsofts Orca-Paper
    • Rund 1 Million FLANv2, erweitert mit GPT-4 Completion
    • Rund 3,5 Millionen FLANv2, erweitert mit GPT-3.4 Completion
  • Enthält die vollständigen 75k CoT aus dem FLAN-1m-Datensatz
  • Derzeit läuft ein Fine-Tuning aller Gewichte auf der Grundlage von LLaMA-13B, sodass die Leistung voraussichtlich mit der von Microsoft vergleichbar wird
    • OpenOrca-LLaMA-13b könnte etwa Mitte Juli veröffentlicht werden
  • Es wird nach einem Sponsor für GPU-Compute gesucht, um OpenOrca auf andere Plattformen (Falcon, LLaMA, MPT usw.) anzupassen

Verwandte Beiträge

2 Kommentare

 
ninebow 2023-07-02

Oh, der Link ist 404.

Den Datensatz finden Sie auf HuggingFace unter Open-Orca/OpenOrca! :D
 
xguru 2023-07-02

Oh, es sieht so aus, als wäre der Beitrag gelöscht worden.

In der Wayback Machine ist er noch vorhanden.

https://web.archive.org/web/20230629002546/…

Den Link habe ich auf den von dir geposteten HuggingFace-Link geändert.