- Weltweit die erste offene Community-Challenge, bei der Nutzer hochgeladene Modelle bewerten
- Start von Season 1, Episode 1 am 10. Juni, mit Preisgeldern von $250k über 12 Wochen
- Wettbewerbsformat
- Das Chai Reward Model (GPT-2), das direkt mit 170 Mio. nutzergenerierten Signalen trainiert wurde, wird als Open Source veröffentlicht
- Dieses Modell kann für die Offline-Evaluierung verwendet oder als Teil einer RLHF-Pipeline integriert werden
- Da das Training von Sprachmodellen teuer ist, sollen verschiedene Basismodelle getestet werden, damit jeder am Wettbewerb teilnehmen kann
- Für hochgeladene Modelle wird mit einem internen AI-Safety-Classifier geprüft, ob sie bereitstellbar sind, und sie werden für A/B-Tests mit Nutzern veröffentlicht
- Bewertung durch mehr als etwa 1 Mio. reale Nutzer
1 Kommentare
Das Llama-Bild wirkt eindrucksvoll, als wäre es mit einem Super-Saiyajin fusioniert.