Vom HuggingFace-Mitgründer empfohlene Einsteigerliteratur für den Bereich KI

 (thomwolf.io)
52 Punkte von xguru 2024-05-21 | 4 Kommentare | Auf WhatsApp teilen
  • Mitgründer und CSO Thomas Wolf hat Physik und Jura studiert
  • Dies ist die Leseliste, die er 2016–17 gelesen hat, als er in die Bereiche NLP/AI/ML einstieg
    • Man sollte also beachten, dass dies vor den Umwälzungen durch ChatGPT/Transformer/Diffusion war
  • Das Buch "Deep Learning" ist eine gute Ressource, um sich einen schnellen Überblick über die aktuellen Werkzeuge zu verschaffen
  • "Artificial Intelligence: A Modern Approach" ist eine hervorragende Ressource für alle Werkzeuge und Methoden aus der Zeit vor neuronalen Netzen
  • "Machine Learning: A Probabilistic Perspective" ist eine hervorragende Ressource, um tiefer in probabilistische Ansätze einzutauchen und einen guten Einblick in Bayes’sche Werkzeuge zu bekommen
  • "Information Theory, Inference and Learning Algorithms" ist ein kleines Juwel, das Wahrscheinlichkeit und Informationstheorie fast unglaublich klar erklärt
  • "The Book of Why: The New Science of Cause and Effect" ist eine gute Einführung in Kausalität
  • "Reinforcement Learning: An Introduction(Robustes Reinforcement Learning)" ist eine hervorragende Ressource für einen einführenden Überblick über Reinforcement Learning
  • Drei hervorragende Ressourcen zu Natural Language Processing fand er interessant
  • Ergänzt wurde dies durch einige Online-Kurse
  • Wenn man nach der Revolution durch Transformer und großskaliges Training in dieses Feld einsteigt, würde man vermutlich einen anderen Weg wählen wollen
    • Ein paar Ratschläge für 2024:
      • Unser Buch zu NLP und Transformern lesen: Natural Language Processing with Transformers. Es stammt aus der Zeit vor ChatGPT, ist aber immer noch sehr relevant und behandelt am Ende sogar das Training von LLMs
      • Einige Online-Kurse zu Deep Learning von bekannten Leuten aus dem Feld belegen
      • Man kann aus der obigen Liste weiterhin einige Bücher zur allgemeinen Bildung lesen; insbesondere "Information Theory, Inference and Learning Algorithms" hält er nach wie vor für ein Juwel
      • Hugging Face beitreten, um durch Praxis zu lernen :)

Verwandte Beiträge

4 Kommentare

 
ninebow 2024-05-22

Der Name kam mir irgendwie bekannt vor, also habe ich nachgesehen und festgestellt, dass ich mir wohl Ende März das Video zu den Trends bei der Entwicklung von LLM-Modellen angeschaut hatte. (Ich habe es allerdings noch nicht ganz zu Ende gesehen ;_;)

Es handelt sich um ein YouTube-Video mit dem Titel 'A Little guide to building Large Language Models in 2024', das verschiedene Aspekte der LLM-Entwicklung behandelt, von der Datenaufbereitung bis hin zu Trainings- und Evaluierungsmethoden.
 
nuthatch 2024-05-21

<Deep Learning> - Ian Goodfellow, Yoshua Bengio, Aaron Courville http://aladin.kr/p/OLwph

<Künstliche Intelligenz 1~2 - 2 Bände> - Stuart Russell, Peter Norvig http://aladin.kr/p/g4yZY

<Machine Learning maschinelles Lernen> - Kevin Murphy http://aladin.kr/p/RGGL8

<Information Theory, Inference and Learning Algorithms (Hardcover)> - David MacKay http://aladin.kr/p/LFEp0

<The Book of Why: The New Science of Cause and Effect (Paperback)> - Dana Mackenzie, Judea Pearl http://aladin.kr/p/cLywB

<Solides Reinforcement Learning> - Richard Sutton, Andrew Barto http://aladin.kr/p/3NQoU

Natural Language Processing with Representation Learning - Kyunghyun Cho
https://github.com/nyu-dl/NLP_DL_Lecture_Note/…

<Neural Network Methods in Natural Language Processing (Paperback)> - Yoav Goldberg http://aladin.kr/p/non6R

<Der Standard der natürlichen Sprachverarbeitung> - Jacob Eisenstein http://aladin.kr/p/rPoLB
 
ninebow 2024-05-22

Vielen Dank fürs Zusammenfassen!!
Ich habe beim Weiterverbreiten des Beitrags auch die von Ihnen zusammengestellte Liste mit übernommen; falls das nicht gewünscht ist, werde ich sie wieder entfernen. 🙇‍♂️

https://discuss.pytorch.kr/t/gn-huggingface-ai-txt/4439/2
 
nottiger 2024-05-22

Vielen Dank T_T