Bericht „AI: the coming revolution“ zur künstlichen Intelligenz

ninebow · 2023-11-22T17:22:09+09:00

Überblick Hier geht es um den Stand der KI, vorgestellt von Sri Viswanath von Coatue Ventures auf dem Cerebral Valley AI Summit. Coatue Ventures ist eine Venture-Capital-Gesellschaft, die den KI-Bereich seit über zehn Jahren beobachtet und in mehr als 50 KI-bezogene Unternehmen investiert hat. Charakteristisch für diesen Bericht ist insbesondere, dass verschiedene Kennzahlen von Hugging Face und GitHub analysiert und veröffentlicht wurden. Wenn 2022 das Jahr war, das das explosive Wachstum der KI ausgelöst hat, dann ist 2023 das Jahr, in dem die KI-Welle Gestalt angenommen hat und begonnen hat, breitere Bereiche zu beeinflussen. KI kann Hürden überwinden und die Welt spürbar verbessern Mit GitHub Copilot werden Aufgaben um mehr als 50 % schneller abgeschlossen, und die Kosten im Kundensupport sinken um bis zu 95 %. Nutzer sind zufriedener, die Reaktionszeiten sind kürzer, und laut einer Studie von BCG hat sich auch die Qualität von Wissensarbeit um rund 40 % verbessert. KI erzielt Durchbrüche und dürfte unseren Alltag sowie die moderne Wirtschaft insgesamt beeinflussen. Open Source ist das Herz der KI, aber nicht alles ist gleich offen Open-Source-Forschung, Daten und Communitys sind der Kern der KI-Revolution. Vom Transformer-Paper bis zum aktuellen Llama-2-Modell hat Open Source es Ingenieuren ermöglicht, KI iterativ zu verbessern. Allerdings ist nicht alles Open Source wirklich „open“, und zuletzt haben Unternehmen Tendenzen gezeigt, Forschung oder Ergebnisse nicht offenzulegen oder Modelle geschlossen zu halten. Dennoch sehen wir, dass die Open-Source-KI-Community dynamisch wächst: Stand November 2023 tragen auf GitHub mehr als 200.000 Entwickler zu KI-Projekten bei. Zudem wurden auf Hugging Face mehr als 300.000 Modelle veröffentlicht, und die Mitgliederzahl von KI-bezogenen Discord-Kanälen hat 18 Millionen überschritten. Es braucht ein Verständnis für den neuen KI-zentrierten Tech-Stack Die anrollende KI-Welle verändert den Tech-Stack, mit dem Services entwickelt werden. Entwickler und Investoren müssen die Bestandteile der einzelnen Stack-Ebenen und ihr Zusammenspiel verstehen. Bisher hat die Modellebene die größten Investitionen erhalten, aber Innovationen werden überall stattfinden, von Rechenzentren für KI bis hin zu Apps für Endnutzer. KI-Modelle Wir glauben, dass Modelle das Zeitalter von „Intelligence as a Service“ (IQaaS) eingeläutet haben und dass die Gewinner im Wettbewerb um Talente, Daten und Rechenleistung bestimmt werden. Die Leistung von Modellen zu skalieren bedeutet auch, hochwertige Datensätze zu skalieren. Modelle, die mit auf 30 % der bisherigen Größe reduzierten, pruned und kuratierten Datensätzen trainiert wurden, funktionieren ebenfalls gut; auch synthetische Daten und Nutzerfeedback sind potenzielle Felder für weitere Erkundung. Rechenleistung und Cloud-Plattformen Hardware-Beschleuniger wie GPUs bilden eine grundlegende Basis der KI-Leistung. Die anhaltende Nachfrage nach GPUs hat Auswirkungen auf die gesamte Wirtschaft ausgelöst – von der Belastung der Stromnetze über die Beschleunigung des Wachstums der Halbleiter-Lieferkette bis hin zur erneuten Beschleunigung der Nachfrage nach Cloud-Services. Je stärker KI zum Mainstream wird, desto eher erwarten wir, dass die durch Inference entstehende Last noch deutlich rechenintensiver wird. Die Kosten, um 100 Millionen GPT-4-Nutzer zu bedienen, könnten viermal so hoch sein wie die Kosten für das Training des Modells. Entwickler-Tools Eine der großen Veränderungen seit der KI-Explosion von 2022 ist die Demokratisierung von KI und der Aufstieg des AI Engineer, wodurch neue AI-Ops-Tools zum Trainieren / Fine-Tunen / Deployen von Modellen entstanden sind. Das Entstehen einer lebendigen AI-Ops-Tool-Schicht hat rund 30 Millionen Entwicklern weltweit Zugang zu KI verschafft, was voraussichtlich enormes Potenzial in der Application-Schicht schaffen wird. KI-Anwendungen Wir sehen, dass die Einführung von KI-Anwendungen gerade erst beginnt, und erwarten, dass künftig noch mehr Use Cases entstehen werden. Das Interesse von Verbrauchern und Unternehmen an KI gewinnt bereits an Dynamik – von kreativen Bereichen wie Runway und Tome bis hin zu spezialisierten Feldern wie Replit oder Aurora Solar. Coatues Sicht: Die beste KI ist noch nicht da Für die Zukunft erwarten wir, dass KI in der realen Welt zugänglicher, skalierbarer und nützlicher wird. Außerdem prognostizieren wir, dass natürliche Sprache wie Englisch zur besten Programmiersprache werden wird. KI dürfte es mehr Menschen ermöglichen, ähnlich wie Entwickler Software zu erstellen, und durch das Trainieren von KI auf individuellen Datensätzen neue Funktionen etwa im Gesundheitswesen oder im Einzelhandel hervorbringen. Zudem erwarten wir, dass KI-Modelle durch kontinuierliche Forschung weiter innovieren und intelligenter sowie fähiger werden. Mit anderen Worten: Die beste KI ist noch nicht gekommen. Kurzfristig scheint es nötig zu sein, sich darauf zu konzentrieren, Halluzinationen in KI-Ausgaben zu lösen, verschiedene multimodale Use Cases zu ermöglichen, Kosten zu senken und das Deployment von KI einfacher und sicherer zu machen. Langfristig dürfte KI-Entwicklung zu einer Herausforderung im Engineering werden, um KI auf Milliarden von Nutzern zu skalieren. Zudem besteht ein optimistischer Ausblick darauf, dass KI-Innovatoren neue Fähigkeiten entwickeln werden, um für uns alle nützliche KI zu schaffen.

(coatue.com)

11 Punkte von ninebow 2023-11-22 | 1 Kommentare | Auf WhatsApp teilen

Überblick

Hier geht es um den Stand der KI, vorgestellt von Sri Viswanath von Coatue Ventures auf dem Cerebral Valley AI Summit.
Coatue Ventures ist eine Venture-Capital-Gesellschaft, die den KI-Bereich seit über zehn Jahren beobachtet und in mehr als 50 KI-bezogene Unternehmen investiert hat.
Charakteristisch für diesen Bericht ist insbesondere, dass verschiedene Kennzahlen von Hugging Face und GitHub analysiert und veröffentlicht wurden.
Wenn 2022 das Jahr war, das das explosive Wachstum der KI ausgelöst hat, dann ist 2023 das Jahr, in dem die KI-Welle Gestalt angenommen hat und begonnen hat, breitere Bereiche zu beeinflussen.

KI kann Hürden überwinden und die Welt spürbar verbessern

Mit GitHub Copilot werden Aufgaben um mehr als 50 % schneller abgeschlossen, und die Kosten im Kundensupport sinken um bis zu 95 %.
Nutzer sind zufriedener, die Reaktionszeiten sind kürzer, und laut einer Studie von BCG hat sich auch die Qualität von Wissensarbeit um rund 40 % verbessert.
KI erzielt Durchbrüche und dürfte unseren Alltag sowie die moderne Wirtschaft insgesamt beeinflussen.

Open Source ist das Herz der KI, aber nicht alles ist gleich offen

Open-Source-Forschung, Daten und Communitys sind der Kern der KI-Revolution. Vom Transformer-Paper bis zum aktuellen Llama-2-Modell hat Open Source es Ingenieuren ermöglicht, KI iterativ zu verbessern.
Allerdings ist nicht alles Open Source wirklich „open“, und zuletzt haben Unternehmen Tendenzen gezeigt, Forschung oder Ergebnisse nicht offenzulegen oder Modelle geschlossen zu halten.
Dennoch sehen wir, dass die Open-Source-KI-Community dynamisch wächst:
- Stand November 2023 tragen auf GitHub mehr als 200.000 Entwickler zu KI-Projekten bei.
- Zudem wurden auf Hugging Face mehr als 300.000 Modelle veröffentlicht, und die Mitgliederzahl von KI-bezogenen Discord-Kanälen hat 18 Millionen überschritten.

Es braucht ein Verständnis für den neuen KI-zentrierten Tech-Stack

Die anrollende KI-Welle verändert den Tech-Stack, mit dem Services entwickelt werden.
Entwickler und Investoren müssen die Bestandteile der einzelnen Stack-Ebenen und ihr Zusammenspiel verstehen.
Bisher hat die Modellebene die größten Investitionen erhalten, aber Innovationen werden überall stattfinden, von Rechenzentren für KI bis hin zu Apps für Endnutzer.

KI-Modelle

Wir glauben, dass Modelle das Zeitalter von „Intelligence as a Service“ (IQaaS) eingeläutet haben und dass die Gewinner im Wettbewerb um Talente, Daten und Rechenleistung bestimmt werden.
Die Leistung von Modellen zu skalieren bedeutet auch, hochwertige Datensätze zu skalieren. Modelle, die mit auf 30 % der bisherigen Größe reduzierten, pruned und kuratierten Datensätzen trainiert wurden, funktionieren ebenfalls gut; auch synthetische Daten und Nutzerfeedback sind potenzielle Felder für weitere Erkundung.

Rechenleistung und Cloud-Plattformen

Hardware-Beschleuniger wie GPUs bilden eine grundlegende Basis der KI-Leistung. Die anhaltende Nachfrage nach GPUs hat Auswirkungen auf die gesamte Wirtschaft ausgelöst – von der Belastung der Stromnetze über die Beschleunigung des Wachstums der Halbleiter-Lieferkette bis hin zur erneuten Beschleunigung der Nachfrage nach Cloud-Services.
Je stärker KI zum Mainstream wird, desto eher erwarten wir, dass die durch Inference entstehende Last noch deutlich rechenintensiver wird. Die Kosten, um 100 Millionen GPT-4-Nutzer zu bedienen, könnten viermal so hoch sein wie die Kosten für das Training des Modells.

Entwickler-Tools

Eine der großen Veränderungen seit der KI-Explosion von 2022 ist die Demokratisierung von KI und der Aufstieg des AI Engineer, wodurch neue AI-Ops-Tools zum Trainieren / Fine-Tunen / Deployen von Modellen entstanden sind.
Das Entstehen einer lebendigen AI-Ops-Tool-Schicht hat rund 30 Millionen Entwicklern weltweit Zugang zu KI verschafft, was voraussichtlich enormes Potenzial in der Application-Schicht schaffen wird.

KI-Anwendungen

Wir sehen, dass die Einführung von KI-Anwendungen gerade erst beginnt, und erwarten, dass künftig noch mehr Use Cases entstehen werden.
Das Interesse von Verbrauchern und Unternehmen an KI gewinnt bereits an Dynamik – von kreativen Bereichen wie Runway und Tome bis hin zu spezialisierten Feldern wie Replit oder Aurora Solar.

Coatues Sicht: Die beste KI ist noch nicht da

Für die Zukunft erwarten wir, dass KI in der realen Welt zugänglicher, skalierbarer und nützlicher wird. Außerdem prognostizieren wir, dass natürliche Sprache wie Englisch zur besten Programmiersprache werden wird.
KI dürfte es mehr Menschen ermöglichen, ähnlich wie Entwickler Software zu erstellen, und durch das Trainieren von KI auf individuellen Datensätzen neue Funktionen etwa im Gesundheitswesen oder im Einzelhandel hervorbringen.
Zudem erwarten wir, dass KI-Modelle durch kontinuierliche Forschung weiter innovieren und intelligenter sowie fähiger werden. Mit anderen Worten: Die beste KI ist noch nicht gekommen.
Kurzfristig scheint es nötig zu sein, sich darauf zu konzentrieren, Halluzinationen in KI-Ausgaben zu lösen, verschiedene multimodale Use Cases zu ermöglichen, Kosten zu senken und das Deployment von KI einfacher und sicherer zu machen.
Langfristig dürfte KI-Entwicklung zu einer Herausforderung im Engineering werden, um KI auf Milliarden von Nutzern zu skalieren. Zudem besteht ein optimistischer Ausblick darauf, dass KI-Innovatoren neue Fähigkeiten entwickeln werden, um für uns alle nützliche KI zu schaffen.

1 Kommentare

ninebow 2023-11-22

Gesamtes PDF ansehen

https://drive.google.com/file/d/1gQhYT7j6b2wJmrFZHNeQgTiWPyTsjOfX/view

(⚠️Werbung⚠️) Dieselben Inhalte zusammen mit den Folien in der koreanischen PyTorch-Community ansehen

https://discuss.pytorch.kr/t/ai-the-coming-revolution-pdf-115p/2906