Eine Woche mit Gemini Pro 1.5 – einfach fantastisch

• Googles neues privates Beta-LLM Gemini Pro 1.5 zeigt eine deutlich verbesserte Leistung gegenüber früheren Modellen
• Gemini 1.5 Pro kann
  • einen ganzen Roman lesen und eine darin in der Mitte versteckte Szene detailliert beschreiben
  • eine komplette Codebasis lesen und vorschlagen, wo neue Funktionen ergänzt werden sollten, einschließlich Beispielcode
  • alle Lese-Highlights aus Readwise lesen und die Highlights für das Schreiben eines Essays auswählen
• Mit einem einzigen Prompt können bis zu 1 Million Token verarbeitet werden
  • Im Vergleich zu anderen Modellen ist das Kontextfenster von Gemini Pro 1.5 deutlich größer (GPT-4 Turbo liegt bei 128000 und damit bei etwa einem Achtel davon)
  • Auch mit einem großen Kontextfenster verarbeitet es sehr große Prompts hervorragend
  • Während bei anderen Modellen die Leistung mit wachsender Prompt-Größe nachlässt, hat Gemini dieses Problem nicht
• Hinweise
  • Gemini Pro 1.5 befindet sich noch in einer privaten Beta, und die Leistung kann sich bei der Veröffentlichung ändern
  • Gemini Pro 1.5 ist langsam, besonders bei großen Anfragen
  • OpenAI hat Aufholbedarf, und Information Retrieval bleibt weiterhin wichtig

[dahada]

Ich habe versucht, einen Roman einzufügen und darüber zu chatten, aber schon bei leicht anzüglichen Formulierungen verweigert es die Verarbeitung. Selbst wenn man die Filterstufe senkt, gibt es weiterhin Romane, die trotzdem nicht funktionieren. Es scheint, als hätte man sich eher für Sicherheit als für Erweiterbarkeit entschieden.

[ajh508]

Bisher wurde zwar jedes Mal viel Aufhebens gemacht, wenn irgendetwas Neues herauskam, aber ich glaube, nichts hat OpenAI wirklich übertroffen..
Persönlich hoffe ich, dass bald ein LLM erscheint, bei dem alle Backbones durch Mamba ersetzt wurden

[xguru]

Hacker-News-Meinungen

• Mir gefällt die Idee, einer KI den kompletten Text eines Buches zu geben. Beim Lesen von Romanen kann ich mich oft nicht an Figuren erinnern; es wäre toll, wenn ich im E-Reader einen Namen markieren könnte und sie erkennen würde, dass ich auf Seite 85 von Neuromancer bin, und mir dann ohne Spoiler antwortet. Oder ein Lehrbuch, das mir, wenn ich bei einer Aufgabe feststecke, wie ein guter Lernpartner Hilfe und Hinweise gibt, wäre ebenfalls großartig.
• Kann man angesichts von Googles Identitätspolitik sicher sein, dass sie die Fakten in Büchern nicht verändern? Passen sie Inhalte an, wenn man ihnen ein problematisches Buch gibt? Aus diesem Grund ist das für mich völlig nutzlos.
• Ein Artikel, der genaue Beispiele, Ausgewogenheit und Hinweise darauf liefert, was man zu diesem Thema lesen sollte, und seine eigenen Interessenkonflikte offenlegt (z. B. dass der Autor Investor in "LlamaIndex" ist)
• Ich bin am meisten gespannt darauf, wie es wäre, ein riesiges Kontextfenster zu verwenden, ohne RAG aufzugeben, sondern es damit zu kombinieren. Wenn man ein ganzes Buch parsen, die relevanten Stellen identifizieren und das gesamte Buch in das Kontextfenster legen kann, bedeutet das, dass man auch die relevanten Teile einer ganzen Referenzbibliothek in das Kontextfenster legen kann – und das ist äußerst vielversprechend.
• Einige Leute hatten bereits ein paar Tage lang Zugang, und nach allem, was sie berichten, ist das nicht bloß ein Fortschritt bei der Länge, sondern bei der tatsächlichen Nutzung des Kontextfensters. Es nutzt dieses deutlich besser als andere Modelle. Schade, dass nicht geteilt wurde, wie das möglich ist.
• Wäre das nicht wahnsinnig teuer? Wenn man GPT-4 bis zum Maximum füttert, kostet schon eine einzige Interaktion 1,28 $! Ist Gemini viel günstiger als das?
• Bei der NSA wird man sich wahrscheinlich schon die Hände reiben angesichts der Möglichkeiten, die diese Technik eröffnet. Sie könnten sie nutzen, um die Daten abzufragen, die sie seit Jahren fleißig speichern.
• Es liest eine gesamte Codebasis, schlägt vor, wo neue Funktionen hinzugefügt werden sollten, und liefert sogar Beispielcode. Ich hoffe, dass das nicht wie die Erfindung des Autos wird, das die Pferdekutsche verdrängt hat, sondern eher wie die Erfindung der Drum Machine, die Schlagzeuger nicht überflüssig gemacht hat.
• Diese Modelle verhalten sich bei ihrer Veröffentlichung oft anders (schlechter), und niemand weiß, wie Gemini aussehen wird, wenn es im Maßstab von Google läuft. Ich hoffe wirklich, dass Google aus dem zunehmend schlechten Ruf von ChatGPT lernt und einen Weg findet, die Spitzenleistung des Modells aufrechtzuerhalten. Ob durch Zugangsbeschränkungen, höhere Preise oder beides – ich möchte bei der Veröffentlichung dieses Modells eine Erfahrung mit hoher Qualität machen.