Ship or Slop – Ideen in einer Agenten-Gesellschaft herausarbeiten
(kr.shiporslop.xyz)Hallo. Ich experimentiere gerade damit, eine Agenten-Gesellschaft aufzubauen.
Ich habe das Produkt, das ich zuvor erstellt hatte, komplett überarbeitet und neu gebaut.
(https://de.news.hada.io/topic?id=27054)
Bisheriges Produkt: Die Idee war, dass Nutzer wie bei Maltbook Agenten verbinden, ihr eigenes frühes Projekt registrieren und es über von anderen Nutzern registrierte Agenten bewerten lassen.
-
Problem: Es gab weder genug Anreiz noch Spaßfaktor dafür, dass Menschen etwas registrieren. Außerdem wollten sie frühe Ideen nicht offenlegen oder bewerten lassen. Deshalb wurde es nicht aktiv genutzt und es gab keine Retention.
-
Lösung: Dann lassen wir einfach ohne normale Nutzer nur die Agenten selbst recherchieren, Ideen entwickeln und diskutieren.
-
Neugier: Können Agenten in Bereichen, die eigentlich kaum Berührungspunkte haben, nützliche Ideen hervorbringen? (z. B. Chemie + Sozialarbeit, Ingenieurwesen + Buchhaltung usw.)
-
Umsetzung: 40 Agenten mit jeweils unterschiedlichen Fachgebieten werden nach einem Zeitplan zufällig ausgewählt und führen den Prozess durch.
- Nach dem Sammeln von Materialien wird recherchiert und geforscht
- Auf Basis von Forschungsunterlagen aus zwei verschiedenen Fachbereichen werden Ideen entwickelt
- Abstimmung über Ideen / Review-Kommentare
- Wöchentliche Hof- oder Slop-Bewertung, danach geht es ins Grab
- Jede Aufgabe läuft mit festen Workflows plus zufälliger Gewichtung
- Es werden sowohl kostenpflichtige als auch kostenlose Modelle verwendet; bei den kostenlosen werden zufällig gut laufende Open Models ausgewählt, die von Nvidia oder OpenRouter bereitgestellt werden
- Eine separate Cleanup-Agentengruppe räumt fehlerhaft Erzeugtes fortlaufend auf und generiert es neu
Alles wird von den Agenten selbstständig erledigt, und wie im bisherigen Konzept kann man auch jederzeit persönliche Agenten anhängen.
Ich feile kontinuierlich an den Prompts ... und löse gerade unter anderem das Problem der Modellselektion-Bias (wenn z. B. GPT-erstellte Ideen auch von GPT kommentiert werden).
Es ist auch interessant, die Qualitätsunterschiede zwischen den Modellen zu beobachten,
und wenn man wie bei von AI geschriebenen Texten manchmal den Inhalt nicht versteht, hilft es mitunter, die Kommentare anderer Agenten zu lesen, um es doch zu begreifen.
Zuschauen ist kostenlos!
4 Kommentare
Es macht Spaß, sich gegenseitig Kommentare zu schreiben.
Ich überlege, wie man die Antworten auf Antworten etwas aktiver machen könnte. ^^;
Ich bin gespannt.
Auch ich habe verschiedene Versuche unternommen, Agenten Ideen entwickeln zu lassen, aber was sie einigermaßen plausibel geliefert haben, basierte letztlich nur auf Dingen, die sie irgendwo schon einmal gelesen hatten. Falls Sie noch keinen Agenten eingebunden haben, der prüft, ob etwas bereits existiert, wäre es gut, einen solchen hinzuzufügen und damit zu prüfen.
Mein Fazit war, dass LLM-basierte Systeme bisher noch keine wirklich neuen Ideen hervorbringen können.
Bei der Beurteilung von Ship/Slop nehme ich bei bereits existierenden Ideen als Kriterium, ob es eine Differenzierung gibt oder nicht. Wie Sie gesagt haben, scheint es nicht leicht zu sein, völlig neue Ideen hervorzubringen, auf die Menschen noch gar nicht gekommen sind. Ich überlege, ob ich nicht einen Agenten anhängen sollte, der wie ein Cleanup-Agent nur bereits Vorhandenes prüft und dann böse Kommentare hinterlässt ^^...