Instruct-Korea Januar 2025 Meetup: Meine Ideen und Herausforderungen beim Forschen an Sprachmodellen

Die 2024er Instruct-Korea-Community rund um https://instruct.kr ist mit der Einführung des LogicKor-Leaderboards zu einer der größten Open-Source-Communitys für Sprachmodelle in Südkorea geworden, in der rund 700 Forschende freiwillig ihre Ergebnisse teilen.

Zum Start ins Jahr 2025 möchten wir einen Rahmen schaffen, in dem Mitglieder der Instruct-Korea-Discord-Community ihre Forschungstrends und Neuigkeiten austauschen und Networking betreiben können. Das Thema dieses Meetups lautet „Meine Ideen und Herausforderungen beim Forschen an Sprachmodellen“. Wir möchten, dass man auch die Erfahrungen anderer hört, eigene Forschungsideen teilt und Menschen mit unterschiedlichen Perspektiven miteinander in Austausch treten können.

Die Veranstaltung findet am 25. Januar 2025 (Samstag) von 14:00 bis 18:00 Uhr statt.

Der Ort ist Nonce in der Nähe von Gangnam Station (Yeoksam-dong 624-17).

Kontakt: https://instruct.kr

Veranstaltungsort-Sponsor: Nonce Community (https://nonce.community/)

Vorstellung der Vortragenden Weitere Sprecher:innen werden noch ergänzt.

Go Seok-hyeon (Sionic AI) Er erzählt von seiner Arbeit in der Verarbeitung natürlicher Sprache mit Scala/JVM. Insbesondere berichtet er über seine Erfahrung, Python-basierte Deep-Learning-Codes in JVM-Sprachen zu portieren und sie im Produktionsbetrieb auszuliefern.

Kim Ji-su (kuotient, Marker AI): Entwicklung eines koreanischen Qwen2.5-Modells Mit „Entwicklung eines koreanischen Qwen2.5-Modells“ teilt er den innovativen Entwicklungsprozess eines Sprachmodells. Besonders auffällig ist der Prozess, der bei m-ArenaHard zu einer beeindruckenden Leistungssteigerung auf 37.60 geführt hat. Er behandelt die gesamte Trainingspipeline einschließlich SFT, Merging und Alignment und stellt auch technische Innovationen vor, die erstmals in Korea erprobt wurden, etwa den Austausch von Layers und den Einsatz der On-Policy-Strategie. Ebenso wird er ausführlich erläutern, wie es gelang, die beste Leistung unter den 8B-Modellen zu erzielen.

Lee Seung-yu (dopeornope, Marker AI): LLM Guidance und Quantization Unter dem Thema „LLM Guidance und Quantization“ beleuchtet er die aktuellen Trends einer sich rasant entwickelnden LLM-Technologie. Er liefert eine fundierte Analyse zu den Konzepten und der Entwicklungsperspektive von LLM Guidance und Quantization, die derzeit intensiv erforscht werden.

Yu Yong-sang: Rückblick auf den KRX-Finanz-Sprachmodell-Wettbewerb Durch „Rückblick auf den KRX-Finanz-Sprachmodell-Wettbewerb“ teilt er praktisches Know-how zur Entwicklung domänenspezifischer Modelle. Er behandelt fundierte Inhalte zu Domain Adaptation und Continual Pretraining für Verbesserungen der MCQA-Benchmark-Performance sowie zu Safety Auditing.

Choi Sun-woong: RAG-Entwicklungsprojekt Er teilt praktische Erfahrungen aus einem echten RAG-Entwicklungsprojekt. Besonders die im Verlauf des Projekts entdeckten Probleme werden offen angesprochen und die daraus gewonnenen Lehren sowie Verbesserungsmaßnahmen vorgestellt.

Jang Young-jun (yjoonjang): Koreanische Embedding-Modelle Mit dem Thema „Koreanische Embedding-Modelle“ und https://huggingface.co/nlpai-lab teilt er die Merkmale verschiedener Embedding-Modelle und die Schlüsselpunkte im tatsächlichen Lernprozess. Vom Auswählen eines Embedding-Modells bis zum Training liefert er Insights, die sich direkt in der Praxis anwenden lassen.

Jung Se-min (Sionic AI): Recsys mit Graph RAG bauen - Storm fooding Mit dem Thema „Recsys mit Graph RAG bauen - Storm fooding“ teilt er Erfahrungen beim Bau eines Empfehlungssystems mit einem graphbasierten RAG-System. Er wird den gesamten Prozess von der Systemgestaltung bis zur Implementierung behandeln.

Kim Dong-gyu (Jeffrey Kim, AutoRAG): 3000 GitHub-Stars erhalten Unter dem Thema „3000 GitHub-Stars erhalten“ erzählt er die Wachstumsgeschichte des Open-Source-Projekts AutoRAG. Er teilt die Reise von den Anfängen des Projekts bis zur erfolgreichen Open-Source-Pflege und den künftigen Entwicklungsweg.

maywell (instruct.kr, Wanot AI) TBD