Um ein koreanisches LLM mit langer Kontextlänge zu verwenden, wurden verschiedene Methoden untersucht und ausprobiert, um die Kontextlänge eines LLM effizient zu erweitern.
LongLoRA
Erweiterung um das Achtfache durch die Nutzung von shifted sparse attention und LoRA-Finetuning
Rope-based Position Interpolation
Kann auf Modelle angewendet werden, die RoPE-basierte Embeddings wie Llama verwenden, indem die RoPE-Embeddings angepasst werden; durch Finetuning lässt sich die Kontextlänge auf das 16-Fache erweitern
Dynamic NTK
Erweiterung um mehr als das Doppelte durch Anwendung der NTK-Theorie ohne Finetuning
LongLM
Erweiterung auf das Vierfache ohne Finetuning durch den Einsatz modifizierter Attention
ChunkLlama
Erweitert die Kontextlänge des Llama-Modells ohne Finetuning auf das Vierfache, indem der Text in Chunks zerlegt wird
Infini-attention
Mit geringem zusätzlichem Speicherbedarf auf bis zu 2M erweiterbar und schnelle Inferenz möglich; die in Gemini-Pro verwendete Methode
2 Kommentare
Um ein koreanisches LLM mit langer Kontextlänge zu verwenden, wurden verschiedene Methoden untersucht und ausprobiert, um die Kontextlänge eines LLM effizient zu erweitern.
LongLoRA
Erweiterung um das Achtfache durch die Nutzung von shifted sparse attention und LoRA-Finetuning
Rope-based Position Interpolation
Kann auf Modelle angewendet werden, die RoPE-basierte Embeddings wie Llama verwenden, indem die RoPE-Embeddings angepasst werden; durch Finetuning lässt sich die Kontextlänge auf das 16-Fache erweitern
Dynamic NTK
Erweiterung um mehr als das Doppelte durch Anwendung der NTK-Theorie ohne Finetuning
LongLM
Erweiterung auf das Vierfache ohne Finetuning durch den Einsatz modifizierter Attention
ChunkLlama
Erweitert die Kontextlänge des Llama-Modells ohne Finetuning auf das Vierfache, indem der Text in Chunks zerlegt wird
Infini-attention
Mit geringem zusätzlichem Speicherbedarf auf bis zu 2M erweiterbar und schnelle Inferenz möglich; die in Gemini-Pro verwendete Methode
Einen Artikel ganz ohne jede Zusammenfassung sehe ich auch zum ersten Mal.