Wenn LLMs ohne Zwischentexte kommunizieren
Cache-to-Cache ermöglicht eine neuartige Kommunikation zwischen LLMs: Modelle übertragen interne Repräsentationen direkt über ihre KV-Caches, statt einander erst Textnachrichten zu schreiben.
Tianyu Fu und Mitautoren stellen mit Cache-to-Cache (C2C) einen direkten Austausch interner Kontextrepräsentationen zwischen Sprachmodellen vor. Ein trainiertes Modul übersetzt und verbindet deren KV-Caches – Zwischenspeicher der Aufmerksamkeitsberechnung. So entfällt die schrittweise Erzeugung eines Nachrichtentextes. [1]
Die Studie berichtet höhere Genauigkeit und durchschnittlich 2,5-fache Beschleunigung gegenüber Textkommunikation. Der Ansatz benötigt Zugriff auf Modellinterna; fehlerhafte Informationen können übertragen werden. Die Skalierung auf viele Modelle bleibt offen. [2]
Unsere Einordnung: Das Indiz verschiebt den Blick vom einzelnen Chatbot auf kooperierende Modelle. Ihre Zusammenarbeit könnte künftig zunehmend über technische Repräsentationen erfolgen.
Quellen
Dieses Indiz von Martin Ebner ist lizenziert unter
CC BY 4.0
Kommentare 0
Kommentare werden moderiert. Neue Beiträge erscheinen nach Prüfung durch die Redaktion.
Noch keine Kommentare.