Rozhodnutí a důvod
Heuristická vrstva vrací nejen úroveň modelu, ale i pravidlo, které rozhodlo. Pokračování může zdědit předchozí kontext.
05 / Archiv · Výzkum lokální AI
Local Agent RouterSprávná práce. Správný model.
Než jsem přešel k Hermesu, zkoušel jsem, jak pro úlohu vybrat lokální AI model a využít omezenou paměť počítače. Tady zůstávají výsledky těchto experimentů.
DŘÍVĚJŠÍ EXPERIMENT
Nejdřív zjistit, co vůbec funguje.
Před současným workflow v Hermesu jsem zkoumal, jak vybírat lokální model podle úlohy a dostupné paměti. Projekt oddělil směřování požadavků, běh agenta a obsluhu modelů, aby šly tyto části měřit zvlášť.
Tato stránka uchovává výsledky experimentu. Aktuální úkoly dnes řeším v upraveném Hermesu s Kanbanem. Čísla z tohoto routeru proto nejsou měřením efektivity současného Hermesu.
- 01
Rozhodnout
Která úroveň modelu odpovídá požadavku a proč?
- 02
Provést práci
Dokáže vybraný model použít nástroje daného runtime prostředí?
- 03
Zkontrolovat výsledek
Projde upravený workspace kontrolou, která mohla i selhat?
ULOŽENÁ MĚŘENÍ & VYSVĚTLENÍ
Prozkoumej zachovaná měření.
Historické záznamy a dnešní přepočet.
Bez volání modelů.
LOCAL AGENT ROUTER / INTERAKTIVNÍ UKÁZKAULOŽENÁ MĚŘENÍ · BEZ PŘIHLÁŠENÍ
Načítání ukázky… Textový přehled je dostupný níže.
Co si můžeš v ukázce vyzkoušet
- Modely a runtime — Stejné úlohy, dva agentní runtime systémy a historické časy.
- Rozhodování routeru — Aktuální přepočet klasifikátoru vedle jednoduché výchozí strategie.
- Příklad rozhodnutí — Připravené dotazy s rozhodnutím a důvodem ze skutečné funkce routeru.
TECHNICKÁ ROZHODNUTÍ
Klasifikátor, model a runtime jsou tři různé otázky.
Paměť jako podmínka spuštění
Geometrie GGUF hlavičky vstupuje do rozpočtu VRAM. Vypočtený odhad se odděluje od skutečně naměřené paměti.
Vlastní evaluační postup
Samostatně se hodnotí klasifikátor, model s runtime prostředím a výsledek práce v testovacím workspace.
Výsledek potřebuje srovnání
Přesnost klasifikátoru uvádím vedle strategie, která vždy volí nejčastější třídu.
Chyby mají různé důsledky
Náročná práce poslaná malému modelu a jednoduchá práce poslaná většímu modelu se vykazují odděleně.
Jedna série neurčuje vítěze
Historické testy mají jediný průchod každou úlohou, pevné pořadí a známé limity kontrol. Nepředstavují statistický žebříček.
Můj přínos
Návrh lokálního experimentu, propojení modelového serving stacku, směrování a ověřování práce přes stejné syntetické úlohy.
Stav projektu a ukázky
Původní výsledkové JSONL soubory byly znovu agregované. Samotný klasifikátor se přepočetl nad oběma zachovanými sadami. U každého pohledu je rozsah, výchozí strategie a omezení toho, co lze z výsledku vyvodit.
PODKLAD A MEZE
Podkladem jsou místní zdroje, záznamy experimentu a zachované výsledkové soubory. Historické průchody se nově neopakovaly na GPU. Aktuální přepočet klasifikátoru není měření kvality odpovědí, rychlosti modelu ani úspory Hermesu.