Lokální inference
Nativní SwiftUI rozhraní a MLX runtime se streamovanou odpovědí. Model se vybírá i podle typu vstupu a dostupnosti.
01 / iOS · Lokální AI
HomeHubOsobní AI. Blíž k tobě.
V HomeHubu propojuji osobního AI asistenta s vlastními dokumenty a konverzacemi. Běží na iPhonu a iPadu a o tom, co si zapamatuje, rozhoduji sám.
TECHNICKÁ ZVĚDAVOST + VLASTNÍ VYUŽITÍ
Kolik asistenta se vejde do telefonu?
Chtěl jsem se v telefonu ptát na obsah vlastních dokumentů, dohledat podklad odpovědi a rozhodovat, co si asistent zapamatuje. HomeHub vznikl jako osobní projekt, ve kterém zkoumám, kolik z této práce mohou zvládnout modely přímo v zařízení.
Samotné chatové okno je jen začátek. Projekt řeší výběr textového či obrazového modelu, schvalovanou paměť, dohledání podkladů a omezenou paměť i životní cyklus mobilní aplikace.
- 01
Přidat podklad
Dokument vstoupí do znalostní báze. U skenovaného PDF může pomoci OCR.
- 02
Dohledat odpověď
Relevantní úryvky dodají kontext a podklad pro citaci zdroje.
- 03
Rozhodnout o paměti
Užitečná informace se může stát návrhem, který uživatel přijme nebo odmítne.
WEBOVÁ SIMULACE
Tvůj asistent. Přímo v telefonu.
Vybrané postupy si vyzkoušíš přímo v prohlížeči.
Jde o samostatnou simulaci se smyšlenými daty.
HOMEHUB / INTERAKTIVNÍ UKÁZKASIMULACE · BEZ PŘIHLÁŠENÍ
Načítání ukázky… Textový přehled je dostupný níže.
Co si můžeš v ukázce vyzkoušet
- Domů — Stav lokálního modelu, rychlé akce a nedávné konverzace.
- Dokument a citace — Otevři smyšlený podklad, zobraz připravenou odpověď a ověř ji přes citovaný úryvek.
- Modely — Filtruj ukázkový katalog a zvol aktivní model.
- Paměť — Potvrď návrh informace do paměti a prohlédni si dokumenty.
- Chování na pozadí — V Nastavení stiskni Aplikace na pozadí a přečti si, proč se při odchodu z aplikace uvolní model z paměti. Tlačítkem Vrátit aplikaci do popředí vrať tento připravený příklad na začátek.
TECHNICKÁ ROZHODNUTÍ
Asistent je víc než jedno volání modelu.
Vlastní podklady
Import PDF a textu, OCR skenovaných stránek a dohledání relevantních úryvků s podklady pro citace.
Řízená paměť
Informace může asistent navrhnout k zapamatování. Přijetí, odmítnutí a odebrání zůstávají pod kontrolou uživatele.
Model podle úlohy
Výběr pracuje s obrazovým vstupem, uživatelským připnutím a záznamem spolehlivosti modelu.
Paměť má vlastní životní cyklus
Návrh informace a její schválení jsou oddělené kroky. Stejně důležitá je možnost ji později odebrat.
Mobilní omezení jsou součást návrhu
Přechod aplikace do pozadí a paměťová rezerva ovlivňují práci s rezidentním modelem.
Můj přínos
Návrh a vývoj vlastního iOS projektu: propojení konverzace, modelového runtime, paměti a nativních služeb v jednom rozhraní.
Stav projektu a ukázky
Osobní iOS projekt propojuje lokální AI, dokumenty a řízenou paměť. Web ukazuje jejich princip pomocí připravených odpovědí. Nativní aplikace ani její výkon na zařízení se při přípravě portfolia nově netestovaly.
PODKLAD A MEZE
Popis vychází z místního kódu, testových definic a dodaných screenshotů. Místní vývoj je novější než ověřený veřejný main. Lokální inference neznamená, že žádná funkce nepoužívá síť: vyhledávání a stahování modelů ji používat mohou.