A felhőalapú mesterséges intelligencia, mint például a ChatGPT vagy a Gemini, kétségtelenül uralja a jelenlegi diskurzust, de mi történik akkor, ha valaki nagyobb kontrollra és adatvédelemre vágyik? A Microsoft csendben egy új megoldással állt elő: a Foundry Local nevű rendszerrel, amely egyenesen a felhasználó számítógépén futtatható mesterséges intelligenciát kínál. Ez az innováció jelentős elmozdulást jelezhet, lehetővé téve a felhasználók számára, hogy kihasználják a nagyméretű nyelvi modellek erejét anélkül, hogy állandó internetkapcsolatra lennének utalva.
A Foundry Local lényegében egy olyan szoftveres keretrendszer, amely lehetővé teszi mesterséges intelligencia modellek helyben futtatható módon történő alkalmazását a saját hardvereden. Bár a Microsoft elsődlegesen a fejlesztőknek szánja ezt az eszközt – célja egy biztonságos környezet biztosítása generatív MI alkalmazások létrehozásához és teszteléséhez saját hálózaton belül –, annak elérhetősége a technológia iránt érdeklődő átlagfelhasználók számára is megnyitja a kísérletezés kapuját. A rendszer legfőbb vonzereje abban rejlik, hogy képes teljesen felhőkapcsolat nélkül működni, garantálva ezzel az adatok magánszféráját és az offline használhatóságot. Ez a lokális megközelítés újradefiniálhatja, hogyan lépünk kapcsolatba az MI-vel, személyesebbé és ellenőrizhetőbbé téve az élményt.
Ahhoz, hogy felfedezhesd ezt a helyi MI-t, először a Windows Terminál nevű eszközt kell segítségül hívnod. Ez a hatékony parancssori felület jelenti a kaput a Foundry Local telepítéséhez. Amennyiben még nem használtad, egyszerűen nyisd meg a Start Menüt, gépeld be, hogy „terminál”, majd válaszd ki az alkalmazást. Győződj meg róla, hogy Windows rendszered naprakész és támogatja a winget csomagkezelőt, mivel ez elengedhetetlen a zökkenőmentes telepítéshez.
Miután a Terminál aktív, az első lépés a Foundry Local alaprendszerének telepítése. Másold be a következő parancsot a Terminál ablakába, majd nyomj Entert: winget install Microsoft.FoundryLocal
Ez elindít egy letöltési és telepítési folyamatot, amelynek néhány percen belül be kell fejeződnie. Az alaprendszer telepítése után szükséged lesz egy konkrét nyelvi modellre is, amellyel interakcióba léphetsz. A Microsoft a Phi-3.5-mini modellt ajánlja kezdésként, amely hatékonyságáról és képességeiről ismert. Ennek a modellnek a telepítéséhez és futtatásához használd a következő parancsot: foundry model run phi-3.5-mini
Ez a parancs egy újabb letöltést indít el, amely beszerzi a választott modellhez szükséges komponenseket.
A modell sikeres telepítését követően a Foundry Local automatikusan interaktív mód-ba lép. Egy csevegésszerű felületen találod magad, készen arra, hogy beszélgetést kezdeményezz az MI-vel. Az élmény rendkívül hasonlít a népszerű felhőalapú chatbotok használatához, azzal a lényeges különbséggel, hogy minden feldolgozás a te saját gépeden történik. Kérdéseket tehetsz fel, szöveggenerálást kérhetsz, vagy felfedezheted a modell egyéb képességeit. Ez egyedülálló lehetőséget kínál az MI viselkedésének megértésére egy biztonságos, személyes környezetben.
Amennyiben más, a Foundry Local rendszerrel kompatibilis MI modelleket is szeretnél kipróbálni, a foundry model list parancs segítségével megtekintheted az elérhető opciókat, lehetővé téve a közöttük való váltást (bár a Phi-3.5-mini kiváló kiindulópont). Hardveres követelmények tekintetében a Foundry Local nem igényel feltétlenül dedikált grafikus processzort (GPU) vagy neurális feldolgozóegységet (NPU), azonban ezek megléte jelentősen javíthatja a teljesítményt, gyorsabb válaszidőt és zökkenőmentesebb interakciót eredményezve. Ennek ellenére úgy tervezték, hogy átlagos konfigurációkon is elérhető és használható legyen.
Amikor befejezted a kísérletezést, az interaktív MI munkamenetből való kilépés egyszerű. Csak gépeld be a /exit parancsot, és visszatérsz a szabványos Windows parancssorhoz. A Foundry Local egy izgalmas fejlesztést képvisel, amely nagyobb kontrollt biztosít a felhasználóknak MI interakcióik és adataik felett. Új lehetőségeket nyit meg az offline MI alkalmazások, az egyedi MI fejlesztés és az adatvédelmet előtérbe helyező MI használat terén, egyúttal egy lehetséges elmozdulást jelezve a decentralizáltabb mesterséges intelligencia megoldások felé. Ez az eszköz, bár kezdetben fejlesztőknek készült, betekintést nyújt egy olyan jövőbe, ahol a nagy teljesítményű MI nem kizárólag a felhőtől függ.
