On-premise vagy felhő alapú AI: mikor melyik éri meg?

Ha az adat szerződés vagy szabályozás miatt nem hagyhatja el a cég infrastruktúráját, az AI on-premise vagy privát felhőben fut, nyílt forráskódú modellekkel. Ha a modell minősége dönt, és a bevezetés sebessége számít, a felhős API a gyorsabb út. A legtöbb vállalati rendszer, amit építünk, a kettő között van: az érzékeny adat és a futtatás a saját környezetben, a legerősebb modellek API-n a nem érzékeny feladatokra. Ez a cikk a döntés szempontjait veszi sorra.

Mit jelent on-premise és felhő alapú AI a gyakorlatban?

Felhő alapú AI: a modellt a szolgáltató futtatja, a cég API-n keresztül küldi el a kérést, és kapja vissza a választ. Ide tartoznak a zárt modellek: GPT-5.6, Claude Opus 5, Gemini 3.6. Az adat a hívás idejére elhagyja a cég környezetét.

On-premise AI: a modell a cég saját szerverén fut, GPU-val. Ide a nyílt forráskódú modellek tartoznak, például a Meta Muse, a Qwen3.8, a DeepSeek V4 vagy a Mistral Large 3. Az adat nem hagyja el a környezetet; a hardver és az üzemeltetés a cégé.

Privát felhő: bérelt, de dedikált környezet, ahol ugyanezek a nyílt modellek futnak. Az adat szerződésben rögzített helyen marad, a hardvert nem kell megvenni.

Adatvédelem és szabályozás

Ez az első szempont, mert ez zár ki lehetőségeket. Ha az ügyfélszerződés kimondja, hogy az adat nem hagyhatja el a cég infrastruktúráját, a felhős API kiesik, és a beszélgetés a nyílt modellekről szól. Egészségügyi, pénzügyi és HR-adatnál ez gyakori kikötés. Az EU AI Act a kockázati kategóriához köt kötelezettségeket, a futtatás helyét nem írja elő; a naplózást és az emberi felügyeletet mindkét felállásban be kell építeni. A felkészülés lépéseit az EU AI Act megfelelés oldalon írtuk le.

Modellminőség és a feladat

A legerősebb általános modellek zárt modellek, API-n. Nyitott kérdésekre, hosszú érvelésre, kevés példával ezek adják a legjobb választ. Jól körülhatárolt feladatokon, például dokumentumfeldolgozásban vagy belső tudásbázisnál, a nyílt modellek finomhangolva elérik a szükséges pontosságot; ezt a saját projektjeinkben mérjük. A nyílt és a zárt modellek összehasonlítását külön cikkben írtuk le: Nyílt forráskódú vs. zárt AI modellek: őszinte összehasonlítás a napi gyakorlatból.

Költségszerkezet

A felhős API használat alapján számláz: tokenár, hívásonként. Kis és ingadozó terhelésnél ez a kedvezőbb, mert nincs induló beruházás. Az on-premise futtatás induló költsége a GPU-szerver és a beüzemelés, utána a fő tétel az üzemeltetés; nagy és egyenletes hívásmennyiségnél ez lesz olcsóbb. A váltáspont a hívásmennyiségtől és a modell méretétől függ, ezért a felmérésben a ti számaitokkal számoljuk ki.

Üzemeltetés

Az on-premise rendszer a cég felelőssége: modellfrissítés, monitorozás, biztonsági javítások, GPU-kapacitás. Ha erre nincs csapat, a rendszer néhány hónap után elavul. A felhős API-nál ezt a szolgáltató viszi, cserébe a modellverzió-váltásokat ő ütemezi, és a rendszer viselkedése egy frissítés után megváltozhat. Mindkét felállásnál kell monitorozás és karbantartási terv; ezt havidíjas szolgáltatásként is vállaljuk: AI-rendszerek üzemeltetése.

A hibrid felállás

A legtöbb vállalati rendszerünkben az érzékeny adat és a retrieval réteg a saját környezetben marad, a nem érzékeny, nyitott feladatok pedig API-n futnak. A naplózás és a jogosultságkezelés mindig a saját környezetben van. Így a szerződéses kikötések teljesülnek, és a legerősebb modellek is elérhetők ott, ahol számítanak. Az általunk épített vállalati AI platformok szükség esetén teljes egészében a saját infrastruktúrátokon futnak.

Hogyan döntsétek el?

Négy kérdés elég az első körhöz. Milyen adat megy át a rendszeren, és mit mond róla a szerződés és a szabályozás? Mennyire nyitott a feladat: körülhatárolt kinyerés vagy szabad érvelés? Mekkora és mennyire egyenletes a hívásmennyiség? Van csapat, amelyik egy GPU-szervert üzemeltet? A felmérésben ezekre a kérdésekre írásos válasz készül, költségbecsléssel mindkét felállásra.