Nyílt modellek a saját GPU-nkon: miért, mikor és mennyiért
Nem minden projekthez való felhős nyelvi modell. Ha az adat nem hagyhatja el az EU-t, vagy a használati díjak túl magasra nőnek, saját infrastruktúrán futó modellt javaslunk. Leírjuk, hogyan.
Ha egy ügyfél adata jogi vagy szerződéses okból nem hagyhatja el az EU-t, két dolog válik világossá:
- A Claude és a GPT kiváló modellek, de nem minden projekthez megfelelőek.
- A saját hardveren futó nyílt forrású modellek mára sok feladatban elég jók, és az adat nálad marad.
Ez nem jelenti azt, hogy mindig a saját infrastruktúra a jobb választás. A felhős modellek a legtöbb általános feladatban ma is erősebbek, és kevesebb finomhangolást igényelnek. Van viszont néhány jól körülhatárolható eset, amikor a saját infrastruktúra az észszerűbb.
Mikor javasoljuk a saját infrastruktúrát?
- Az adat nem hagyhatja el az EU-t, mert ezt jogszabály, szerződés vagy ágazati előírás tiltja.
- Nagy a felhasználás, és a felhős szolgáltatás havi díja tartósan meghaladja a saját hardver üzemeltetésének költségét.
- Számít a válaszidő, és előnyös, ha a modell a saját hálózatodon, közel az adatokhoz fut.
- Kiszámítható működés kell: rögzített modellverzió, amely csak akkor változik, amikor te döntesz a frissítésről.
Mit használunk?
- Qwen3.8 általános, programozási és többnyelvű feladatokra; egyetlen GPU-n is hatékonyan fut
- DeepSeek V4 összetettebb, nagyobb számítási igényű feladatokra
- Qwen3-Embedding embedding-modellként, mert magyar szövegeken is jól teljesít
A modelleket vLLM-mel vagy TGI-jal szolgáljuk ki, a feladattól függően. A GPU-s szerverünk Budapesten üzemel, de igény esetén a te infrastruktúrádra is telepítjük.
Mennyibe kerül?
Ez minden projektnél más: a felhasználás mennyiségétől, a választott modelltől és a hardvertől függ. Általánosságban elmondható, hogy kis felhasználásnál a felhős szolgáltatás olcsóbb, nagy és egyenletes terhelésnél pedig a saját hardver térülhet meg.
Ha kíváncsi vagy, hol van ez a határ a te esetedben, írj nekünk, és kiszámoljuk.