Az AI-pilottól az éles használatig: mi hiányzik általában

Egy nyelvi modellre épülő prototípust ma néhány nap alatt össze lehet rakni. A bemutatón jól működik, mindenki elégedett. Aztán hónapokig nem kerül élesbe.

Ennek ritkán a modell az oka. Általában az hiányzik, ami a demó körül kellene.

Mérés nélkül nincs döntés

Ha nem tudod megmondani, milyen gyakran ad jó választ a rendszer, akkor azt sem tudod, hogy egy módosítás javított vagy rontott rajta. Ezért az első lépés mindig egy kiértékelő adatkészlet: néhány száz valódi kérdés vagy dokumentum, a hozzájuk tartozó elvárt eredménnyel. Ezt a szakterület embereivel közösen állítjuk össze, mert ők tudják, mi számít helyes válasznak.

Minden prompt- vagy modellcsere után lefuttatjuk, és csak akkor élesítünk, ha az eredmény nem romlott.

Naplózás és visszakereshetőség

Élesben tudnod kell, mit kérdeztek a rendszertől, mit válaszolt, és milyen forrásokra hivatkozott. Enélkül egy panaszt nem lehet kivizsgálni. A naplózást úgy tervezzük meg, hogy a személyes adatok kezelése megfeleljen a GDPR-nak és a belső szabályaidnak.

Költségkeret

A használati díj a forgalommal együtt nő. Előre megbecsüljük a várható költséget, beállítunk felső korlátot, és figyeljük, mely kérések a legdrágábbak. Sokszor egy kisebb, olcsóbb modell is elég a feladat nagy részére.

Mi történik, ha a modell téved?

A nyelvi modell néha magabiztosan rossz választ ad. Ezt nem lehet teljesen kizárni, ezért a folyamatot úgy kell kialakítani, hogy a tévedés ne okozzon kárt:

• ahol a döntésnek következménye van, ember hagyja jóvá;
• a rendszer megmutatja, honnan vette a választ, hogy ellenőrizni lehessen;
• ha a modell nem elég biztos, inkább továbbadja a kérdést egy kollégának.

Mikor nem éri meg?

Ha a feladat egyszerű szabályokkal megoldható, ha nincs elég adat a kiértékeléshez, vagy ha egyetlen hibás válasz is elfogadhatatlan, akkor őszintén megmondjuk, hogy nem AI-t javaslunk. Egy jól megírt hagyományos megoldás sokszor olcsóbb és megbízhatóbb.