Mi az a Jev?

Miért nem nyelvi modell

Egy LLM tokeneket állít elő; a visszatérő dolog alakja remény, nem garancia, és épp ezért végzik a döntésre használó alkalmazások elemzésbe és újrapróbálkozásba burkolva. A Jev az általad megadott típusú értéket állítja elő. Nincs mit elemezni és nincs hibás eset, amit kezelni kellene — az újrapróbálkozó ciklus helyét egy egészen más ág veszi át: az, amelyik akkor sül el, ha a modell bizonytalan, és ezt tudni sokkal hasznosabb.

Három alak, és semmi más

A számok

Ezeket a TypeSafe teszi közzé; a gyártó saját adatai, nem a mi méréseink.

Kérdések

Mi az a System One modell?

Olyan modell, amelyet döntésekre építettek, nem prózára. A Jev egy állapotot és tipizált kérdések térképét kapja, és kérdésenként egy tipizált választ ad vissza — nincs tokenfolyam, nincs mit elemezni, és nem tud az általad megadott halmazon kívüli értéket kiadni. A TypeSafe megfogalmazásában a System One a gyors, strukturált ítéletalkotás, mellette egy hagyományos LLM a System Two, ha tényleg nyelvre van szükséged.

Mit jelent a bizonyosság?

A Choice és a Score válaszok a valószínűségi eloszlásukból származó bizonyossági értéket hoznak: a koncentrált eloszlás biztosat jelent, a szétterülő azt, hogy a modell nem tudja szétválasztani a lehetőségeket. Ez egy második tengely — a válasz megmondja, mi az, a bizonyosság azt, hogy érdemes-e cselekedni. A Noul válaszoknak nincs bizonyossági mezőjük, mert azt már maga a valószínűség hordozza: a 0,51 azt jelenti, hogy a modell nem tudja.

Hallucinálhat a Jev?

A kimenete alakjában nem. Egy Choice csak az általad megadott lehetőségek egyikét adhatja vissza; egy Score csak a skáládon belülre eshet; egy Noul 0 és 1 közötti szám. Attól még tévedhet a szövegeddel kapcsolatban — pontosan ezért van a bizonyosság.

Miért hívják Jevnek?

William Stanley Jevons közgazdász után. A TypeSafe bejelentése szerint arra számítanak, hogy a gépi intelligencia azt az utat járja be, amit a szén a gőzgépek hatékonnyá válása után — ez a Jevons-paradoxon, amelyben valami olcsóbbá tétele nem csökkenti, hanem növeli a felhasználását.

Futtatható a Jev helyben? Nyílt forráskódú?

Nem. A Jev zárt forrású, felhőben futó modell, amely a TypeSafe HTTP API-ján át érhető el; nincsenek letölthető, közzétett súlyok, és ugyanazok a súlyok szolgálnak ki minden fiókot — nincs ügyfelenkénti finomhangolás vagy LoRA. A válaszait a kérésen keresztül alakítod: azzal, amit az állapotba teszel, és azzal, hogyan írod meg az egyes kérdések utasításait és kritériumait.

Milyen gyors a Jev?

A TypeSafe 70–500 ms-ot ad meg végponttól végpontig, szemben a határmodellek 3–329 másodpercével, és 40–200-szoros gyorsaságot azon a kérdéstípuson, amelyre épült. Ezek a gyártó számai. Amit ez az oldal a saját naplóiból mondhat: egy kilenc kérdéses kérés jellemzően néhány száz ezredmásodperc alatt tér vissza — minden eredményoldal mutatja az adott hívás mért oda-vissza idejét.

Mennyibe kerül a Jev?

0,042 $ millió bemeneti tokenenként a jev-1.13.0-n, a kimenet pedig ingyenes — nincs autoregresszív dekódolás, amit mérni kellene. Mivel az állapot egyszer olvasódik be, és minden kérdés párhuzamosan értékelődik ki rajta, tíz dolgot kérdezni nagyjából annyiba kerül, mint egyet. Ezen az oldalon minden eredményoldal kiírja az adott hívás tokenszámát és költségét.

Hogyan tanították a Jevet?

Azzal, amit a TypeSafe RLCD-nek nevez — megerősítéses tanulás kalibrált döntésekre. A kitűzött cél más, mint az RLHF-é vagy az RLVR-é: nem olyan válaszok, amelyeket az emberek jobban szeretnek, és nem olyanok, amelyek átmennek egy ellenőrzőn, hanem olyanok, amelyek valószínűségei ismeretelméletileg őszinték. Ettől lesz a bizonyosság küszöbölésre érdemes, nem pusztán dísz.

Mik a korlátok?

Csak szöveg megy be — nincs kép, hang vagy videó. Kérésenként 64k token, amelyből az állapotnak és a leghosszabb kérdésnek együtt 32k-ba kell férnie. Egy Choice legfeljebb 255 lehetőséget vesz; egy Score 2–10 szintet. A korai hozzáférés sebességkorlátja másodpercenként 250 000 token és percenként 1200 kérés, és a TypeSafe figyelmeztet, hogy ezek változnak.