Čo je Jev?

Prečo to nie je jazykový model

Jazykový model vyrába tokeny; tvar toho, čo sa vráti, je nádej, nie záruka, a práve preto aplikácie, ktoré ho používajú na rozhodovanie, nakoniec obalí parsovanie a opakované pokusy. Jev vyrába hodnotu typu, ktorý ste určili. Niet čo rozoberať ani žiadny pokazený prípad na ošetrenie — slučku opakovania nahradí úplne iná vetva: tá, ktorá sa spustí, keď si model nie je istý, a to je oveľa užitočnejšia informácia.

Tri tvary, a nič iné

Čísla

Zverejňuje ich TypeSafe; sú to čísla dodávateľa, nie naše merania.

Otázky

Čo je model Systému 1?

Model postavený pre rozhodnutia, nie pre prózu. Jev berie jeden state plus mapu typovaných otázok a vracia po jednej typovanej odpovedi na otázku — žiadne streamované tokeny, nič na parsovanie a žiadny spôsob, ako vydať hodnotu mimo množiny, ktorú ste určili. TypeSafe to rámuje takto: Systém 1 pre rýchly štruktúrovaný úsudok a bežný LLM ako Systém 2, keď naozaj potrebujete jazyk.

Čo znamená istota?

Odpovede Choice a Score nesú hodnotu istoty odvodenú z rozdelenia pravdepodobnosti: sústredené znamená isté, rozprestreté znamená, že model nedokáže možnosti oddeliť. Je to druhá os — odpoveď hovorí čo, istota hovorí, či konať. Odpovede Noul pole istoty nemajú, lebo ju nesie už samotná pravdepodobnosť: 0,51 je model, ktorý hovorí, že nevie.

Môže Jev halucinovať?

Nie v tvare svojho výstupu. Choice môže vrátiť len jednu z možností, ktoré ste určili; Score môže padnúť len dovnútra vašej stupnice; Noul je číslo medzi 0 a 1. Ohľadom vášho textu sa mýliť môže — a presne na to je istota.

Prečo sa volá Jev?

Po ekonómovi Williamovi Stanleym Jevonsovi. Uvádzací príspevok TypeSafe hovorí, že očakávajú, že strojová inteligencia pôjde cestou, ktorou po zefektívnení parných strojov prešlo uhlie — Jevonsovým paradoxom, podľa ktorého zlacnenie používania niečoho zvyšuje spotrebu, namiesto aby ju znižovalo.

Môžem Jev spustiť lokálne? Je otvorený?

Nie. Jev je proprietárny hostovaný model dostupný cez HTTP API TypeSafe; nie sú zverejnené váhy na stiahnutie a tie isté váhy obsluhujú každý účet — žiadne doladenie ani adaptácia LoRA na zákazníka. Odpovede tvarujete požiadavkou: tým, čo dáte do state, a tým, ako píšete inštrukcie a kritériá každej otázky.

Aký rýchly je Jev?

TypeSafe uvádza 70–500 ms od konca ku koncu proti 3–329 sekundám pri špičkových modeloch a 40–200× rýchlejšie pri dopytoch, pre ktoré je postavený. To sú čísla dodávateľa. Čo tento web môže povedať z vlastných záznamov: požiadavka s deviatimi otázkami sa zvyčajne vráti do niekoľkých stoviek milisekúnd — každá stránka výsledku ukazuje nameraný čas odozvy práve toho volania.

Koľko Jev stojí?

0,042 $ za milión vstupných tokenov na jev-1.13.0, výstup zadarmo — nie je žiadne autoregresívne dekódovanie, ktoré by sa dalo merať. Keďže sa state číta raz a každá otázka sa vyhodnocuje súbežne, spýtať sa na desať vecí stojí zhruba toľko ako spýtať sa na jednu. Každá stránka výsledku na tomto webe vypíše počet tokenov a cenu práve toho volania.

Ako bol Jev trénovaný?

Tým, čomu TypeSafe hovorí RLCD — posilňovaným učením pre kalibrované rozhodnutia. Deklarovaný cieľ sa líši od RLHF aj RLVR: nie odpovede, ktoré ľudia uprednostňujú, ani odpovede, ktoré prejdú kontrolou, ale odpovede, ktorých pravdepodobnosti sú epistemicky poctivé. Práve preto má zmysel na istotu nasadiť prah, a nie ju brať ako ozdobu.

Aké sú limity?

Len text — žiadne obrázky, zvuk ani video. 64k tokenov na požiadavku, z toho state plus najdlhšia jednotlivá otázka sa musia zmestiť do 32k. Choice berie až 255 možností; Score berie 2 až 10 úrovní. Limity v skorom prístupe sú 250 000 tokenov za sekundu a 1200 požiadaviek za minútu a TypeSafe upozorňuje, že sa menia.