Co je Jev?

Proč to není jazykový model

Jazykový model vyrábí tokeny; tvar toho, co se vrátí, je naděje, ne záruka, a právě proto aplikace, které ho používají k rozhodování, nakonec obalí parsování a opakované pokusy. Jev vyrábí hodnotu typu, který jste určili. Není co rozebírat ani žádný pokažený případ k ošetření — smyčku opakování nahradí úplně jiná větev: ta, která se spustí, když si model není jistý, a to je mnohem užitečnější informace.

Tři tvary, a nic jiného

Čísla

Zveřejňuje je TypeSafe; jsou to čísla dodavatele, ne naše měření.

Otázky

Co je model Systému 1?

Model postavený pro rozhodnutí, ne pro prózu. Jev bere jeden state plus mapu typovaných otázek a vrací po jedné typované odpovědi na otázku — žádné streamované tokeny, nic k parsování a žádný způsob, jak vydat hodnotu mimo množinu, kterou jste určili. TypeSafe to rámuje takto: Systém 1 pro rychlý strukturovaný úsudek a běžný LLM jako Systém 2, když opravdu potřebujete jazyk.

Co znamená jistota?

Odpovědi Choice a Score nesou hodnotu jistoty odvozenou z rozdělení pravděpodobnosti: soustředěné znamená jisté, rozprostřené znamená, že model nedokáže možnosti oddělit. Je to druhá osa — odpověď říká co, jistota říká, jestli jednat. Odpovědi Noul pole jistoty nemají, protože ji nese už sama pravděpodobnost: 0,51 je model, který říká, že neví.

Může Jev halucinovat?

Ne v tvaru svého výstupu. Choice může vrátit jen jednu z možností, které jste určili; Score může padnout jen dovnitř vaší stupnice; Noul je číslo mezi 0 a 1. Ohledně vašeho textu se mýlit může — a přesně k tomu je jistota.

Proč se jmenuje Jev?

Po ekonomovi Williamu Stanleym Jevonsovi. Uváděcí příspěvek TypeSafe říká, že očekávají, že strojová inteligence půjde cestou, kterou po zefektivnění parních strojů prošlo uhlí — Jevonsovým paradoxem, podle kterého zlevnění používání něčeho zvyšuje spotřebu, místo aby ji snižovalo.

Můžu Jev spustit lokálně? Je otevřený?

Ne. Jev je proprietární hostovaný model dostupný přes HTTP API TypeSafe; nejsou zveřejněné váhy ke stažení a stejné váhy obsluhují každý účet — žádné doladění ani adaptace LoRA na zákazníka. Odpovědi tvarujete požadavkem: tím, co dáte do state, a tím, jak píšete instrukce a kritéria každé otázky.

Jak rychlý je Jev?

TypeSafe uvádí 70–500 ms od konce ke konci proti 3–329 sekundám u špičkových modelů a 40–200× rychleji u dotazů, pro které je postavený. To jsou čísla dodavatele. Co tento web může říct z vlastních záznamů: požadavek s devíti otázkami se obvykle vrátí do několika set milisekund — každá stránka výsledku ukazuje naměřenou dobu odezvy právě toho volání.

Kolik Jev stojí?

0,042 $ za milion vstupních tokenů na jev-1.13.0, výstup zdarma — není žádné autoregresivní dekódování, které by se dalo měřit. Protože se state čte jednou a každá otázka se vyhodnocuje souběžně, zeptat se na deset věcí stojí zhruba tolik co zeptat se na jednu. Každá stránka výsledku na tomto webu vypíše počet tokenů a cenu právě toho volání.

Jak byl Jev trénován?

Tím, čemu TypeSafe říká RLCD — posilovaným učením pro kalibrovaná rozhodnutí. Deklarovaný cíl se liší od RLHF i RLVR: ne odpovědi, které lidé preferují, ani odpovědi, které projdou kontrolou, ale odpovědi, jejichž pravděpodobnosti jsou epistemicky poctivé. Právě proto má smysl na jistotu nasadit práh, a ne ji brát jako ozdobu.

Jaké jsou limity?

Jen text — žádné obrázky, zvuk ani video. 64k tokenů na požadavek, z toho state plus nejdelší jednotlivá otázka se musí vejít do 32k. Choice bere až 255 možností; Score bere 2 až 10 úrovní. Limity v raném přístupu jsou 250 000 tokenů za sekundu a 1200 požadavků za minutu a TypeSafe upozorňuje, že se mění.