Mikä Jev on?

Miksi se ei ole kielimalli

Kielimalli tuottaa tokeneita; se millaisena vastaus palaa on toive, ei takuu, ja juuri siksi sovellukset jotka käyttävät sitä päätöksiin päätyvät käärityiksi jäsennykseen ja uusintayrityksiin. Jev tuottaa arvon sitä tyyppiä jonka määritit. Mitään ei tarvitse jäsentää eikä rikkinäistä tapausta käsitellä — uusintayrityssilmukan tilalle tulee aivan toinen haara: se joka laukeaa kun malli on epävarma, ja se on eri asia ja paljon hyödyllisempi tietää.

Kolme muotoa, eikä mitään muuta

Luvut

TypeSafe julkaisee nämä; ne ovat toimittajan omia lukuja, eivät meidän mittauksiamme.

Kysymyksiä

Mikä on System One -malli?

Malli joka on rakennettu päätöksiä eikä proosaa varten. Jev ottaa yhden tilan sekä kartan tyypitettyjä kysymyksiä ja palauttaa yhden tyypitetyn vastauksen kysymystä kohti — ei virtaavia tokeneita, ei mitään jäsennettävää eikä tapaa tuottaa arvoa määrittelemäsi joukon ulkopuolelta. TypeSafen kehys on System One nopeaan jäsenneltyyn arviointiin, ja tavallinen kielimalli System Twona silloin kun oikeasti tarvitset kieltä.

Mitä varmuus tarkoittaa?

Choice- ja Score-vastaukset kantavat todennäköisyysjakaumastaan johdetun varmuusarvon: keskittynyt tarkoittaa varmaa, levinnyt sitä ettei malli pysty erottamaan vaihtoehtoja. Se on toinen akseli — vastaus kertoo mitä, varmuus kertoo kannattaako toimia. Noul-vastauksilla ei ole varmuuskenttää, koska todennäköisyys itse jo kantaa sen: 0,51 on malli joka sanoo ettei tiedä.

Voiko Jev hallusinoida?

Ei tulosteensa muodossa. Choice voi palauttaa vain jonkin määrittelemistäsi vaihtoehdoista; Score voi osua vain asteikkosi sisään; Noul on luku nollan ja yhden väliltä. Se voi silti olla väärässä tekstistäsi — ja juuri sitä varten varmuus on olemassa.

Miksi sen nimi on Jev?

Taloustieteilijä William Stanley Jevonsin mukaan. TypeSafen julkistus kertoo heidän odottavan koneälyn seuraavan sitä polkua, jonka hiili kulki höyrykoneiden tehostuttua — Jevonsin paradoksi, jossa jonkin käytön halventuminen lisää käyttöä sen sijaan että vähentäisi sitä.

Voinko ajaa Jevin paikallisesti? Onko se avointa lähdekoodia?

Ei. Jev on suljettu, isännöity malli johon otetaan yhteys TypeSafen HTTP-API:n kautta; ladattavia julkaistuja painoja ei ole, ja samat painot palvelevat jokaista tiliä — sitä ei hienosäädetä eikä LoRA-soviteta asiakaskohtaisesti. Muotoilet sen vastauksia pyynnön kautta: sillä mitä laitat tilaan ja sillä miten kirjoitat kunkin kysymyksen ohjeet ja kriteerit.

Kuinka nopea Jev on?

TypeSafe ilmoittaa 70–500 ms päästä päähän, kun kärkimalleilla luku on 3–329 sekuntia, ja 40–200× nopeamman sen kaltaisissa kyselyissä joita varten se on rakennettu. Nämä ovat toimittajan lukuja. Se mitä tämä sivusto voi omista lokeistaan sanoa on, että yhdeksän kysymyksen pyyntö palaa tyypillisesti muutamassa sadassa millisekunnissa — jokainen tulossivu näyttää juuri sen kutsun mitatun edestakaisen ajan.

Mitä Jev maksaa?

0,042 $ miljoonaa syötetokenia kohti mallilla jev-1.13.0, tuloste ilmaiseksi — mitattavaa autoregressiivistä dekoodausta ei ole. Koska tila luetaan kerran ja jokainen kysymys arvioidaan sitä vasten rinnakkain, kymmenen asian kysyminen maksaa suunnilleen saman kuin yhden. Jokainen tämän sivuston tulossivu tulostaa juuri sen kutsun tokenimäärän ja hinnan.

Miten Jev koulutettiin?

Sillä mitä TypeSafe kutsuu nimellä RLCD — vahvistusoppiminen kalibroituja päätöksiä varten. Ilmoitettu tavoite eroaa RLHF:stä ja RLVR:stä: eivät vastaukset joita ihmiset suosivat eivätkä vastaukset jotka läpäisevät tarkistimen, vaan vastaukset joiden todennäköisyydet ovat episteemisesti rehellisiä. Juuri se tekee varmuudesta kynnystämisen arvoisen eikä koristeellisen.

Mitkä ovat rajat?

Vain tekstiä sisään — ei kuvia, ääntä eikä videota. 64k tokenia pyyntöä kohti, joista tilan ja pisimmän yksittäisen kysymyksen on mahduttava 32k:hon. Choice ottaa enintään 255 vaihtoehtoa; Score ottaa 2–10 tasoa. Varhaisen käytön nopeusrajat ovat 250 000 tokenia sekunnissa ja 1 200 pyyntöä minuutissa, ja TypeSafe varoittaa niiden muuttuvan.