Ano ang Jev?

Bakit hindi ito isang language model

Ang LLM ay gumagawa ng token; ang hugis ng babalik ay isang pag-asa, hindi garantiya, kaya nga ang mga aplikasyong gumagamit nito para sa desisyon ay napapalibutan ng pag-parse at pag-uulit. Ang Jev ay gumagawa ng halagang may uring itinakda mo. Walang anumang i-parse at walang sirang kaso na kailangang harapin — ang pumapalit sa retry loop ay isang sangay para sa sandaling hindi sigurado ang modelo, na ibang bagay at mas kapaki-pakinabang na malaman.

Tatlong hugis, at wala nang iba

Ang mga numero

Inilalathala ito ng TypeSafe; sila ang may-ari ng mga numero, hindi ito sukat namin.

Mga tanong

Ano ang modelong System One?

Isang modelong binuo para sa desisyon sa halip na prosa. Tumatanggap si Jev ng isang estado kasama ang mapa ng may-uring tanong at nagbabalik ng isang may-uring sagot kada tanong — walang tokens na dumadaloy, walang anumang i-parse, at walang paraan para makapaglabas ito ng halagang wala sa hanay na itinakda mo. Ang pagbabalangkas ng TypeSafe ay System One para sa mabilis at nakaayos na paghatol, na may karaniwang LLM bilang System Two kapag talagang kailangan mo ng wika.

Ano ang ibig sabihin ng kumpiyansa?

May dalang halaga ng kumpiyansa ang mga sagot na Choice at Score na hinango mula sa kanilang distribusyon ng probabilidad: ang nakatuon ay nangangahulugang tiyak, ang kumalat ay nangangahulugang hindi mapaghiwalay ng modelo ang mga pagpipilian. Pangalawang aksis ito — sinasabi ng sagot kung ano, sinasabi ng kumpiyansa kung dapat bang kumilos. Walang kumpiyansang field ang mga sagot na Noul, dahil dala na ito ng mismong probabilidad: ang 0.51 ay ang modelong nagsasabing hindi niya alam.

Puwede bang mag-hallucinate si Jev?

Hindi sa hugis ng output niya. Ang Choice ay makapagbabalik lamang ng isa sa mga pagpipiliang itinakda mo; ang Score ay makapupunta lamang sa loob ng rubrik mo; ang Noul ay isang numero sa pagitan ng 0 at 1. Puwede pa rin siyang magkamali tungkol sa teksto mo — at iyan mismo ang dahilan kung bakit may kumpiyansa.

Bakit Jev ang tawag dito?

Sunod sa pangalan ng ekonomistang si William Stanley Jevons. Sinasabi ng paglulunsad ng TypeSafe na inaasahan nilang susundan ng katalinuhan ng makina ang landas na tinahak ng karbon matapos maging episyente ang mga makinang de-singaw — ang kabalintunaan ni Jevons, kung saan ang pagpapamura sa paggamit ng isang bagay ay nagpapataas, sa halip na nagpapababa, ng dami ng paggamit dito.

Mapapatakbo ko ba si Jev nang lokal? Open source ba ito?

Hindi. Ang Jev ay pribadong pag-aaring modelong naka-host at inaabot sa pamamagitan ng HTTP API ng TypeSafe; walang inilathalang timbang na maida-download, at ang parehong timbang ang naglilingkod sa bawat account — hindi ito fine-tuned o LoRA-adapted kada customer. Hinuhubog mo ang mga sagot nito sa pamamagitan ng kahilingan: sa kung ano ang inilalagay mo sa estado, at sa kung paano mo isinusulat ang panuto at pamantayan ng bawat tanong.

Gaano kabilis si Jev?

Binabanggit ng TypeSafe ang 70–500 ms mula dulo hanggang dulo, laban sa 3–329 segundo para sa mga nangungunang modelo, at 40–200× na mas mabilis sa uri ng tanong na dito siya ginawa. Numero iyan ng vendor. Ang masasabi ng site na ito mula sa sarili nitong log ay karaniwang bumabalik ang kahilingang may siyam na tanong sa loob ng ilang daang milisegundo — ipinapakita ng bawat pahina ng resulta ang sinukat na oras ng balikan para sa mismong tawag na iyon.

Magkano ang Jev?

$0.042 kada milyong input token sa jev-1.13.0, libre ang output — walang autoregressive decoding na susukatin. Dahil isang beses lang binabasa ang estado at sabay-sabay na sinusuri ang bawat tanong laban dito, ang magtanong ng sampung bagay ay halos kasinghalaga lang ng magtanong ng isa. Inilalathala ng bawat pahina ng resulta sa site na ito ang bilang ng token at ang halaga ng mismong tawag na iyon.

Paano sinanay si Jev?

Sa tinatawag ng TypeSafe na RLCD — reinforcement learning para sa kalibradong desisyon. Iba ang nakasaad na layunin kaysa sa RLHF o RLVR: hindi mga sagot na gusto ng tao, at hindi mga sagot na pumapasa sa isang checker, kundi mga sagot na ang mga probabilidad ay epistemikong tapat. Iyan ang dahilan kung bakit karapat-dapat lagyan ng threshold ang kumpiyansa sa halip na maging palamuti lamang.

Ano ang mga hangganan?

Teksto lamang ang pumapasok — walang larawan, audio o video. 64k token kada kahilingan, kung saan ang estado kasama ang pinakamahabang isahang tanong ay dapat kasya sa 32k. Tumatanggap ang Choice ng hanggang 255 pagpipilian; tumatanggap ang Score ng 2 hanggang 10 antas. Ang rate limit sa maagang akses ay 250,000 token bawat segundo at 1,200 kahilingan bawat minuto, at nagbababala ang TypeSafe na nagbabago ang mga ito.