Cara ia berfungsi

Keseluruhan permintaan

Anda membekalkan keadaan — apa sahaja yang anda tampal. Kanta membekalkan soalan. Jev memulangkan satu jawapan bertaip bagi setiap soalan, berkunci id yang sama.

{
  "state": "Help! My payouts have been failing for 3 days.",
  "model": "jev-latest",
  "questions": {
    "is_urgent":  { "type": "noul",   "instructions": "Does this convey urgency?" },
    "department": { "type": "choice", "instructions": "Which team should handle this?",
                    "criteria": { "billing": "Payments, invoicing, refunds",
                                  "technical": "Bugs, outages, integrations",
                                  "sales": "Pricing, upgrades, new accounts" } },
    "frustration":{ "type": "score",  "instructions": "How frustrated is the customer?",
                    "criteria": ["Calm", "Frustrated", "Very angry"] }
  }
}

Cara carta memetakan jawapan

Choice → donat

Kebarangkaliannya berjumlah satu, jadi gelang itu jujur di sini: ia benar-benar hubungan bahagian kepada keseluruhan. Petunjuk mengulang setiap pilihan dengan nilai tepatnya, kerana donat lemah bagi jarak rapat sedangkan nombor tidak.

Score → jalur rubrik

Jalur itu ialah tahap anda mengikut tertib; jarumnya ialah nilai berwajaran kebarangkalian, itulah sebabnya ia biasanya jatuh antara dua daripadanya. Bar di bawah menunjukkan cara jisim kebarangkalian tersebar — skor 2.0 daripada puncak sempit dan skor 2.0 daripada dua bonggol berjauhan ialah jawapan yang sangat berbeza.

Noul → meter

Satu nisbah terhadap satu had, jadi ia mendapat meter dan bukan carta. Jalur kelabu di sekitar tengah menandakan tempat model pada dasarnya berkata “saya tidak tahu” — 0.51 tidak sekali-kali patut dibaca sebagai ya.

Kanta

Setiap kanta hanyalah set soalan tetap yang dipilih untuk menunjukkan bahagian lain kemampuan Jev. Anda juga boleh menulis sendiri.

• X-ray mesej

  Apa sebenarnya yang mesej ini minta daripada anda?

  9 soalan

• Triaj sokongan

  Halakan satu tiket sebelum manusia membukanya.

  9 soalan

• Pagar kawalan

  Tapis satu gesaan sebelum ia sampai ke model anda.

  9 soalan

• Kritikan draf

  Sembilan bacaan atas satu draf, sebelum anda menghantarnya.

  9 soalan

• Penyahkod ulasan

  Apa sebenarnya yang ulasan pelanggan beritahu anda.

  9 soalan

• Triaj laporan pepijat

  Keseriusan, komponen, dan sama ada sesiapa boleh menghasilkannya semula.

  9 soalan

• Kanta tajuk

  Bagaimana sesuatu berita dibingkaikan.

  9 soalan

• Semakan pembentangan

  Adakah pelabur atau pelanggan akan terus membaca?

  9 soalan

Soalan

Apakah itu model System One?

Model yang dibina untuk keputusan dan bukan untuk prosa. Jev mengambil satu keadaan serta peta soalan bertaip dan memulangkan satu jawapan bertaip bagi setiap soalan — tiada token dialirkan, tiada apa-apa untuk dihurai, dan tiada cara untuk ia mengeluarkan nilai di luar set yang anda tentukan. Rangka TypeSafe ialah System One untuk pertimbangan berstruktur yang pantas, dengan model bahasa biasa sebagai System Two apabila anda benar-benar perlukan bahasa.

Mengapa semuanya berjalan dalam satu permintaan?

Jev menyerap keadaan sekali dan menilai setiap soalan terhadapnya secara selari. Sepuluh soalan dalam satu panggilan berkos lebih kurang satu panggilan token masukan dan bukan sepuluh, serta mengambil masa lebih kurang selama satu. Itulah sebabnya setiap kanta di sini bertanya sembilan perkara serentak dan bukannya merantai gesaan.

Apakah maksud keyakinan?

Jawapan Choice dan Score membawa nilai keyakinan yang diterbitkan daripada taburan kebarangkaliannya: tertumpu bermakna pasti, tersebar bermakna model tidak dapat memisahkan pilihan. Ia paksi kedua — jawapan memberitahu apa, keyakinan memberitahu sama ada patut bertindak. Jawapan Noul tiada medan keyakinan, kerana kebarangkaliannya sendiri sudah membawanya: 0.51 ialah model yang berkata ia tidak tahu.

Bolehkah Jev berhalusinasi?

Tidak dari segi bentuk keluarannya. Choice hanya boleh memulangkan salah satu pilihan yang anda tentukan; Score hanya boleh jatuh dalam rubrik anda; Noul ialah nombor antara 0 dan 1. Ia masih boleh tersilap tentang teks anda — dan itulah tepatnya tujuan keyakinan.

Mengapa ia dinamakan Jev?

Sempena ahli ekonomi William Stanley Jevons. Catatan pelancaran TypeSafe menyebut mereka menjangka kecerdasan mesin mengikut laluan yang dilalui arang batu selepas enjin stim menjadi cekap — paradoks Jevons, di mana menjadikan sesuatu lebih murah digunakan menambah, bukan mengurangkan, penggunaannya.

Bolehkah saya menjalankan Jev secara tempatan? Adakah ia sumber terbuka?

Tidak. Jev ialah model milik persendirian yang dihoskan dan dicapai melalui API HTTP TypeSafe; tiada pemberat diterbitkan untuk dimuat turun, dan pemberat yang sama melayan setiap akaun — ia tidak diperhalusi atau disesuaikan LoRA bagi setiap pelanggan. Anda membentuk jawapannya melalui permintaan: melalui apa yang anda letakkan dalam keadaan, dan cara anda menulis arahan serta kriteria setiap soalan.

Sepantas mana Jev?

TypeSafe menyebut 70–500 ms dari hujung ke hujung, berbanding 3–329 saat bagi model barisan hadapan, dan 40–200× lebih pantas bagi jenis pertanyaan yang menjadi tujuan pembinaannya. Itu angka vendor. Yang boleh dikatakan laman ini daripada lognya sendiri ialah permintaan sembilan soalan lazimnya kembali dalam beberapa ratus milisaat — setiap halaman keputusan menunjukkan masa pergi balik terukur bagi panggilan itu.

Berapakah kos Jev?

$0.042 setiap juta token masukan pada jev-1.13.0, dengan keluaran percuma — tiada penyahkodan autoregresif untuk dikira. Oleh sebab keadaan dibaca sekali dan setiap soalan dinilai terhadapnya secara selari, bertanya sepuluh perkara berkos lebih kurang sama dengan bertanya satu. Setiap halaman keputusan di laman ini mencetak bilangan token dan kos panggilan tepat itu.

Bagaimana Jev dilatih?

Dengan apa yang TypeSafe panggil RLCD — pembelajaran pengukuhan untuk keputusan tertentukur. Matlamat yang dinyatakan berbeza daripada RLHF atau RLVR: bukan jawapan yang lebih disukai orang atau jawapan yang lulus pemeriksa, tetapi jawapan yang kebarangkaliannya jujur secara epistemik. Itulah yang menjadikan keyakinan berbaloi diberi ambang dan bukan sekadar hiasan.

Apakah hadnya?

Teks sahaja masuk — tiada imej, audio atau video. 64k token setiap permintaan, di mana keadaan serta satu soalan terpanjang mesti muat dalam 32k. Choice menerima sehingga 255 pilihan; Score menerima 2 hingga 10 tahap. Had kadar pada akses awal ialah 250,000 token sesaat dan 1,200 permintaan seminit, dan TypeSafe memberi amaran bahawa ia berubah.

Apa yang berlaku kepada apa yang saya tampal?

Ia dihantar kepada TypeSafe untuk dinilai dan disimpan dalam pangkalan data laman ini supaya keputusannya mempunyai pautan kekal. Larian awam muncul dalam Terokai dan dalam enjin carian. Larian tidak tersenarai turut disimpan, tetapi dijauhkan daripada Terokai dan peta laman serta disajikan dengan pengepala noindex — pautannya masih berfungsi bagi sesiapa yang anda beri. Apa pun keadaannya: jangan tampal apa-apa yang sensitif, ini demo awam.

Laman ini bertutur dalam bahasa apa?

Antara muka, pustaka kanta dan setiap halaman penerangan diterbitkan dalam 32 bahasa, dipilih daripada pengepala atau daripada tetapan bahasa pelayar anda. Apa yang anda tampal kekal tepat seperti anda menulisnya, dan Jev membacanya dalam bahasa asalnya — soalan di sebalik setiap kanta dihantar dalam bahasa Inggeris pada semua bahasa, jadi satu larian bermakna sama walau bagaimana pun ia dibuat.

Adakah ini dikendalikan oleh TypeSafe?

Tidak. Dejev ialah demo bebas yang dibina untuk menunjukkan rupa keluaran Jev apabila anda melukisnya. Model, API dan dokumentasinya milik TypeSafe.

Gali lebih dalam

Modelnya, harganya, sisi kasarnya dan sederet panjang buku resipi semuanya ada dalam dokumentasi TypeSafe sendiri.