Cara kerjanya

Seluruh permintaan

Kamu menyediakan keadaan — apa pun yang kamu tempel. Lensa menyediakan pertanyaan. Jev mengembalikan satu jawaban bertipe per pertanyaan, dikunci dengan id yang sama.

{
  "state": "Help! My payouts have been failing for 3 days.",
  "model": "jev-latest",
  "questions": {
    "is_urgent":  { "type": "noul",   "instructions": "Does this convey urgency?" },
    "department": { "type": "choice", "instructions": "Which team should handle this?",
                    "criteria": { "billing": "Payments, invoicing, refunds",
                                  "technical": "Bugs, outages, integrations",
                                  "sales": "Pricing, upgrades, new accounts" } },
    "frustration":{ "type": "score",  "instructions": "How frustrated is the customer?",
                    "criteria": ["Calm", "Frustrated", "Very angry"] }
  }
}

Bagaimana grafik memetakan jawaban

Choice → donat

Probabilitasnya berjumlah satu, jadi cincin itu jujur di sini: ini benar-benar bagian terhadap keseluruhan. Legenda mengulang setiap opsi dengan nilai persisnya, karena donat buruk untuk selisih tipis sementara angka tidak.

Score → pita rubrik

Pita itu adalah tingkatanmu secara berurutan; jarumnya adalah nilai berbobot probabilitas, itulah sebabnya ia biasanya jatuh di antara dua di antaranya. Batang di bawah menunjukkan bagaimana massa probabilitas tersebar — skor 2,0 dari puncak sempit dan skor 2,0 dari dua gundukan berjauhan adalah jawaban yang sangat berbeda.

Noul → meteran

Satu rasio terhadap sebuah batas, jadi ia mendapat meteran alih-alih grafik. Pita abu-abu di sekitar tengah menandai tempat model pada dasarnya berkata “saya tidak tahu” — 0,51 tidak boleh pernah dibaca sebagai ya.

Lensanya

Setiap lensa hanyalah kumpulan pertanyaan tetap yang dipilih untuk menunjukkan sisi lain dari kemampuan Jev. Kamu juga bisa menulis sendiri.

• Rontgen pesan

  Apa yang sebenarnya diminta pesan ini darimu?

  9 pertanyaan

• Triase dukungan

  Rutekan tiket sebelum manusia membukanya.

  9 pertanyaan

• Pagar pengaman

  Saring sebuah prompt sebelum ia mencapai modelmu.

  9 pertanyaan

• Kritik draf

  Sembilan pembacaan atas sebuah draf, sebelum kamu mengirimnya.

  9 pertanyaan

• Pembaca ulasan

  Apa yang sebenarnya dikatakan ulasan pelanggan kepadamu.

  9 pertanyaan

• Triase laporan bug

  Keparahan, komponen, dan apakah ada yang bisa mereproduksinya.

  9 pertanyaan

• Lensa judul

  Bagaimana sebuah berita dibingkai.

  9 pertanyaan

• Cek presentasi

  Apakah investor atau pelanggan akan terus membaca?

  9 pertanyaan

Pertanyaan

Apa itu model System One?

Model yang dibangun untuk keputusan, bukan untuk prosa. Jev menerima satu keadaan ditambah peta pertanyaan bertipe dan mengembalikan satu jawaban bertipe per pertanyaan — tanpa token yang dialirkan, tanpa apa pun untuk diurai, dan tanpa cara mengeluarkan nilai di luar himpunan yang kamu tentukan. Kerangka TypeSafe adalah System One untuk penilaian terstruktur yang cepat, dengan model bahasa biasa sebagai System Two ketika kamu memang butuh bahasa.

Mengapa semuanya berjalan dalam satu permintaan?

Jev menyerap keadaan sekali dan mengevaluasi setiap pertanyaan terhadapnya secara paralel. Sepuluh pertanyaan dalam satu panggilan berbiaya kurang lebih satu panggilan token masukan alih-alih sepuluh, dan memakan waktu kira-kira selama satu. Itulah sebabnya setiap lensa di sini menanyakan sembilan hal sekaligus alih-alih merangkai prompt.

Apa arti keyakinan?

Jawaban Choice dan Score membawa nilai keyakinan yang diturunkan dari distribusi probabilitasnya: terkonsentrasi berarti pasti, tersebar berarti model tidak bisa memisahkan opsi-opsinya. Ini sumbu kedua — jawaban memberi tahu apa, keyakinan memberi tahu apakah perlu bertindak. Jawaban Noul tidak punya medan keyakinan, karena probabilitasnya sendiri sudah membawanya: 0,51 adalah model yang mengatakan bahwa ia tidak tahu.

Bisakah Jev berhalusinasi?

Tidak dalam bentuk keluarannya. Choice hanya bisa mengembalikan salah satu opsi yang kamu tentukan; Score hanya bisa jatuh di dalam rubrikmu; Noul adalah angka antara 0 dan 1. Ia tetap bisa salah tentang teksmu — dan justru untuk itulah keyakinan ada.

Mengapa namanya Jev?

Dari nama ekonom William Stanley Jevons. Tulisan peluncuran TypeSafe mengatakan mereka memperkirakan kecerdasan mesin mengikuti jalur yang ditempuh batu bara setelah mesin uap menjadi efisien — paradoks Jevons, di mana membuat sesuatu lebih murah dipakai justru menambah, bukan mengurangi, pemakaiannya.

Bisakah saya menjalankan Jev secara lokal? Apakah sumbernya terbuka?

Tidak. Jev adalah model berpemilik yang dihosting dan diakses lewat API HTTP TypeSafe; tidak ada bobot yang dipublikasikan untuk diunduh, dan bobot yang sama melayani setiap akun — tidak ada penyetelan halus atau adaptasi LoRA per pelanggan. Kamu membentuk jawabannya lewat permintaan: lewat apa yang kamu taruh di keadaan, dan lewat cara kamu menulis instruksi serta kriteria tiap pertanyaan.

Seberapa cepat Jev?

TypeSafe menyebut 70–500 ms dari ujung ke ujung, berbanding 3–329 detik untuk model terdepan, dan 40–200× lebih cepat pada jenis kueri yang menjadi tujuan pembuatannya. Itu angka vendor. Yang bisa dikatakan situs ini dari lognya sendiri adalah bahwa permintaan sembilan pertanyaan biasanya kembali dalam beberapa ratus milidetik — setiap halaman hasil menampilkan waktu pulang pergi terukur untuk panggilan itu.

Berapa biaya Jev?

$0,042 per juta token masukan pada jev-1.13.0, dengan keluaran gratis — tidak ada dekode autoregresif untuk dihitung. Karena keadaan dibaca sekali dan setiap pertanyaan dievaluasi terhadapnya secara paralel, menanyakan sepuluh hal berbiaya kurang lebih sama dengan menanyakan satu. Setiap halaman hasil di situs ini mencetak jumlah token dan biaya panggilan persis itu.

Bagaimana Jev dilatih?

Dengan yang TypeSafe sebut RLCD — pembelajaran penguatan untuk keputusan terkalibrasi. Tujuan yang dinyatakan berbeda dari RLHF atau RLVR: bukan jawaban yang lebih disukai orang atau jawaban yang lolos pemeriksa, melainkan jawaban yang probabilitasnya jujur secara epistemik. Itulah yang membuat keyakinan layak diberi ambang alih-alih sekadar hiasan.

Apa batasannya?

Hanya teks masuk — tanpa gambar, audio, atau video. 64k token per permintaan, yang mana keadaan ditambah satu pertanyaan terpanjang harus muat dalam 32k. Choice menampung hingga 255 opsi; Score menampung 2 sampai 10 tingkat. Batas laju pada akses awal adalah 250.000 token per detik dan 1.200 permintaan per menit, dan TypeSafe memperingatkan bahwa angka itu bergeser.

Apa yang terjadi pada yang saya tempel?

Ia dikirim ke TypeSafe untuk dievaluasi dan disimpan di basis data situs ini agar hasilnya punya tautan permanen. Eksekusi publik muncul di Jelajahi dan di mesin pencari. Eksekusi tak terdaftar juga disimpan, tetapi dijauhkan dari Jelajahi dan peta situs serta disajikan dengan header noindex — tautannya tetap berfungsi bagi siapa pun yang kamu beri. Bagaimanapun juga: jangan tempel apa pun yang sensitif, ini demo publik.

Situs ini berbicara dalam bahasa apa saja?

Antarmuka, pustaka lensa, dan setiap halaman penjelasan diterbitkan dalam 32 bahasa, dipilih dari header atau dari pengaturan bahasa peramban kamu. Yang kamu tempel tetap persis seperti kamu menulisnya, dan Jev membacanya dalam bahasa aslinya — pertanyaan di balik tiap lensa dikirim dalam bahasa Inggris pada semua bahasa, sehingga sebuah eksekusi berarti sama bagaimanapun ia dibuat.

Apakah ini dijalankan oleh TypeSafe?

Bukan. Dejev adalah demo independen yang dibuat untuk menunjukkan seperti apa keluaran Jev ketika digambar. Model, API, dan dokumentasinya milik TypeSafe.

Lebih dalam

Modelnya, harganya, sisi kasarnya, dan sederet panjang buku resep semuanya ada di dokumentasi TypeSafe sendiri.