Jev nedir?

Neden bir dil modeli değil

Bir LLM jeton üretir; geri gelenin biçimi bir umuttur, garanti değil, ve bu yüzden onu karar için kullanan uygulamalar sonunda ayrıştırma ve yeniden denemelerle sarılır. Jev senin belirttiğin türde bir değer üretir. Ayrıştırılacak bir şey ve ele alınacak bozuk bir durum yoktur — yeniden deneme döngüsünün yerini bambaşka bir dal alır: modelin emin olmadığı anda tetiklenen dal, ki bunu bilmek çok daha işe yarar.

Üç biçim, başka bir şey değil

Sayılar

Bunları TypeSafe yayımlıyor; satıcının kendi rakamları, bizim ölçümlerimiz değil.

Sorular

System One modeli nedir?

Düzyazı için değil, kararlar için yapılmış bir model. Jev bir durum ile tipli soruların bir eşlemesini alır ve her soru için bir tipli yanıt döndürür — akan jeton yok, ayrıştırılacak bir şey yok ve tanımladığın kümenin dışında bir değer üretmesinin yolu yok. TypeSafe’in çerçevelemesi şöyle: hızlı yapılandırılmış yargı için System One, gerçekten dile ihtiyaç duyduğunda System Two olarak sıradan bir dil modeli.

Güven ne anlama geliyor?

Choice ve Score yanıtları, olasılık dağılımlarından türetilen bir güven değeri taşır: yoğunlaşmış olması kesin, yayılmış olması modelin seçenekleri ayıramadığı anlamına gelir. Bu ikinci bir eksendir — yanıt sana neyi, güven ise işlem yapıp yapmayacağını söyler. Noul yanıtlarının güven alanı yoktur, çünkü olasılığın kendisi bunu zaten taşır: 0,51, modelin bilmediğini söylemesidir.

Jev halüsinasyon görebilir mi?

Çıktısının biçiminde göremez. Bir Choice yalnızca senin tanımladığın seçeneklerden birini döndürebilir; bir Score yalnızca senin ölçütünün içine düşebilir; bir Noul 0 ile 1 arasında bir sayıdır. Yine de metnin hakkında yanılabilir — güvenin var oluş nedeni tam olarak budur.

Adı neden Jev?

İktisatçı William Stanley Jevons’tan geliyor. TypeSafe’in tanıtım yazısı, buhar makineleri verimlileştikten sonra kömürün izlediği yolu makine zekâsının da izlemesini beklediklerini söylüyor — bir şeyi kullanmayı ucuzlatmanın kullanımı azaltmak yerine artırdığı Jevons paradoksu.

Jev’i yerelde çalıştırabilir miyim? Açık kaynak mı?

Hayır. Jev, TypeSafe’in HTTP API’si üzerinden erişilen tescilli ve barındırılan bir modeldir; indirilecek yayımlanmış ağırlık yoktur ve aynı ağırlıklar her hesaba hizmet eder — müşteri başına ince ayar ya da LoRA uyarlaması yoktur. Yanıtlarını istek üzerinden biçimlendirirsin: duruma ne koyduğunla ve her sorunun yönergesini ve ölçütlerini nasıl yazdığınla.

Jev ne kadar hızlı?

TypeSafe uçtan uca 70–500 ms veriyor; öncü modeller için 3–329 saniyeye karşı, ve yapıldığı sorgu türünde 40–200× daha hızlı. Bunlar satıcının rakamları. Bu sitenin kendi kayıtlarından söyleyebileceği şu: dokuz soruluk bir istek tipik olarak birkaç yüz milisaniyede geri döner — her sonuç sayfası o çağrının ölçülen gidiş dönüş süresini gösterir.

Jev’in maliyeti ne?

jev-1.13.0’da milyon girdi jetonu başına 0,042 $, çıktı ücretsiz — ölçülecek özbağlanımlı kod çözme yok. Durum bir kez okunduğu ve her soru ona karşı paralel değerlendirildiği için on şey sormak, bir şey sormakla yaklaşık aynıya mal olur. Bu sitedeki her sonuç sayfası tam olarak o çağrının jeton sayısını ve maliyetini yazar.

Jev nasıl eğitildi?

TypeSafe’in RLCD dediği yöntemle — kalibre edilmiş kararlar için pekiştirmeli öğrenme. Belirtilen amaç RLHF ya da RLVR’dan farklı: insanların tercih ettiği yanıtlar ya da bir denetleyiciden geçen yanıtlar değil, olasılıkları epistemik olarak dürüst olan yanıtlar. Güveni süsleme değil, üzerine eşik koyulmaya değer kılan da budur.

Sınırlar neler?

Yalnızca metin girer — görüntü, ses ya da video yok. İstek başına 64k jeton; bunun içinde durum artı en uzun tek soru 32k’ya sığmalı. Bir Choice en fazla 255 seçenek alır; bir Score 2 ile 10 arası düzey alır. Erken erişimde hız sınırları saniyede 250.000 jeton ve dakikada 1.200 istek; TypeSafe bunların değiştiğini belirtiyor.