Что такое Jev

Почему это не языковая модель

Языковая модель порождает токены; форма того, что вернётся, — это надежда, а не гарантия, и потому приложения, использующие её для решений, в итоге обрастают разбором и повторами. Jev порождает значение того типа, который вы указали. Разбирать нечего, и обрабатывать испорченный случай не нужно — место цикла повторов занимает совсем другая ветка: та, что срабатывает, когда модель не уверена, а это куда более полезное знание.

Три формы, и ничего больше

Цифры

Их публикует TypeSafe; это данные поставщика, а не наши измерения.

Вопросы

Что такое модель Системы 1?

Модель, построенная для решений, а не для прозы. Jev берёт один state плюс карту типизированных вопросов и возвращает по одному типизированному ответу на вопрос: никаких потоковых токенов, ничего не надо разбирать и нет способа выдать значение вне заданного вами набора. Формулировка TypeSafe такова: Система 1 для быстрого структурированного суждения, а обычная языковая модель как Система 2, когда вам действительно нужен язык.

Что означает уверенность?

Ответы Choice и Score несут значение уверенности, выведенное из их распределения вероятностей: сосредоточенное означает «уверен», размазанное — что модель не может разделить варианты. Это вторая ось: ответ говорит, что именно, уверенность — стоит ли действовать. У ответов Noul поля уверенности нет, потому что сама вероятность уже несёт её: 0,51 — это модель, которая говорит, что не знает.

Может ли Jev галлюцинировать?

Не в форме вывода. Choice может вернуть только один из заданных вами вариантов; Score может попасть только внутрь вашей шкалы; Noul — число от 0 до 1. Ошибиться относительно вашего текста он по-прежнему может — именно для этого и нужна уверенность.

Почему он называется Jev?

В честь экономиста Уильяма Стэнли Джевонса. В анонсе TypeSafe сказано, что они ожидают от машинного интеллекта того же пути, который прошёл уголь после того, как паровые машины стали эффективными, — парадокса Джевонса, по которому удешевление использования чего-либо увеличивает потребление, а не уменьшает его.

Можно ли запустить Jev локально? Он открытый?

Нет. Jev — проприетарная размещённая модель, доступная через HTTP-API TypeSafe; опубликованных весов для скачивания нет, и одни и те же веса обслуживают все аккаунты: никакой дообучки или LoRA-адаптации под клиента. Ответы вы формируете запросом: тем, что кладёте в state, и тем, как пишете инструкции и критерии каждого вопроса.

Насколько быстр Jev?

TypeSafe называет 70–500 мс от начала до конца против 3–329 секунд у передовых моделей и в 40–200 раз быстрее на тех запросах, для которых он построен. Это цифры поставщика. Что этот сайт может сказать по собственным журналам: запрос из девяти вопросов обычно возвращается за несколько сотен миллисекунд, и на каждой странице результата показано измеренное время оборота именно того вызова.

Сколько стоит Jev?

$0,042 за миллион входных токенов на jev-1.13.0, вывод бесплатный — считать авторегрессивное декодирование не нужно. Поскольку state читается один раз, а все вопросы оцениваются параллельно, спросить десять вещей стоит примерно столько же, сколько спросить одну. Каждая страница результата на этом сайте печатает число токенов и стоимость именно того вызова.

Как обучали Jev?

Тем, что TypeSafe называет RLCD, — обучением с подкреплением для откалиброванных решений. Заявленная цель отличается от RLHF или RLVR: не ответы, которые нравятся людям, и не ответы, проходящие проверку, а ответы, вероятности которых эпистемически честны. Именно поэтому на уверенность стоит ставить порог, а не считать её украшением.

Каковы ограничения?

Только текст: ни изображений, ни аудио, ни видео. 64 тыс. токенов на запрос, из которых state плюс самый длинный вопрос должны уместиться в 32 тыс. Choice принимает до 255 вариантов; Score — от 2 до 10 уровней. Лимиты раннего доступа — 250 000 токенов в секунду и 1200 запросов в минуту, и TypeSafe предупреждает, что они меняются.