Jev là gì?

Vì sao nó không phải mô hình ngôn ngữ

Một LLM sinh ra token; hình dạng của thứ quay về là một hy vọng chứ không phải một bảo đảm, và đó là lý do các ứng dụng dùng nó để ra quyết định rốt cuộc bị bọc trong phân tích cú pháp và thử lại. Jev sinh ra một giá trị thuộc kiểu bạn đã chỉ định. Không có gì để phân tích và không có trường hợp hỏng nào phải xử lý — thứ thay thế vòng lặp thử lại là một nhánh cho lúc mô hình không chắc, mà đó là điều khác hẳn và hữu ích hơn nhiều.

Ba hình dạng, và không gì khác

Các con số

TypeSafe công bố những con số này; đó là số liệu của nhà cung cấp, không phải đo đạc của chúng tôi.

Câu hỏi

Mô hình System One là gì?

Một mô hình được xây để ra quyết định thay vì viết văn xuôi. Jev nhận một trạng thái cùng một bản đồ các câu hỏi có kiểu và trả về một câu trả lời có kiểu cho mỗi câu hỏi — không có token phát trực tiếp, không có gì để phân tích, và không có cách nào để nó phát ra một giá trị nằm ngoài tập bạn đã định nghĩa. Cách TypeSafe diễn đạt là System One cho phán đoán có cấu trúc nhanh, còn một mô hình ngôn ngữ thông thường đóng vai System Two khi bạn thực sự cần ngôn ngữ.

Độ tin cậy nghĩa là gì?

Các câu trả lời Choice và Score mang theo một giá trị độ tin cậy suy ra từ phân phối xác suất của chúng: tập trung nghĩa là chắc chắn, dàn trải nghĩa là mô hình không tách được các phương án. Đó là một trục thứ hai — câu trả lời cho bạn biết cái gì, còn độ tin cậy cho biết có nên hành động hay không. Câu trả lời Noul không có trường độ tin cậy, vì bản thân xác suất đã mang nó: 0,51 chính là mô hình nói rằng nó không biết.

Jev có thể bịa không?

Không, xét về hình dạng đầu ra. Một Choice chỉ có thể trả về một trong các phương án bạn đã định nghĩa; một Score chỉ có thể rơi vào trong thang của bạn; một Noul là một số giữa 0 và 1. Nó vẫn có thể sai về văn bản của bạn — và đó chính là lý do độ tin cậy tồn tại.

Vì sao lại gọi là Jev?

Theo tên nhà kinh tế học William Stanley Jevons. Bài công bố của TypeSafe nói họ dự đoán trí tuệ máy sẽ đi theo con đường của than đá sau khi động cơ hơi nước trở nên hiệu quả — nghịch lý Jevons, khi làm một thứ rẻ hơn khiến người ta dùng nó nhiều hơn chứ không ít đi.

Tôi chạy Jev cục bộ được không? Nó có mã nguồn mở không?

Không. Jev là một mô hình độc quyền được lưu trữ và truy cập qua API HTTP của TypeSafe; không có trọng số nào được công bố để tải về, và cùng bộ trọng số ấy phục vụ mọi tài khoản — không có tinh chỉnh hay điều chỉnh LoRA riêng cho từng khách hàng. Bạn định hình câu trả lời của nó thông qua yêu cầu: qua những gì bạn đặt vào trạng thái, và qua cách bạn viết hướng dẫn cùng tiêu chí của từng câu hỏi.

Jev nhanh đến mức nào?

TypeSafe nêu 70–500 ms từ đầu đến cuối, so với 3–329 giây ở các mô hình tiên phong, và nhanh hơn 40–200× với loại truy vấn mà nó được xây dựng cho. Đó là con số của nhà cung cấp. Điều trang này có thể nói từ nhật ký của chính mình là một yêu cầu chín câu hỏi thường quay về trong vài trăm mili giây — mỗi trang kết quả đều hiển thị thời gian khứ hồi đo được của đúng lần gọi đó.

Jev có giá bao nhiêu?

0,042 $ mỗi triệu token đầu vào trên jev-1.13.0, đầu ra miễn phí — không có giải mã tự hồi quy nào để tính. Vì trạng thái chỉ được đọc một lần và mọi câu hỏi được đánh giá song song trên nó, hỏi mười thứ tốn xấp xỉ bằng hỏi một thứ. Mỗi trang kết quả trên trang này đều in ra số token và chi phí của đúng lần gọi ấy.

Jev được huấn luyện thế nào?

Bằng thứ TypeSafe gọi là RLCD — học tăng cường cho các quyết định đã hiệu chuẩn. Mục tiêu công bố khác với RLHF hay RLVR: không phải câu trả lời con người ưa thích, cũng không phải câu trả lời vượt qua một bộ kiểm tra, mà là câu trả lời có xác suất trung thực về mặt nhận thức. Chính điều đó khiến độ tin cậy đáng để đặt ngưỡng chứ không chỉ là trang trí.

Giới hạn là gì?

Chỉ nhận văn bản — không hình ảnh, âm thanh hay video. 64k token mỗi yêu cầu, trong đó trạng thái cộng với câu hỏi dài nhất phải vừa trong 32k. Một Choice nhận tối đa 255 phương án; một Score nhận từ 2 đến 10 mức. Giới hạn tần suất ở giai đoạn truy cập sớm là 250.000 token mỗi giây và 1.200 yêu cầu mỗi phút, và TypeSafe cảnh báo rằng các con số này sẽ thay đổi.