Cách hoạt động

Toàn bộ yêu cầu

Bạn cung cấp trạng thái — bất cứ thứ gì bạn dán vào. Thấu kính cung cấp câu hỏi. Jev trả về một câu trả lời có kiểu cho mỗi câu hỏi, khóa theo cùng những id đó.

{
  "state": "Help! My payouts have been failing for 3 days.",
  "model": "jev-latest",
  "questions": {
    "is_urgent":  { "type": "noul",   "instructions": "Does this convey urgency?" },
    "department": { "type": "choice", "instructions": "Which team should handle this?",
                    "criteria": { "billing": "Payments, invoicing, refunds",
                                  "technical": "Bugs, outages, integrations",
                                  "sales": "Pricing, upgrades, new accounts" } },
    "frustration":{ "type": "score",  "instructions": "How frustrated is the customer?",
                    "criteria": ["Calm", "Frustrated", "Very angry"] }
  }
}

Biểu đồ ứng với câu trả lời như thế nào

Choice → biểu đồ vành khuyên

Các xác suất cộng lại bằng một, nên vòng tròn ở đây là trung thực: đây thực sự là quan hệ phần–toàn thể. Chú giải lặp lại từng phương án kèm giá trị chính xác, vì vành khuyên thể hiện kém những khoảng cách sát sao còn các con số thì không.

Score → dải thang

Dải này là các mức của bạn theo thứ tự; kim chỉ là giá trị trọng số theo xác suất, nên nó thường rơi vào giữa hai mức. Các cột bên dưới cho thấy khối xác suất trải ra thế nào — điểm 2,0 từ một đỉnh hẹp và điểm 2,0 từ hai bướu xa nhau là hai câu trả lời rất khác nhau.

Noul → đồng hồ đo

Một tỷ lệ so với một ngưỡng, nên nó nhận một đồng hồ đo thay vì một biểu đồ. Dải xám quanh giữa đánh dấu chỗ mô hình thực chất đang nói “tôi không biết” — 0,51 không bao giờ nên được đọc là có.

Các thấu kính

Mỗi thấu kính chỉ là một bộ câu hỏi cố định, được chọn để cho thấy một khía cạnh khác trong khả năng của Jev. Bạn cũng có thể tự viết.

• Chụp X-quang tin nhắn

  Tin nhắn này thực ra đang đòi hỏi gì ở bạn?

  9 câu hỏi

• Phân loại phiếu hỗ trợ

  Định tuyến một phiếu trước khi có người mở nó ra.

  9 câu hỏi

• Rào chắn

  Sàng một lời nhắc trước khi nó chạm tới mô hình của bạn.

  9 câu hỏi

• Phê bình bản nháp

  Chín lượt đọc một bản nháp, trước khi bạn gửi đi.

  9 câu hỏi

• Bộ giải mã đánh giá

  Một đánh giá của khách hàng thực ra đang nói gì với bạn.

  9 câu hỏi

• Phân loại báo lỗi

  Mức nghiêm trọng, thành phần, và liệu có ai tái hiện được không.

  9 câu hỏi

• Thấu kính tiêu đề

  Một tin tức đang được đóng khung thế nào.

  9 câu hỏi

• Kiểm tra bài chào hàng

  Một nhà đầu tư hay một khách hàng có đọc tiếp không?

  9 câu hỏi

Câu hỏi

Mô hình System One là gì?

Một mô hình được xây để ra quyết định thay vì viết văn xuôi. Jev nhận một trạng thái cùng một bản đồ các câu hỏi có kiểu và trả về một câu trả lời có kiểu cho mỗi câu hỏi — không có token phát trực tiếp, không có gì để phân tích, và không có cách nào để nó phát ra một giá trị nằm ngoài tập bạn đã định nghĩa. Cách TypeSafe diễn đạt là System One cho phán đoán có cấu trúc nhanh, còn một mô hình ngôn ngữ thông thường đóng vai System Two khi bạn thực sự cần ngôn ngữ.

Vì sao mọi thứ chạy trong một yêu cầu duy nhất?

Jev nạp trạng thái một lần và đánh giá song song mọi câu hỏi dựa trên nó. Mười câu hỏi trong một lần gọi tốn xấp xỉ token đầu vào của một lần gọi thay vì mười, và mất thời gian xấp xỉ bằng một. Đó là lý do mỗi thấu kính ở đây hỏi chín thứ cùng lúc thay vì xâu chuỗi các lời nhắc.

Độ tin cậy nghĩa là gì?

Các câu trả lời Choice và Score mang theo một giá trị độ tin cậy suy ra từ phân phối xác suất của chúng: tập trung nghĩa là chắc chắn, dàn trải nghĩa là mô hình không tách được các phương án. Đó là một trục thứ hai — câu trả lời cho bạn biết cái gì, còn độ tin cậy cho biết có nên hành động hay không. Câu trả lời Noul không có trường độ tin cậy, vì bản thân xác suất đã mang nó: 0,51 chính là mô hình nói rằng nó không biết.

Jev có thể bịa không?

Không, xét về hình dạng đầu ra. Một Choice chỉ có thể trả về một trong các phương án bạn đã định nghĩa; một Score chỉ có thể rơi vào trong thang của bạn; một Noul là một số giữa 0 và 1. Nó vẫn có thể sai về văn bản của bạn — và đó chính là lý do độ tin cậy tồn tại.

Vì sao lại gọi là Jev?

Theo tên nhà kinh tế học William Stanley Jevons. Bài công bố của TypeSafe nói họ dự đoán trí tuệ máy sẽ đi theo con đường của than đá sau khi động cơ hơi nước trở nên hiệu quả — nghịch lý Jevons, khi làm một thứ rẻ hơn khiến người ta dùng nó nhiều hơn chứ không ít đi.

Tôi chạy Jev cục bộ được không? Nó có mã nguồn mở không?

Không. Jev là một mô hình độc quyền được lưu trữ và truy cập qua API HTTP của TypeSafe; không có trọng số nào được công bố để tải về, và cùng bộ trọng số ấy phục vụ mọi tài khoản — không có tinh chỉnh hay điều chỉnh LoRA riêng cho từng khách hàng. Bạn định hình câu trả lời của nó thông qua yêu cầu: qua những gì bạn đặt vào trạng thái, và qua cách bạn viết hướng dẫn cùng tiêu chí của từng câu hỏi.

Jev nhanh đến mức nào?

TypeSafe nêu 70–500 ms từ đầu đến cuối, so với 3–329 giây ở các mô hình tiên phong, và nhanh hơn 40–200× với loại truy vấn mà nó được xây dựng cho. Đó là con số của nhà cung cấp. Điều trang này có thể nói từ nhật ký của chính mình là một yêu cầu chín câu hỏi thường quay về trong vài trăm mili giây — mỗi trang kết quả đều hiển thị thời gian khứ hồi đo được của đúng lần gọi đó.

Jev có giá bao nhiêu?

0,042 $ mỗi triệu token đầu vào trên jev-1.13.0, đầu ra miễn phí — không có giải mã tự hồi quy nào để tính. Vì trạng thái chỉ được đọc một lần và mọi câu hỏi được đánh giá song song trên nó, hỏi mười thứ tốn xấp xỉ bằng hỏi một thứ. Mỗi trang kết quả trên trang này đều in ra số token và chi phí của đúng lần gọi ấy.

Jev được huấn luyện thế nào?

Bằng thứ TypeSafe gọi là RLCD — học tăng cường cho các quyết định đã hiệu chuẩn. Mục tiêu công bố khác với RLHF hay RLVR: không phải câu trả lời con người ưa thích, cũng không phải câu trả lời vượt qua một bộ kiểm tra, mà là câu trả lời có xác suất trung thực về mặt nhận thức. Chính điều đó khiến độ tin cậy đáng để đặt ngưỡng chứ không chỉ là trang trí.

Giới hạn là gì?

Chỉ nhận văn bản — không hình ảnh, âm thanh hay video. 64k token mỗi yêu cầu, trong đó trạng thái cộng với câu hỏi dài nhất phải vừa trong 32k. Một Choice nhận tối đa 255 phương án; một Score nhận từ 2 đến 10 mức. Giới hạn tần suất ở giai đoạn truy cập sớm là 250.000 token mỗi giây và 1.200 yêu cầu mỗi phút, và TypeSafe cảnh báo rằng các con số này sẽ thay đổi.

Chuyện gì xảy ra với thứ tôi dán vào?

Nó được gửi tới TypeSafe để đánh giá và lưu trong cơ sở dữ liệu của trang này để kết quả có một liên kết vĩnh viễn. Các lượt chạy công khai xuất hiện trong Khám phá và trong công cụ tìm kiếm. Các lượt chạy không liệt kê cũng được lưu, nhưng được giữ ngoài Khám phá và sơ đồ trang, đồng thời phục vụ kèm header noindex — liên kết vẫn hoạt động với bất kỳ ai bạn trao nó. Dù thế nào: đừng dán thứ gì nhạy cảm, đây là một bản demo công khai.

Trang này nói những ngôn ngữ nào?

Giao diện, thư viện thấu kính và mọi trang giải thích đều được xuất bản bằng 32 ngôn ngữ, chọn từ phần đầu trang hoặc từ thiết lập ngôn ngữ của trình duyệt bạn. Thứ bạn dán vào giữ nguyên đúng như bạn viết, và Jev đọc nó bằng chính ngôn ngữ đó — các câu hỏi đằng sau mỗi thấu kính đều gửi đi bằng tiếng Anh ở mọi ngôn ngữ, nên một lượt chạy mang cùng ý nghĩa dù được tạo ra thế nào.

Trang này do TypeSafe vận hành à?

Không. Dejev là một bản demo độc lập được dựng lên để cho thấy đầu ra của Jev trông ra sao khi bạn vẽ nó ra. Mô hình, API và tài liệu đều thuộc về TypeSafe.

Đi sâu hơn

Mô hình, giá cả, những góc gồ ghề và cả một kệ dài sách công thức đều nằm trong tài liệu của chính TypeSafe.