Score — chấm điểm theo thang trong Jev

Score là một trong ba kiểu câu hỏi của mô hình Jev thuộc TypeSafe. Nó chấm đầu vào theo các mức có thứ tự do bạn viết và trả về một giá trị trọng số theo xác suất, giá trị này có thể rơi vào giữa hai mức.

Score là một thang. Bạn viết các mức theo thứ tự, thấp nhất trước, bằng lời — và câu trả lời là một vị trí trên thang đó, đánh số từ 0. Vì nó là trung bình trọng số theo xác suất của các mức, nó có thể và thường rơi vào giữa hai mức.

Hãy mô tả các mức thay vì đánh số chúng. Chính tài liệu của TypeSafe cho thấy cùng một đầu vào được chấm gọn gàng theo ba mức có mô tả và lại phân tán xác suất khi chỉ đưa các con số trơ: không có gì để đối chiếu, mô hình chẳng có căn cứ nào để suy luận.

Một câu trả lời thật

Gửi tới jev-1.13.0. Các con số bên dưới là thứ đã quay về.

Trạng thái

Xuất CSV lặng lẽ cắt cụt ở 1000 dòng kể từ 4.2.0. Không báo lỗi. Hạ phiên bản thì hết. Đã tái hiện trên hai tài khoản. Việc này phá hỏng kỳ chốt sổ cuối tháng của chúng tôi.

Câu hỏi

Vấn đề này nghiêm trọng đến mức nào?

70%
trung bình
2.35 trên 4 · Lớn, một luồng công việc bị hỏng

2,35 nằm ngay sau mức “một luồng công việc bị hỏng” — nhưng hãy đọc phân phối thay vì con số. 77% nằm ở mức 2, vậy mà vẫn có 13% nằm tít trên mức 4, vì cắt cụt âm thầm thực sự có thể là mất dữ liệu. Một trung bình 2,35 và một đỉnh hẹp tại 2,35 là hai câu trả lời khác nhau, và chỉ `probabilities` mới phân biệt được.

Yêu cầu và phản hồi, nguyên văn
Yêu cầu
{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}
Phản hồi
{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Câu trả lời chứa những gì

type "score"
Khớp với kiểu câu hỏi.
score number
Trung bình trọng số theo xác suất của các số thứ tự mức. Với năm mức thì nó chạy từ 0 đến 4, và có thể rơi vào giữa các mức.
legend map<string, string>
Từng số thứ tự mức ánh xạ ngược về mô tả bạn đã viết.
probabilities map<string, number>
Từng mức ánh xạ tới xác suất của nó. Chúng cộng lại bằng 1.
confidence number
Từ 0 đến 1. Một đỉnh duy nhất trên một mức là cao; xác suất dàn trải qua nhiều mức là thấp.

Quy tắc và giới hạn

  • criteria là một mảng có thứ tự gồm các mô tả mức, đầu thấp trước. Nó cần ít nhất hai mức và nhận tối đa mười.
  • Số thứ tự của một mức là vị trí của nó trong mảng, bắt đầu từ 0.
  • Những phân phối khác nhau cho ra cùng một điểm: 1,0 có thể nghĩa là toàn bộ xác suất nằm ở mức 1, hoặc nó chia đều giữa mức 0 và mức 2. Hãy đọc probabilitiesconfidence cùng với nó.

Hãy dùng Score khi

  • Các câu trả lời là những nấc trên cùng một cái thang — mức nghiêm trọng, mức khẩn, mức bực bội, chất lượng, rủi ro.
  • Rơi vào giữa hai mức là thông tin hữu ích chứ không phải vấn đề.
  • Bạn muốn kết hợp vài đánh giá với trọng số do bạn kiểm soát, thay vì đặt một câu hỏi mơ hồ về chất lượng tổng thể.

Hãy dùng thứ khác khi

  • Các phương án không có thứ tự. Choice mới là hình dạng trung thực cho những danh mục không thứ tự.
  • Bạn không mô tả được các mức một cách tách bạch. Hãy dùng đúng số mức bạn mô tả được và không nhiều hơn — những mức không được mô tả chẳng cho mô hình gì để đối chiếu.

Hai kiểu còn lại

Đặt một Score cho văn bản của chính bạn

Sân chơi gửi mọi thứ bạn dán vào tới Jev và vẽ ra từng câu trả lời. Không cần tài khoản, không cần khóa.

Mở sân chơi