Score — menilai terhadap rubrik di Jev

Score adalah satu dari tiga jenis pertanyaan dalam model Jev milik TypeSafe. Ia menilai masukan terhadap tingkatan berurutan yang kamu tulis dan mengembalikan nilai berbobot probabilitas yang bisa jatuh di antara dua tingkat.

Score adalah sebuah rubrik. Kamu menulis tingkatannya berurutan, terendah dulu, dengan kata-kata — dan jawabannya adalah posisi pada skala itu, dinomori dari 0. Karena ia rerata berbobot probabilitas dari tingkat-tingkat itu, ia bisa dan sering jatuh di antara dua di antaranya.

Deskripsikan tingkatannya alih-alih menomorinya. Dokumentasi TypeSafe sendiri menunjukkan masukan yang sama mendapat skor bersih terhadap tiga tingkat yang dideskripsikan dan memecah probabilitasnya ketika hanya diberi angka telanjang: tanpa apa pun untuk dicocokkan, model tidak punya bahan untuk bernalar.

Jawaban sungguhan

Dikirim ke jev-1.13.0. Angka di bawah adalah yang kembali.

Keadaannya

Ekspor CSV terpotong diam-diam di 1000 baris sejak 4.2.0. Tidak ada galat yang muncul. Turun versi memperbaikinya. Direproduksi di dua akun. Ini merusak tutup buku bulanan kami.

Pertanyaannya

Seberapa parah masalah ini?

70%

sedang

2.35 dari 4 · Besar, sebuah alur kerja rusak

2.35

0 Kosmetik 0%
1 Kecil, ada jalan pintas 0%
2 Besar, sebuah alur kerja rusak 77%
3 Kritis, fungsi inti tidak bisa dipakai 10%
4 Katastrofik, kehilangan data atau lubang keamanan 13%

2,35 duduk tepat setelah “sebuah alur kerja rusak” — tetapi bacalah distribusinya, bukan angkanya. 77% ada di tingkat 2, namun 13% duduk jauh di tingkat 4, karena pemotongan diam-diam memang bisa berarti kehilangan data. Rerata 2,35 dan puncak sempit di 2,35 adalah jawaban berbeda, dan hanya `probabilities` yang membedakannya.

Permintaan dan responsnya, apa adanya

Permintaan

{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}

Respons

{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Apa yang dikandung jawabannya

type "score": Sesuai dengan jenis pertanyaannya.
score number: Rerata berbobot probabilitas dari nomor tingkat. Untuk lima tingkat ia berjalan 0 sampai 4, dan bisa jatuh di antara tingkat.
legend map<string, string>: Setiap nomor tingkat dipetakan kembali ke deskripsi yang kamu tulis.
probabilities map<string, number>: Setiap tingkat dipetakan ke probabilitasnya. Jumlahnya 1.
confidence number: 0 sampai 1. Satu puncak pada satu tingkat berarti tinggi; probabilitas yang tersebar di banyak tingkat berarti rendah.

Aturan dan batasan

criteria adalah larik terurut berisi deskripsi tingkat, ujung terendah dulu. Ia butuh setidaknya dua tingkat dan menampung hingga sepuluh.
Nomor sebuah tingkat adalah posisinya dalam larik, mulai dari 0.
Distribusi berbeda bisa menghasilkan skor yang sama: 1,0 bisa berarti seluruh probabilitas ada di tingkat 1, atau terbagi rata antara tingkat 0 dan 2. Baca probabilities dan confidence di sampingnya.

Pakai Score ketika

Jawabannya adalah anak tangga pada satu tangga — keparahan, urgensi, frustrasi, kualitas, risiko.
Jatuh di antara dua tingkat itu informatif, bukan masalah.
Kamu ingin menggabungkan beberapa penilaian dengan bobot yang kamu kendalikan, alih-alih mengajukan satu pertanyaan samar tentang kualitas keseluruhan.

Pakai yang lain ketika

Opsinya tidak berurutan. Choice adalah bentuk yang jujur untuk kategori tak berurutan.
Kamu tidak bisa mendeskripsikan tingkatannya secara jelas berbeda. Pakai sebanyak yang bisa kamu deskripsikan dan tidak lebih — tingkat tanpa deskripsi tidak memberi model apa pun untuk dicocokkan.

Dua lainnya

Noul

Noul adalah satu dari tiga jenis pertanyaan dalam model Jev milik TypeSafe. Ia mengajukan satu pertanyaan ya/tidak dan menjawab dengan probabilitas bahwa jawabannya ya, sebagai angka dari 0 sampai 1.

Choice

Choice adalah satu dari tiga jenis pertanyaan dalam model Jev milik TypeSafe. Ia memilih tepat satu opsi dari himpunan yang kamu tentukan dan mengembalikan pemenangnya, probabilitas untuk setiap opsi, serta nilai keyakinan.

Ajukan Score pada teksmu sendiri

Taman bermain mengirim apa pun yang kamu tempel ke Jev dan menggambar setiap jawaban. Tanpa akun, tanpa kunci.

Buka taman bermain