Score — การให้คะแนนตามเกณฑ์ใน Jev

Score เป็นหนึ่งในสามชนิดคำถามของโมเดล Jev จาก TypeSafe มันให้คะแนนอินพุตตามระดับที่เรียงลำดับซึ่งคุณเขียนเอง แล้วคืนค่าที่ถ่วงน้ำหนักด้วยความน่าจะเป็น ซึ่งตกอยู่ระหว่างสองระดับได้

Score คือเกณฑ์ คุณเขียนระดับต่าง ๆ เรียงตามลำดับ เริ่มจากต่ำสุด เป็นถ้อยคำ และคำตอบคือตำแหน่งบนสเกลนั้น นับหมายเลขจาก 0 เนื่องจากมันเป็นค่าเฉลี่ยถ่วงน้ำหนักด้วยความน่าจะเป็นของระดับต่าง ๆ มันจึงตกอยู่ระหว่างสองระดับได้ และมักเป็นเช่นนั้น

ให้บรรยายระดับแทนการใส่หมายเลข เอกสารของ TypeSafe เองแสดงว่าอินพุตเดียวกันได้คะแนนชัดเจนเมื่อเทียบกับสามระดับที่มีคำบรรยาย แต่กระจายความน่าจะเป็นออกเมื่อได้รับเพียงตัวเลขเปล่า ๆ เมื่อไม่มีอะไรให้จับคู่ด้วย โมเดลก็ไม่มีอะไรให้ใช้คิด

คำตอบจริง

ส่งไปยัง jev-1.13.0 ตัวเลขด้านล่างคือสิ่งที่กลับมา

สถานะ

การส่งออก CSV ตัดข้อมูลเงียบ ๆ ที่ 1000 แถวมาตั้งแต่ 4.2.0 ไม่มีข้อผิดพลาดแสดง การลดเวอร์ชันลงแก้ได้ ทำซ้ำได้บนสองบัญชี เรื่องนี้ทำให้การปิดบัญชีสิ้นเดือนของเราพัง

คำถาม

ปัญหานี้ร้ายแรงแค่ไหน

70%
ปานกลาง
2.35 จาก 4 · ใหญ่ กระบวนการทำงานหนึ่งพัง

2.35 อยู่ถัดจาก “กระบวนการทำงานหนึ่งพัง” ไปนิดเดียว แต่ให้อ่านการแจกแจงแทนตัวเลข 77% อยู่ที่ระดับ 2 แต่ยังมี 13% ขึ้นไปอยู่ถึงระดับ 4 เพราะการตัดข้อมูลเงียบ ๆ เป็นการสูญหายของข้อมูลได้จริง ค่าเฉลี่ย 2.35 กับยอดแหลมแคบที่ 2.35 เป็นคำตอบคนละแบบ และมีเพียง `probabilities` เท่านั้นที่แยกมันออก

คำขอและการตอบกลับ ตามตัวอักษร
คำขอ
{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}
การตอบกลับ
{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

คำตอบมีอะไรอยู่ข้างใน

type "score"
ตรงกับชนิดของคำถาม
score number
ค่าเฉลี่ยถ่วงน้ำหนักด้วยความน่าจะเป็นของหมายเลขระดับ สำหรับห้าระดับมันวิ่งจาก 0 ถึง 4 และตกอยู่ระหว่างระดับได้
legend map<string, string>
หมายเลขระดับแต่ละอันจับคู่กลับไปยังคำบรรยายที่คุณเขียน
probabilities map<string, number>
แต่ละระดับจับคู่กับความน่าจะเป็นของมัน รวมกันได้ 1
confidence number
0 ถึง 1 ยอดแหลมเดียวบนระดับเดียวคือสูง ความน่าจะเป็นที่กระจายข้ามหลายระดับคือต่ำ

กฎและข้อจำกัด

  • criteria เป็นอาร์เรย์เรียงลำดับของคำบรรยายระดับ โดยปลายต่ำสุดมาก่อน ต้องมี อย่างน้อยสองระดับ และรับได้ถึงสิบ
  • หมายเลขของระดับคือตำแหน่งของมันในอาร์เรย์ เริ่มนับที่ 0
  • การแจกแจงต่างกันให้คะแนนเท่ากันได้ ค่า 1.0 อาจหมายถึงความน่าจะเป็นทั้งหมดอยู่ที่ระดับ 1 หรือแบ่งเท่า ๆ กันระหว่างระดับ 0 กับ 2 ให้อ่าน probabilities และ confidence ควบคู่ไปด้วย

หยิบ Score มาใช้เมื่อ

  • คำตอบเป็นขั้นบนบันไดเดียวกัน เช่น ความร้ายแรง ความเร่งด่วน ความหงุดหงิด คุณภาพ ความเสี่ยง
  • การตกอยู่ระหว่างสองระดับเป็นข้อมูลที่มีประโยชน์ ไม่ใช่ปัญหา
  • คุณอยากรวมหลายคะแนนเข้าด้วยกันด้วยน้ำหนักที่คุณควบคุมเอง แทนที่จะถามคำถามคลุมเครือข้อเดียวเกี่ยวกับคุณภาพโดยรวม

ใช้อย่างอื่นเมื่อ

  • ตัวเลือกไม่ได้เรียงลำดับ Choice คือรูปแบบที่ซื่อตรงสำหรับหมวดหมู่ที่ไม่เรียงลำดับ
  • คุณบรรยายระดับให้แตกต่างกันชัดเจนไม่ได้ ให้ใช้เท่าที่คุณบรรยายได้และไม่มากกว่านั้น ระดับที่ไม่มีคำบรรยายไม่ได้ให้อะไรแก่โมเดลไว้จับคู่เลย

อีกสองแบบ

ถาม Score กับข้อความของคุณเอง

สนามทดลองส่งทุกอย่างที่คุณวางไปให้ Jev แล้ววาดทุกคำตอบออกมา ไม่ต้องมีบัญชี ไม่ต้องมีคีย์

เปิดสนามทดลอง