Dejev

Score — hodnocení podle stupnice v Jevu

Score je jeden ze tří typů otázek v modelu Jev od TypeSafe. Hodnotí vstup podle uspořádaných úrovní, které napíšete, a vrací hodnotu váženou pravděpodobností, která může padnout mezi dvě úrovně.

Score je stupnice. Napíšete úrovně v pořadí, od nejnižší, slovy — a odpověď je poloha na té stupnici, číslovaná od 0. Protože jde o pravděpodobností vážený průměr úrovní, může padnout, a často padá, mezi dvě z nich.

Úrovně popisujte, nečíslujte je. Vlastní dokumentace TypeSafe ukazuje, jak stejný vstup čistě boduje proti třem popsaným úrovním a jak se pravděpodobnost rozštěpí, když dostane holá čísla: bez něčeho, s čím porovnávat, nemá model z čeho usuzovat.

Skutečná odpověď

Odesláno na jev-1.13.0. Čísla níže jsou to, co se vrátilo.

State

Od 4.2.0 se export do CSV potichu utne na 1000 řádcích. Žádná chyba se nezobrazí. Návrat na starší verzi to spraví. Zreprodukováno na dvou účtech. Tohle nám rozbíjí měsíční uzávěrku.

Otázka

Jak vážný je tento problém?

70 %
střední
2.35 z 4 · Vážný, jeden pracovní postup je rozbitý

2,35 leží těsně za „jeden pracovní postup je rozbitý“ — ale čtěte rozdělení, ne číslo. 77 % sedí na úrovni 2, a přesto 13 % vyšplhá až na úroveň 4, protože tiché useknutí opravdu může být ztráta dat. Průměr 2,35 a úzký vrchol na 2,35 jsou různé odpovědi a rozliší je jedině `probabilities`.

Požadavek a odpověď doslova
Požadavek
{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}
Odpověď
{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Co odpověď obsahuje

type "score"
Odpovídá typu otázky.
score number
Pravděpodobností vážený průměr čísel úrovní. U pěti úrovní běží od 0 do 4 a může padnout mezi úrovně.
legend map<string, string>
Každé číslo úrovně namapované zpět na popis, který jste napsali.
probabilities map<string, number>
Každá úroveň s její pravděpodobností. V součtu 1.
confidence number
0 až 1. Jediný vrchol na jedné úrovni je vysoká; pravděpodobnost rozprostřená přes úrovně je nízká.

Pravidla a limity

  • criteria je uspořádané pole popisů úrovní, od spodního konce. Potřebuje alespoň dvě úrovně a bere až deset.
  • Číslo úrovně je její pozice v poli, počítáno od 0.
  • Různá rozdělení dávají stejné skóre: 1,0 může znamenat, že veškerá pravděpodobnost sedí na úrovni 1, nebo že se dělí rovnoměrně mezi úrovně 0 a 2. Čtěte vedle toho probabilities a confidence.

Sáhněte po Score, když

  • Odpovědi jsou příčky jednoho žebříku — závažnost, naléhavost, frustrace, kvalita, riziko.
  • Padnout mezi dvě úrovně je informace, ne problém.
  • Chcete složit několik hodnocení s váhami, které si řídíte, místo jedné mlhavé otázky na celkovou kvalitu.

Vezměte něco jiného, když

  • Možnosti nejsou uspořádané. Pro neuspořádané kategorie je poctivým tvarem Choice.
  • Nedokážete úrovně popsat odlišně. Vezměte jich tolik, kolik dokážete popsat, a ani o jednu víc — nepopsané úrovně nedají modelu nic, s čím porovnávat.

Zbylé dva

Noul

Noul je jeden ze tří typů otázek v modelu Jev od TypeSafe. Klade jedinou otázku ano/ne a odpovídá pravděpodobností, že odpověď zní ano, jako číslem od 0 do 1.

Choice

Choice je jeden ze tří typů otázek v modelu Jev od TypeSafe. Vybere přesně jednu možnost z množiny, kterou určíte, a vrátí vítěze, pravděpodobnost pro každou možnost a hodnotu jistoty.

Položte Score vlastnímu textu

Hřiště pošle Jevu všechno, co vložíte, a nakreslí každou odpověď. Bez účtu, bez klíče.

Otevřít hřiště