Score — hodnotenie podľa stupnice v Jevu

Score je jeden z troch typov otázok v modeli Jev od TypeSafe. Hodnotí vstup podľa usporiadaných úrovní, ktoré napíšete, a vracia hodnotu váženú pravdepodobnosťou, ktorá môže padnúť medzi dve úrovne.

Score je stupnica. Napíšete úrovne v poradí, od najnižšej, slovami — a odpoveď je poloha na tej stupnici, číslovaná od 0. Keďže ide o pravdepodobnosťou vážený priemer úrovní, môže padnúť, a často padá, medzi dve z nich.

Úrovne popisujte, nečíslujte ich. Vlastná dokumentácia TypeSafe ukazuje, ako rovnaký vstup čisto boduje proti trom popísaným úrovniam a ako sa pravdepodobnosť rozštiepi, keď dostane holé čísla: bez niečoho, s čím porovnávať, nemá model z čoho usudzovať.

Skutočná odpoveď

Odoslané na jev-1.13.0. Čísla nižšie sú to, čo sa vrátilo.

State

Od 4.2.0 sa export do CSV potichu utne na 1000 riadkoch. Žiadna chyba sa nezobrazí. Návrat na staršiu verziu to spraví. Zreprodukované na dvoch účtoch. Toto nám rozbíja mesačnú uzávierku.

Otázka

Aký vážny je tento problém?

70 %
stredná
2.35 z 4 · Vážny, jeden pracovný postup je rozbitý

2,35 leží tesne za „jeden pracovný postup je rozbitý“ — ale čítajte rozdelenie, nie číslo. 77 % sedí na úrovni 2, a predsa 13 % vyšplhá až na úroveň 4, pretože tiché useknutie naozaj môže byť strata dát. Priemer 2,35 a úzky vrchol na 2,35 sú rôzne odpovede a rozlíši ich jedine `probabilities`.

Požiadavka a odpoveď doslovne
Požiadavka
{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}
Odpoveď
{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Čo odpoveď obsahuje

type "score"
Zodpovedá typu otázky.
score number
Pravdepodobnosťou vážený priemer čísel úrovní. Pri piatich úrovniach beží od 0 do 4 a môže padnúť medzi úrovne.
legend map<string, string>
Každé číslo úrovne namapované späť na popis, ktorý ste napísali.
probabilities map<string, number>
Každá úroveň s jej pravdepodobnosťou. V súčte 1.
confidence number
0 až 1. Jediný vrchol na jednej úrovni je vysoká; pravdepodobnosť rozprestretá cez úrovne je nízka.

Pravidlá a limity

  • criteria je usporiadané pole popisov úrovní, od spodného konca. Potrebuje aspoň dve úrovne a berie až desať.
  • Číslo úrovne je jej pozícia v poli, počítané od 0.
  • Rôzne rozdelenia dávajú rovnaké skóre: 1,0 môže znamenať, že všetka pravdepodobnosť sedí na úrovni 1, alebo že sa delí rovnomerne medzi úrovne 0 a 2. Čítajte popri tom probabilities a confidence.

Siahnite po Score, keď

  • Odpovede sú priečky jedného rebríka — závažnosť, naliehavosť, frustrácia, kvalita, riziko.
  • Padnúť medzi dve úrovne je informácia, nie problém.
  • Chcete zložiť niekoľko hodnotení s váhami, ktoré si riadite, namiesto jednej hmlistej otázky na celkovú kvalitu.

Vezmite niečo iné, keď

  • Možnosti nie sú usporiadané. Pre neusporiadané kategórie je poctivým tvarom Choice.
  • Nedokážete úrovne popísať odlišne. Vezmite ich toľko, koľko dokážete popísať, a ani o jednu viac — nepopísané úrovne nedajú modelu nič, s čím porovnávať.

Zvyšné dva

Položte Score vlastnému textu

Ihrisko pošle Jevu všetko, čo vložíte, a nakreslí každú odpoveď. Bez účtu, bez kľúča.

Otvoriť ihrisko