Score — vurdering mot et kriterium i Jev

En Score er en av de tre spørsmålstypene i TypeSafes Jev-modell. Den vurderer inndataene mot ordnede nivåer du skriver, og returnerer en sannsynlighetsvektet verdi som kan lande mellom to nivåer.

En Score er et kriterium. Du skriver nivåene i rekkefølge, laveste først, med ord — og svaret er en posisjon på den skalaen, nummerert fra 0. Fordi det er et sannsynlighetsvektet gjennomsnitt av nivåene, kan det, og gjør ofte, lande mellom to av dem.

Beskriv nivåene i stedet for å nummerere dem. TypeSafes egen dokumentasjon viser de samme inndataene få rene poeng mot tre beskrevne nivåer og dele sannsynligheten sin når de bare får tall: uten noe å matche mot har modellen ingenting å resonnere fra.

Et ekte svar

Sendt til jev-1.13.0. Tallene nedenfor er det som kom tilbake.

Tilstanden

CSV-eksporten kutter stille ved 1000 rader siden 4.2.0. Ingen feil vises. Nedgradering løser det. Reprodusert på to kontoer. Dette ødelegger månedsavslutningen vår.

Spørsmålet

Hvor alvorlig er dette problemet?

70 %

middels

2.35 av 4 · Større, en arbeidsflyt er ødelagt

2.35

0 Kosmetisk 0 %
1 Mindre, har en omvei 0 %
2 Større, en arbeidsflyt er ødelagt 77 %
3 Kritisk, kjernefunksjonalitet er ubrukelig 10 %
4 Katastrofal, datatap eller sikkerhetshull 13 %

2,35 ligger like forbi «en arbeidsflyt er ødelagt» — men les fordelingen i stedet for tallet. 77 % ligger på nivå 2, og likevel ligger 13 % helt oppe på nivå 4, fordi stille avkutting faktisk kan være datatap. Et gjennomsnitt på 2,35 og en smal topp ved 2,35 er ulike svar, og bare `probabilities` skiller dem.

Forespørselen og svaret, ordrett

Forespørsel

{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}

Svar

{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Hva svaret inneholder

type "score": Samsvarer med spørsmålstypen.
score number: Det sannsynlighetsvektede gjennomsnittet av nivånumrene. For fem nivåer går det fra 0 til 4, og det kan lande mellom nivåer.
legend map<string, string>: Hvert nivånummer knyttet tilbake til beskrivelsen du skrev.
probabilities map<string, number>: Hvert nivå knyttet til sin sannsynlighet. De summerer til 1.
confidence number: 0 til 1. Én topp på ett nivå er høy; sannsynlighet spredt over nivåer er lav.

Regler og grenser

criteria er en ordnet liste med nivåbeskrivelser, laveste ende først. Den trenger minst to nivåer og tar opptil ti.
Nummeret til et nivå er posisjonen i listen, med start på 0.
Ulike fordelinger gir samme poengsum: 1,0 kan bety at all sannsynlighet ligger på nivå 1, eller at den er delt likt mellom nivå 0 og 2. Les probabilities og confidence ved siden av.

Grip til en Score når

Svarene er trinn på én og samme stige — alvor, hastverk, frustrasjon, kvalitet, risiko.
Å lande mellom to nivåer er informativt heller enn et problem.
Du vil kombinere flere vurderinger med vekter du styrer, i stedet for å stille ett vagt spørsmål om samlet kvalitet.

Bruk noe annet når

Alternativene er ikke ordnede. En Choice er den ærlige formen for uordnede kategorier.
Du klarer ikke å beskrive nivåene tydelig atskilt. Bruk så mange du kan beskrive og ikke flere — ubeskrevne nivåer gir modellen ingenting å matche mot.

De to andre

Noul

En Noul er en av de tre spørsmålstypene i TypeSafes Jev-modell. Den stiller ett ja/nei-spørsmål og svarer med sannsynligheten for at svaret er ja, som et tall fra 0 til 1.

Choice

En Choice er en av de tre spørsmålstypene i TypeSafes Jev-modell. Den velger nøyaktig ett alternativ fra et sett du definerer, og returnerer vinneren, en sannsynlighet for hvert alternativ og en tillitsverdi.

Still en Score om din egen tekst

Lekeplassen sender alt du limer inn til Jev og tegner opp hvert svar. Ingen konto, ingen nøkkel.

Åpne lekeplassen