Score — gegen eine Skala bewerten in Jev

Ein Score ist einer der drei Fragetypen im Jev-Modell von TypeSafe. Er bewertet die Eingabe anhand geordneter Stufen, die Sie schreiben, und gibt einen wahrscheinlichkeitsgewichteten Wert zurück, der zwischen zwei Stufen landen kann.

Ein Score ist eine Skala. Sie schreiben die Stufen der Reihe nach, die niedrigste zuerst, in Worten — und die Antwort ist eine Position auf dieser Skala, ab 0 nummeriert. Da es ein wahrscheinlichkeitsgewichteter Mittelwert der Stufen ist, kann er zwischen zweien landen und tut es oft.

Beschreiben Sie die Stufen, statt sie zu nummerieren. Die Dokumentation von TypeSafe zeigt selbst, wie dieselbe Eingabe gegen drei beschriebene Stufen sauber bewertet wird und ihre Wahrscheinlichkeit aufsplittet, wenn es nur nackte Zahlen gibt: Ohne etwas zum Abgleichen hat das Modell nichts, woraus es schließen könnte.

Eine echte Antwort

An jev-1.13.0 gesendet. Die Zahlen unten sind das, was zurückkam.

Der State

Der CSV-Export bricht seit 4.2.0 stillschweigend bei 1000 Zeilen ab. Keine Fehlermeldung. Ein Downgrade behebt es. Auf zwei Konten reproduziert. Das zerlegt unseren Monatsabschluss.

Die Frage

Wie schwerwiegend ist dieses Problem?

70 %

mittel

2.35 von 4 · Erheblich, ein Arbeitsablauf ist kaputt

2.35

0 Kosmetisch 0 %
1 Gering, mit Umgehung 0 %
2 Erheblich, ein Arbeitsablauf ist kaputt 77 %
3 Kritisch, die Kernfunktion ist unbrauchbar 10 %
4 Katastrophal, Datenverlust oder Sicherheitslücke 13 %

2,35 liegt knapp hinter „ein Arbeitsablauf ist kaputt“ — lesen Sie aber die Verteilung statt der Zahl. 77 % liegen auf Stufe 2, und trotzdem sitzen 13 % ganz oben auf Stufe 4, denn stilles Abschneiden kann wirklich Datenverlust sein. Ein Mittelwert von 2,35 und eine enge Spitze bei 2,35 sind verschiedene Antworten, und nur `probabilities` unterscheidet sie.

Anfrage und Antwort, wörtlich

Anfrage

{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}

Antwort

{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Was die Antwort enthält

type "score": Entspricht dem Fragetyp.
score number: Der wahrscheinlichkeitsgewichtete Mittelwert der Stufennummern. Bei fünf Stufen reicht er von 0 bis 4 und kann zwischen Stufen landen.
legend map<string, string>: Jede Stufennummer zurückgeführt auf die Beschreibung, die Sie geschrieben haben.
probabilities map<string, number>: Jede Stufe mit ihrer Wahrscheinlichkeit. Sie summieren sich zu 1.
confidence number: 0 bis 1. Eine einzelne Spitze auf einer Stufe ist hoch; über Stufen verteilte Wahrscheinlichkeit ist niedrig.

Regeln und Grenzen

criteria ist ein geordnetes Feld von Stufenbeschreibungen, das untere Ende zuerst. Es braucht mindestens zwei Stufen und nimmt bis zu zehn.
Die Nummer einer Stufe ist ihre Position im Feld, beginnend bei 0.
Verschiedene Verteilungen ergeben denselben Score: 1,0 kann heißen, dass die ganze Wahrscheinlichkeit auf Stufe 1 liegt, oder dass sie sich gleichmäßig auf die Stufen 0 und 2 verteilt. Lesen Sie probabilities und confidence daneben.

Greifen Sie zu einem Score, wenn

Die Antworten sind Sprossen einer Leiter — Schwere, Dringlichkeit, Frustration, Qualität, Risiko.
Zwischen zwei Stufen zu landen ist aufschlussreich statt ein Problem.
Sie wollen mehrere Bewertungen mit selbst bestimmten Gewichten kombinieren, statt eine vage Frage nach der Gesamtqualität zu stellen.

Nehmen Sie etwas anderes, wenn

Die Optionen sind nicht geordnet. Für ungeordnete Kategorien ist ein Choice die ehrliche Form.
Sie können die Stufen nicht klar voneinander abgrenzen. Nehmen Sie so viele, wie Sie beschreiben können, und nicht mehr — unbeschriebene Stufen geben dem Modell nichts zum Abgleichen.

Die anderen beiden

Noul

Ein Noul ist einer der drei Fragetypen im Jev-Modell von TypeSafe. Er stellt eine einzelne Ja/Nein-Frage und antwortet mit der Wahrscheinlichkeit, dass die Antwort Ja lautet, als Zahl von 0 bis 1.

Choice

Ein Choice ist einer der drei Fragetypen im Jev-Modell von TypeSafe. Er wählt genau eine Option aus einer Menge, die Sie definieren, und gibt die Gewinnerin, eine Wahrscheinlichkeit für jede Option und einen Konfidenzwert zurück.

Stellen Sie Ihrem eigenen Text ein Score

Der Spielplatz schickt alles, was Sie einfügen, an Jev und zeichnet jede Antwort. Kein Konto, kein Schlüssel.

Spielplatz öffnen