Dejev

Score — calificar contra una rúbrica en Jev

Un Score es uno de los tres tipos de pregunta del modelo Jev de TypeSafe. Califica la entrada contra niveles ordenados que tú escribes y devuelve un valor ponderado por probabilidad que puede caer entre dos niveles.

Un Score es una rúbrica. Escribes los niveles en orden, de menor a mayor, con palabras, y la respuesta es una posición en esa escala, numerada desde 0. Como es una media ponderada por probabilidad de los niveles, puede caer —y a menudo cae— entre dos de ellos.

Describe los niveles en lugar de numerarlos. La propia documentación de TypeSafe muestra la misma entrada puntuando limpiamente contra tres niveles descritos y repartiendo su probabilidad cuando se le dan números pelados: sin nada contra lo que comparar, el modelo no tiene desde dónde razonar.

Una respuesta real

Enviada a jev-1.13.0. Los números de abajo son lo que volvió.

El state

La exportación a CSV se corta en silencio a las 1000 filas desde la 4.2.0. No se muestra ningún error. Bajar de versión lo arregla. Reproducido en dos cuentas. Esto nos rompe el cierre de mes.

La pregunta

¿Cómo de grave es este problema?

70 %
media
2.35 de 4 · Importante, hay un flujo de trabajo roto

2,35 queda justo por encima de «hay un flujo de trabajo roto», pero lee la distribución y no el número. El 77 % está en el nivel 2 y, aun así, un 13 % se va hasta el nivel 4, porque un truncado silencioso sí puede ser pérdida de datos. Una media de 2,35 y un pico estrecho en 2,35 son respuestas distintas, y solo `probabilities` las diferencia.

La petición y la respuesta, literales
Petición
{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}
Respuesta
{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Qué contiene la respuesta

type "score"
Coincide con el tipo de pregunta.
score number
La media ponderada por probabilidad de los números de nivel. Con cinco niveles va de 0 a 4, y puede caer entre niveles.
legend map<string, string>
Cada número de nivel devuelto a la descripción que escribiste.
probabilities map<string, number>
Cada nivel con su probabilidad. Suman 1.
confidence number
De 0 a 1. Un único pico en un nivel es alta; la probabilidad repartida entre niveles es baja.

Reglas y límites

  • criteria es una lista ordenada de descripciones de nivel, de menor a mayor. Necesita al menos dos niveles y admite hasta diez.
  • El número de un nivel es su posición en la lista, empezando en 0.
  • Distribuciones distintas producen la misma puntuación: 1,0 puede significar que toda la probabilidad está en el nivel 1, o que se reparte a partes iguales entre los niveles 0 y 2. Lee probabilities y confidence junto a ella.

Recurre a un Score cuando

  • Las respuestas son peldaños de una misma escalera: gravedad, urgencia, frustración, calidad, riesgo.
  • Caer entre dos niveles es informativo y no un problema.
  • Quieres combinar varias calificaciones con pesos que controlas tú, en lugar de hacer una pregunta vaga sobre la calidad general.

Usa otra cosa cuando

  • Las opciones no están ordenadas. Un Choice es la forma honesta para categorías sin orden.
  • No puedes describir los niveles de forma distinta. Usa tantos como puedas describir y ni uno más: los niveles sin descripción no le dan al modelo nada contra lo que comparar.

Los otros dos

Noul

Un Noul es uno de los tres tipos de pregunta del modelo Jev de TypeSafe. Hace una única pregunta de sí/no y responde con la probabilidad de que la respuesta sea sí, como un número de 0 a 1.

Choice

Un Choice es uno de los tres tipos de pregunta del modelo Jev de TypeSafe. Elige exactamente una opción de un conjunto que tú defines y devuelve la ganadora, una probabilidad para cada opción y un valor de confianza.

Hazle un Score a tu propio texto

El patio de juegos envía a Jev lo que pegues y dibuja cada respuesta. Sin cuenta y sin clave.

Abrir el patio de juegos