Dejev

Score — оценка по шкале в Jev

Score — один из трёх типов вопросов в модели Jev от TypeSafe. Он оценивает вход по упорядоченным уровням, которые пишете вы, и возвращает взвешенное по вероятностям значение, способное попасть между двумя уровнями.

Score — это шкала. Вы пишете уровни по порядку, от низшего, словами, и ответ — позиция на этой шкале, пронумерованная с 0. Поскольку это взвешенное по вероятностям среднее уровней, оно может попасть — и часто попадает — между двумя из них.

Описывайте уровни, а не нумеруйте их. Собственная документация TypeSafe показывает, как один и тот же вход чисто оценивается по трём описанным уровням и как вероятность расщепляется, если дать голые числа: без того, с чем сверяться, модели не от чего рассуждать.

Настоящий ответ

Отправлено в jev-1.13.0. Числа ниже — это то, что вернулось.

State

Начиная с 4.2.0 экспорт в CSV молча обрывается на 1000 строк. Ошибка не показывается. Откат версии помогает. Воспроизведено на двух аккаунтах. Это ломает нам закрытие месяца.

Вопрос

Насколько серьёзна эта проблема?

70 %
средняя
2.35 из 4 · Серьёзно, сломан рабочий процесс

2,35 стоит чуть дальше «сломан рабочий процесс», но читайте распределение, а не число. 77% лежат на уровне 2, и всё же 13% забираются на уровень 4, потому что молчаливое обрезание действительно может быть потерей данных. Среднее 2,35 и узкий пик на 2,35 — разные ответы, и различает их только `probabilities`.

Запрос и ответ дословно
Запрос
{
  "state": "CSV export silently truncates at 1000 rows since 4.2.0. No error shown. Downgrading fixes it. Reproduced on two accounts. This breaks our month-end close.",
  "model": "jev-latest",
  "questions": {
    "severity": {
      "type": "score",
      "instructions": "How severe is this issue?",
      "criteria": [
        "Cosmetic",
        "Minor, has a workaround",
        "Major, a workflow is broken",
        "Critical, core functionality is unusable",
        "Catastrophic, data loss or a security hole"
      ]
    }
  }
}
Ответ
{
  "model": "jev-1.13.0",
  "answers": {
    "severity": {
      "type": "score",
      "score": 2.35,
      "confidence": 0.7,
      "legend": {
        "0": "Cosmetic",
        "1": "Minor, has a workaround",
        "2": "Major, a workflow is broken",
        "3": "Critical, core functionality is unusable",
        "4": "Catastrophic, data loss or a security hole"
      },
      "probabilities": {
        "0": 0,
        "1": 0,
        "2": 0.77,
        "3": 0.1,
        "4": 0.13
      }
    }
  }
}

Что содержит ответ

type "score"
Совпадает с типом вопроса.
score number
Взвешенное по вероятностям среднее номеров уровней. Для пяти уровней — от 0 до 4, и может попадать между уровнями.
legend map<string, string>
Каждый номер уровня, сопоставленный обратно с написанным вами описанием.
probabilities map<string, number>
Каждый уровень с его вероятностью. В сумме — 1.
confidence number
От 0 до 1. Одиночный пик на одном уровне — высокая; вероятность, размазанная по уровням, — низкая.

Правила и ограничения

  • criteria — упорядоченный массив описаний уровней, снизу вверх. Нужно минимум два уровня, максимум десять.
  • Номер уровня — это его позиция в массиве, начиная с 0.
  • Разные распределения дают один и тот же балл: 1,0 может означать, что вся вероятность лежит на уровне 1, или что она поровну разделена между уровнями 0 и 2. Читайте рядом probabilities и confidence.

Берите Score, когда

  • Ответы — ступени одной лестницы: серьёзность, срочность, раздражение, качество, риск.
  • Попадание между двумя уровнями — это информация, а не проблема.
  • Вы хотите сложить несколько оценок с весами, которыми управляете сами, вместо одного расплывчатого вопроса об общем качестве.

Возьмите другое, когда

  • Варианты не упорядочены. Для неупорядоченных категорий честная форма — Choice.
  • Вы не можете описать уровни раздельно. Возьмите столько, сколько можете описать, и ни одним больше: неописанные уровни не дают модели того, с чем сверяться.

Два остальных

Noul

Noul — один из трёх типов вопросов в модели Jev от TypeSafe. Он задаёт один вопрос «да/нет» и отвечает вероятностью того, что ответ — «да», числом от 0 до 1.

Choice

Choice — один из трёх типов вопросов в модели Jev от TypeSafe. Он выбирает ровно один вариант из заданного вами набора и возвращает победителя, вероятность для каждого варианта и значение уверенности.

Задайте Score собственному тексту

Песочница отправляет в Jev всё, что вы вставите, и рисует каждый ответ. Без аккаунта и без ключа.

Открыть песочницу