Автор: Михаил Свердлов, CBDO Skypro, ex-Content Director Skyeng
Основная проблема при выборе метрик – попытка начать собирать все подряд, а потом с этим редко что-то делать.
На EdCrunch в рамках сессии «Как сделать так, чтобы большие данные работали?» я делился фреймворком, как подойти максимально осознанно к выбору метрик. В свое время вдохновился на этот подход в обсуждениях с Дианой Колесниковой.
Подход состоит из 7 вопросов, объединенные в 3 блока, которые слой за слоем снимают пену.
Блок вопросов «Что?»
1. На что я хочу повлиять: какое текущее состояние меня не устраивает, какие метрики я хочу изменить?
- важно понять, что мы уже знаем о текущем состоянии
- какие текущие показатели снимаем, а если не снимаем, то стартуем сначала с определения точки А и ее оцифровки в метрики
Примеры:
- LTV, COR, NPS, оценки, скорость прохождения материала, уменьшить/увеличить время взаимодействия с контентом и т. п.
Блок вопросов «Почему?»
2. Почему нам это важно?
- что произойдет, если мы не будем этого делать
- как это влияет на наши стратегические и тактические задачи
- есть ли эти изменения в наших KPI/OKR, и есть ли они у всех членов команды, которые потребуются для внедрения изменений
Примеры:
- мы понимаем, что без увеличения LTV учеников наша unit-экономика не показывает прибыльност
- мы понимаем, что текущий NPS и отзывы про наши программы не позволяют нам находить новых учеников в нужном объеме
- нас не устраивает качество образовательных результатов наших учеников
- мы не понимаем в текущем режиме, как ученики осваивают материал
3. Какие решения я буду принимать на основе данных?
по факту, мы находимся в цикле генерации гипотез по изменению метрик из п. 1 и реализации задач из п. 2
Примеры:
- менять контент уроков, корректировать программы обучения, обучать преподавателей, внедрять или изменять подходы донесения информации
Блок вопросов «Как?»
4. Какие данные нам нужны, чтобы принимать решения?
и какое минимальное кол-во данных для этого достаточно
Примеры:
- промежуточные оценки или результаты каждого конкретного действия ученика/преподавателя на платформе
- обратная связь по материалам урока от ученика
- результаты промежуточных тестов
- доля активности ученика и преподавателя на уроке
5. Как собирать эти данные и стоимость сбора этих данных
- после того, как мы определились со списком, настоятельно рекомендуется проверить стоимость сбора таких данных и тот эффект, который может быть получен по результатам их анализа, — возможно, это будет нецелесообразно
Примеры:
- данные с LMS
- видео/речевая аналитика
- обратная связь из опросов
Блок вопросов «Как?»
6. Как обрабатывать и представлять данные
Примеры:
- будет ли это факторный или корреляционный анализ, а может быть, кластеризация.
- на данном этапе настоятельно рекомендуется иметь аналитика в команде
7. Как я буду применять результаты и аналитические модели
Например:
- предиктивные модели
- рекомендательные системы
- управленческие дашборды
7 простых, но очень сложных шагов, которые вам помогут сохранить тысячи часов жизни и миллионы рублей непотраченных бюджетов не на то, что приведет вас к результату.
Небольшой словарь:
LMS — Learning Management System, система управления обучением
LTV — lifetime value, в маркетинге — прибыль, которую приносит пользователь за все время
COR — completion rate, доходимость курса до конца
NPS — индекс лояльности
KPI — ключевые показатели эффективности
Unit-экономика — экономическое моделирование для определения прибыльности
OKR — цели и ключевые результаты
MVP — минимально жизнеспособный продукт
Источник: тг-канал “Образование, которое мы заслужили”