Как измерить эффективность обучения? Ответ на этот вопрос был дан ещё в 1954 году, когда Дональдом Киркпатриком была создана модель оценки эффективности тренинга. До сих пор эта модель остаётся одной из самой известных и используемых. Как объясняет её создатель, это потому что она понятна и проста.
Модель Киркпатрика позволяет управлять эффективностью любых обучающих мероприятий, бизнес-мероприятий по моделированию, таких как сессии фасилитации или деловые игры, а также всего обучающего процесса.
Кто такой Киркпатрик и в чём суть модели — разберёмся.
Дональд Киркпатрик — учёный, американский профессор университета штата Висконсин. Свою модель четырёх уровней он представил, защищая кандидатскую диссертацию об эффективности управления программами.
Цикл обучения исследователь разделил на четыре уровня: реакция — обучение — поведение — результаты. Суть модели оценки — в разделении учебного процесса на 4 уровня, каждый из которых требует своей оценки и своего подхода к оцениванию.
Это, по мнению автора модели, позволит применять полученные навыки на рабочем месте, добиваясь максимальных показателей от обучения. О том, что все это значит — узнаем дальше.
Первый уровень — "реакция"
Чем выше уровень достигнут — тем выше качество обучения, его возможность и, что важно, его результаты. При низком качестве первого уровня невозможен второй и последующие.
На каждом уровне своя оценка. Первый уровень — начальный. На этом уровне важно выяснить реакцию участников на обучение.
Основное, что нужно оценить на первом уровне — как участники реагируют на обучение. Ключевой вопрос: понравилось ли участникам обучение?
Реакция может быть разной, участник, к примеру, может определить, нравится ли ему обучение или как будут использоваться полученные знания. Чтобы сделать оценку, используют:
- Листы реагирования (улыбок, реакций).
- Интервьюирование.
- Фокус-группы.
Листы реагирования
Листы реагирования составляются таким образом, чтобы получить как можно больше полезной информации. Обычно они включают в себя по 8–15 вопросов. Вопросы для наилучшего результата должны быть нескольких типов: открытые и со шкалой. Шкала позволит сравнивать реакцию разных участников. Каждый вопрос желательно снабдить местом для комментария.
Спрашивать можно о своих впечатлениях от мероприятия или процесса, о тренере — эффективен ли тренер и его методы, о задачах — насколько они соответствуют целям организации, о доступности материала и о пожеланиях по улучшению программы.
Такое анкетирование лучше всего проводить анонимно — это поможет собрать более открытое и развёрнутое мнение.
Интервью
С каждым участником курса кроме анкетирования проводят интервью — это помогает получить более развёрнутую картину обратной связи.
Фокус-группы
Фокус-группы проводятся "для разведки", чтобы проверить эффективность пилотных проектов. После проведения мероприятий участникам нужно дать неделю, после чего собрать их для обмена мнениями. Через 90 дней после проведения их собирают с той же целью второй раз.
Основные вопросы, помогающие оценить первый уровень курса:
- Кому подойдёт этот курс?
- Какие методы будут эффективными?
- Когда нужно проводить курс?
- Что получат участники в итоге?
- Как можно будет применить его результаты на рабочих местах?
Оценка первого уровня — это реакция на курс, которая, по мнению автора модели, играет немаловажную роль в результативности курса или фасилитации.
Второй уровень — "обучение"
На втором уровне оценивается эффективность усвоения знаний и изменений, происходящих с участниками. Оценка проводится в конце курса.
Этот уровень предполагает оценку того, в какой мере участники усвоили новую информацию. Оценка выявляет, как изменились их знания и какие установки выработались под конец процесса обучения, а также насколько значительны эти изменения. Для этого используются проверочные задания, опросники, тесты.
Основные инструменты оценки второго уровня модели:
- Тесты на знание материала курса.
- Листы проверки приобретённых умений.
- Составление личного плана действий.
- Обучение коллег.
Рассмотрим каждый.
Тестирование
Для тестирования уровня полученных знаний может использоваться любой тип теста:
- Традиционные — из заданий, правил и оценок.
- Интегративные — затрагивающие сразу несколько дисциплин.
- Адаптивные — по уровням сложности.
Лист проверки умений
Лист проверки умений заполняется лицом, собирающим данные. В ходе беседы с участником курса он выявляет уровень его умений и навыков, заполняет в листе оценку от 1 до 3 и свои комментарии.
Оценка ставится согласно критериям:
- неспособность применить умение.
- правильное применение умения.
- экспертное применение умения.
Составление плана действий
Умение составить план применения полученных знаний — один из показателей уровня курса. Для составления такого плана участникам предлагаются вопросы:
- Что вы наметили сделать?
- Что хотели бы научиться делать?
- Что может стать помехой?
- Как собираетесь преодолевать помехи?
- Какая поддержка может понадобиться в связи с осуществлением намеченных действий?
- Каких результатов ждёте?
Обучение других сотрудников
Тренинг, мастер-класс, деловая игра или фасилитация по запуску проекта, любой процесс управления изменениями — все это прибавляет навыков и обогащает человека новыми знаниями, которые важно использовать. Для этого полученные знания нужно закреплять. Обучение других — отличный способ закрепления полученного опыта и инструмент оценки второго уровня модели.
Чтобы сделать оценку эффективности курса с помощью этого метода, участникам предлагают провести презентации для коллег или помочь своим сотрудникам адаптироваться. Участник курса может посетить групповое обучение в парах.
Д. Киркпатрик считает, что эффективность процесса обучения всегда проявляется в видимых изменениях после обучения. В случае удачного обучения участник меняет установки, подходы, навыки, и это заметно. Это будет заметно и по поведению.
Третий уровень — "поведение"
Эффективность третьего уровня можно определить путём выявления различий в поведении "до" и "после" обучающих мероприятий. Если обучение прошло успешно — поведение участника на рабочем месте станет другим.
Часто управление эффективностью обучения сосредотачивается только на первых двух уровнях и останавливается, не дойдя до третьего. Но это значит, что в итоге обучение не оставило после себя значимого следа.
В рамках оценивания эффективности третьего уровня обучения необходимо оценить, как участники применяют полученные знания и навыки на своём рабочем месте.
Ключевым будет вопрос: изменили ли участники обучения своё поведение после курса?
Для оценки используются следующие инструменты:
- Контрольный лист поведения.
- Обзор поведения.
- Наблюдение за работой сотрудников на рабочем месте.
- Проверка планов действий.
- Обучение навыкам.
- Фокус-группы.
Обзорное тестирование может содержать вопросы о том, получил ли участник новые знания, какова степень улучшений, как быстро смог участник применить полученные знания в работе и если ещё не применяет, то по какой причине.
Д. Киркпатрик обращает наше внимание на то, что отсутствие изменений ещё не значит, что обучение прошло неудачно. Бывают случаи, и их важно определить, что изменения на рабочем месте не наступили, потому что там не были созданы благоприятные для этого условия.
Оценивание будет недостаточным, если не будет включать вопросы участникам:
- Есть ли у вас желание меняться?
- Понимаете ли вы, как это сделать?
- Есть ли для этого соответствующие социально-психологические условия?
- Ожидаются ли поощрения за изменения?
Четёртый уровень — "результаты"
Цель уровня — оценка достижения намеченных результатов. Речь идёт об экономической эффективности обучения. Измерять нужно бизнес-показатели организации. Оценка четвёртого уровня требует предварительных замеров показателей, и, соответственно предварительного определения норм. Если это фасилитация по запуску проекта, то можно сравнивать ситуацию "до", или подобную ситуацию без применения фасилитации.
Кроме того, оценка результатов проводится и во время мероприятия, а также через какое-то время, когда результаты можно будет определить.
Необходимо оценить, какова степень достижения экономических и других результатов. Ключевым в оценке четвёртого уровня будет вопрос: повлияли ли положительно на организацию результаты мероприятия?
В начальном варианте модель ограничивалась четырьмя уровнями. В таком виде модель появилась во многих организациях в качестве стандарта оценивания уровня корпоративного обучения. Автор модели постоянно проводил исследования в этом направлении, выпустил несколько книг, и со временем изменил алгоритм работы с моделью. Он предложил использовать модель в обратном порядке, начать с четвёртого уровня и закончить первым.
Таким образом он сделал упор на прогнозирование результатов и на бизнес-ожидания. При таком подходе специалисты, отвечающие за обучение, будут уделять больше внимания достижению ожидаемых результатов, тогда как раньше основное внимание было сфокусировано на процессе.
Прежде чем начинать обучение, которое бы гарантировало результаты, необходимо составить измеримые цели, определить ожидаемые показатели и понимание способа, которым будет определяться оценка.
Пятый уровень — ROI
Разработка пятого уровня модели оценки обучения принадлежит Джеку Филипсу.
Его модель предполагает определение оценки с точки зрения возврата средств, вложенных в обучение или управление изменениями. Модель Джека Филипса даёт ответ на вопрос, стоило ли вкладывать деньги в те или иные мероприятия.
В основе модели лежит показатель ROI ("возврат на инвестиции"). Он переводит результаты оценки четвёртого уровня в измеряемые величины, которые можно перевести в прибыль. Сумма прибыли сравнивается с затратами на мероприятия. ROI — это коэффициент, показывающий процентное соотношение полученной прибыли к вложенным затратам.
Модель Джека Филипса может показать прямую зависимость роста продуктивности сотрудников от вложенных в обучение средств. Это позволяет оправдать затраты на обучение, объяснить вложения и выгоду от них, сделать обучение экономически эффективным.
Модель Дональда Киркпатрика существует уже более 50 лет. Она чётко показывает, что обучение не всегда даёт результаты. Модель объясняет, по какой причине и на каком звене обучение было неэффективным. Однако многие специалисты по обучению приравнивают факт обучения к экспертному уровню участника курса. Использование модели Киркпатрика позволяет найти объяснения многим вопросам, связанным с обучением.
