Prg67.ru

Онлайн вебинары
0 просмотров
Рейтинг статьи
1 звезда2 звезды3 звезды4 звезды5 звезд
Загрузка...

Оценка эффективности тренинга по киркпатрику

Уровни оценки эффективности обучения Дональда Киркпатрика

Как измерить эффективность обучения? Ответ на этот вопрос был дан ещё в 1954 году, когда Дональдом Киркпатриком была создана модель оценки эффективности тренинга. До сих пор эта модель остаётся одной из самой известных и используемых. Как объясняет её создатель, это потому что она понятна и проста.

Модель Киркпатрика позволяет управлять эффективностью любых обучающих мероприятий, бизнес-мероприятий по моделированию, таких как сессии фасилитации или деловые игры, а также всего обучающего процесса.

Кто такой Киркпатрик, и в чём суть модели — разберёмся.

Дональд Киркпатрик — учёный, американский профессор университета штата Висконсин. Свою модель четырёх уровней он представил, защищая кандидатскую диссертацию об эффективности управления программами.

Цикл обучения исследователь разделил на четыре уровня: реакция — обучение — поведение — результаты. Суть модели оценки — в разделении учебного процесса на 4 уровня, каждый из которых требует своей оценки и своего подхода к оцениванию.

Это, по мнению автора модели, позволит применять полученные навыки на рабочем месте, добиваясь максимальных показателей от обучения. О том, что все это значит — узнаем дальше.

Чем выше уровень достигнут — тем выше качество обучения, его возможность и, что важно, его результаты. При низком качестве первого уровня невозможен второй и последующие.

На каждом уровне своя оценка. Первый уровень — начальный. На этом уровне важно выяснить реакцию участников на обучение.

Основное, что нужно оценить на первом уровне — как участники реагируют на обучение. Ключевой вопрос: понравилось ли участникам обучение?

Реакция может быть разной, участник, к примеру, может определить, нравится ли ему обучение или как будут использоваться полученные знания. Чтобы сделать оценку, используют:

  • Листы реагирования (улыбок, реакций).
  • Интервьюирование.
  • Фокус-группы.

Листы реагирования составляются таким образом, чтобы получить как можно больше полезной информации. Обычно они включают в себя по 8–15 вопросов. Вопросы для наилучшего результата должны быть нескольких типов: открытые и со шкалой. Шкала позволит сравнивать реакцию разных участников. Каждый вопрос желательно снабдить местом для комментария.

Спрашивать можно о своих впечатлениях от мероприятия или процесса, о тренере — эффективен ли тренер и его методы, о задачах — насколько они соответствуют целям организации, о доступности материала и о пожеланиях по улучшению программы.

Такое анкетирование лучше всего проводить анонимно — это поможет собрать более открытое и развёрнутое мнение.

С каждым участником курса кроме анкетирования проводят интервью — это помогает получить более развёрнутую картину обратной связи.

Фокус-группы проводятся «для разведки», чтобы проверить эффективность пилотных проектов. После проведения мероприятий участникам нужно дать неделю, после чего собрать их для обмена мнениями. Через 90 дней после проведения их собирают с той же целью второй раз.

Основные вопросы, помогающие оценить первый уровень курса:

  • Кому подойдёт этот курс?
  • Какие методы будут эффективными?
  • Когда нужно проводить курс?
  • Что получат участники в итоге?
  • Как можно будет применить его результаты на рабочих местах?

Оценка первого уровня — это реакция на курс, которая, по мнению автора модели, играет немаловажную роль в результативности курса или фасилитации.

На втором уровне оценивается эффективность усвоения знаний и изменений, происходящих с участниками. Оценка проводится в конце курса.

Этот уровень предполагает оценку того, в какой мере участники усвоили новую информацию. Оценка выявляет, как изменились их знания и какие установки выработались под конец процесса обучения, а также насколько значительны эти изменения. Для этого используются проверочные задания, опросники, тесты.

Основные инструменты оценки второго уровня модели:

  • Тесты на знание материала курса.
  • Листы проверки приобретённых умений.
  • Составление личного плана действий.
  • Обучение коллег.

Для тестирования уровня полученных знаний может использоваться любой тип теста:

  • Традиционные — из заданий, правил и оценок.
  • Интегративные — затрагивающие сразу несколько дисциплин.
  • Адаптивные — по уровням сложности.

Лист проверки умений заполняется лицом, собирающим данные. В ходе беседы с участником курса он выявляет уровень его умений и навыков, заполняет в листе оценку от 1 до 3 и свои комментарии.

Оценка ставится согласно критериям:

  1. неспособность применить умение,
  2. правильное применение умения,
  3. экспертное применение умения.

Умение составить план применения полученных знаний — один из показателей уровня курса. Для составления такого плана участникам предлагаются вопросы:

  • Что вы наметили сделать?
  • Что хотели бы научиться делать?
  • Что может стать помехой?
  • Как собираетесь преодолевать помехи?
  • Какая поддержка может понадобиться в связи с осуществлением намеченных действий?
  • Каких результатов ждёте?

Тренинг, мастер-класс, деловая игра или фасилитация по запуску проекта, любой процесс управления изменениями — все это прибавляет навыков и обогащает человека новыми знаниями, которые важно использовать. Для этого полученные знания нужно закреплять. Обучение других — отличный способ закрепления полученного опыта и инструмент оценки второго уровня модели.

Чтобы сделать оценку эффективности курса с помощью этого метода, участникам предлагают провести презентации для коллег или помочь своим сотрудникам адаптироваться. Участник курса может посетить групповое обучение в парах.

Д. Киркпатрик считает, что эффективность процесса обучения всегда проявляется в видимых изменениях после обучения. В случае удачного обучения участник меняет установки, подходы, навыки, и это заметно. Это будет заметно и по поведению.

Эффективность третьего уровня можно определить путём выявления различий в поведении «до» и «после» обучающих мероприятий. Если обучение прошло успешно — поведение участника на рабочем месте станет другим.

Часто управление эффективностью обучения сосредотачивается только на первых двух уровнях и останавливается, не дойдя до третьего. Но это значит, что в итоге обучение не оставило после себя значимого следа.

В рамках оценивания эффективности третьего уровня обучения необходимо оценить, как участники применяют полученные знания и навыки на своём рабочем месте.

Ключевым будет вопрос: изменили ли участники обучения своё поведение после курса?

Для оценки используются следующие инструменты:

  • Контрольный лист поведения.
  • Обзор поведения.
  • Наблюдение за работой сотрудников на рабочем месте.
  • Проверка планов действий.
  • Обучение навыкам.
  • Фокус-группы.

Обзорное тестирование может содержать вопросы о том, получил ли участник новые знания, какова степень улучшений, как быстро смог участник применить полученные знания в работе, и если ещё не применяет, то по какой причине.

Д. Киркпатрик обращает наше внимание на то, что отсутствие изменений ещё не значит, что обучение прошло неудачно. Бывают случаи, и их важно определить, что изменения на рабочем месте не наступили, потому что там не были созданы благоприятные для этого условия.

Оценивание будет недостаточным, если не будет включать вопросы участникам:

  • Есть ли у вас желание меняться?
  • Понимаете ли вы, как это сделать?
  • Есть ли для этого соответствующие социально-психологические условия?
  • Ожидаются ли поощрения за изменения?

Цель уровня — оценка достижения намеченных результатов. Речь идёт об экономической эффективности обучения. Измерять нужно бизнес-показатели организации. Оценка четвёртого уровня требует предварительных замеров показателей, и, соответственно предварительного определения норм. Если это фасилитация по запуску проекта, то можно сравнивать ситуацию «до», или подобную ситуацию без применения фасилитации.

Кроме того, оценка результатов проводится и во время мероприятия, а также через какое-то время, когда результаты можно будет определить.

Необходимо оценить, какова степень достижения экономических и других результатов. Ключевым в оценке четвёртого уровня будет вопрос: повлияли ли положительно на организацию результаты мероприятия?

В начальном варианте модель ограничивалась четырьмя уровнями. В таком виде модель появилась во многих организациях в качестве стандарта оценивания уровня корпоративного обучения. Автор модели постоянно проводил исследования в этом направлении, выпустил несколько книг и со временем изменил алгоритм работы с моделью. Он предложил использовать модель в обратном порядке, начать с четвёртого уровня и закончить первым.

Таким образом он сделал упор на прогнозирование результатов и на бизнес-ожидания. При таком подходе специалисты, отвечающие за обучение, будут уделять больше внимания достижению ожидаемых результатов, тогда как раньше основное внимание было сфокусировано на процессе.

Прежде чем начинать обучение, которое бы гарантировало результаты, необходимо составить измеримые цели, определить ожидаемые показатели и понимание способа, которым будет определяться оценка.

Разработка пятого уровня модели оценки обучения принадлежит Джеку Филипсу.

Его модель предполагает определение оценки с точки зрения возврата средств, вложенных в обучение или управление изменениями. Модель Джека Филипса даёт ответ на вопрос, стоило ли вкладывать деньги в те или иные мероприятия.

В основе модели лежит показатель ROI («возврат на инвестиции»). Он переводит результаты оценки четвёртого уровня в измеряемые величины, которые можно перевести в прибыль. Сумма прибыли сравнивается с затратами на мероприятия. ROI — это коэффициент, показывающий процентное соотношение полученной прибыли к вложенным затратам.

Модель Джека Филипса может показать прямую зависимость роста продуктивности сотрудников от вложенных в обучение средств. Это позволяет оправдать затраты на обучение, объяснить вложения и выгоду от них, сделать обучение экономически эффективным.

Модель Дональда Киркпатрика существует уже более 50 лет. Она чётко показывает, что обучение не всегда даёт результаты. Модель объясняет, по какой причине и на каком звене обучение было неэффективным. Однако многие специалисты по обучению приравнивают факт обучения к экспертному уровню участника курса. Использование модели Киркпатрика позволяет найти объяснения многим вопросам, связанным с обучением.

Оценка эффективности обучения. Модель Дональда Киркпатрик

То, что произошло с американцем Дональдом Кирпатриком, бывает довольно редко. Полвека назад он предложил концептуальный подход к оценке тренинговых программ, который стал классическим. Любой специалист по оценке сегодня просто обязан знать четыре уровня оценки «по Киркпатрику».

Интересно, что вокруг предложенного Киркпатриком подхода не умолкают споры, однако его модель оценки тренингов остается одной из базовых, а его книги – наиболее цитируемыми. Классик и ныне здравствует, хотя уже отошел от активного бизнеса. Он сделал блестящую карьеру; написал несколько книг, ставших бестселлерами и принесших ему мировую известность; был президентом одного из самых авторитетных профессиональных объединений тренеров и консультантов в мире – American Research and Development Society (ARSD). Сегодня Дональд Киркпатрик продолжает заниматься общественной работой и поддерживает контакты с профессиональным сообществом. Он продолжает публиковать статьи и выступать с лекциями и семинарами на крупнейших форумах.

Итак, что же предложил Киркпатрик.

Киркпатрик рассматривает оценку как неотъемлемую часть цикла проведения обучения, который включает 10 этапов :

  1. Определение потребностей.
  2. Постановка целей.
  3. Определение предметного содержания.
  4. Выбор участников обучения.
  5. Формирование оптимального расписания.
  6. Подбор соответствующего помещения.
  7. Подбор соответствующих преподавателей.
  8. Подготовка аудиовизуальных средств.
  9. Координация программы.
  10. Оценка программы.

Почему нужно проводить оценку? Автор указывает три основных причины :

  1. Оправдать существование отдела обучения, показав, какой вклад делает этот от-дел в достижение целей и задач организации.
  2. Принять решение о том, продолжать или прекратить тренинговую программу.
  3. -Получить информацию о том, как улучшить тренинговую программу в будущем.

Сам Киркпатрик считает, что в большинстве случаев оценка проводится для того, чтобы понять, как повысить эффективность тренинга, какими способами можно его улучшить . В связи с этим предлагается ответить на следующие 8 вопросов:

  1. В какой мере содержание тренинга соответствует потребностям участников?
  2. Является ли выбор преподавателя (Киркпатрик использует здесь слово «лидер», которое по-русски имеет совершенно другое значение) оптимальным?
  3. Использует ли преподаватель наиболее эффективные методы для поддержания интереса участников, передачи им знаний, формирования у них навыков и установок?
  4. Являются ли условия для проведения обучения удовлетворительными?
  5. Устраивает ли участников расписание занятий?
  6. Способствуют ли аудиовизуальные средства улучшению коммуникации и поддержанию интереса участников?
  7. Была ли координация программы удовлетворительной?
  8. Что еще может быть сделано для улучшения программы?
Читать еще:  Тренинговые упражнения на общение

Отметим, что все вопросы кроме первого и последнего сформулированы автором как закрытые (предполагающие ответы «да» или «нет»). С точки зрения формулирования вопросов задания для проведения оценки такая форма вопросов хороша далеко не всегда. Однако мы придерживаемся авторского текста.

Киркпатрик считает, что в большинстве случаев оценка ограничивается использованием анкет по окончании тренинга – изучением непосредственной реакции слушателей на обучение. Он называет эти анкеты «листами для улыбки» (smile-sheets), имея в виду, что чаще всего участники используют анкеты для выражения благодарности. Более сложная и глубокая оценка не проводится, потому что

  • ее не считают срочной или важной,
  • никто не знает, как ее провести,
  • руководство не требует этого,
  • люди чувствуют себя в безопасности и не видят нужды «копать» глубже,
  • есть много вещей, которые для них более важны или которыми они предпочитают заниматься.

Четыре уровня Четыре уровня, по Кирктпатрику, определяют последовательность проведения оценки обучения (тренинга). Он пишет: «Каждый уровень важен и влияет на следующий за ним уровень. При переходе от уровня к уровню процесс оценки становится более трудным и требует больше времени, но при этом позволяет получить более ценную информацию. Ни один из уровней не может быть пропущен просто потому, чтобы сконцентрировать на том, что тренер считает наиболее важным» (надо заметить, что многие специалисты не согласны с этим утверждением Киркпатрика). Вот знаменитые четыре уровня по версии автора:

  • Уровень 1 – Реакция (Reaction)
  • Уровень 2 – Научение (Learning)
  • Уровень 3 – Поведение (Behavior)
  • Уровень 4 – Результаты (Results)

Реакция

Оценка на этом уровне определяет, как участники программы реагируют на нее. Сам Киркпатрик называет это оценкой удовлетворенности потребителей . В случае, когда обучение проводится внутри фирмы, реакция участников не всегда интерпретируется как удовлетворенность потребителей. Дел в том, что участие в таких тренингах бывает обязательным. У людей просто нет выбора. Руководство компании определяет необходимость данного тренинга и обязывает сотрудников принимать в нем участие. Казалось бы, в этом случае, нужно говорить о реакции руководства. Киркпатрик подчеркивает, что и в этом случае реакция участников является очень важным критерием успешности тренинга, как минимум, по двум причинам .

  • Во-первых, люди так или иначе делятся своими впечатлениями от тренинга со своим руководством, и эта информация уходит выше. Следовательно, она влияет на принятие решений о продолжении тренинга.
  • Во-вторых, если участники не будут реагировать позитивно, то у них не будет мотивации к научению. По мнению Киркпатрика, позитивная реакция не гарантирует успешного освоения новых знаний, умений и навыков. Отрицательная же реакция на тренинг почти наверняка означает уменьшение вероятности научения.

Научение

Научение определяется как изменение установок, улучшение знаний и совершенствование навыков участников в результате прохождения ими программы обучения. Киркпатрик утверждает, что изменение поведения участников в результате тренинга возможно только тогда, когда произойдет научение (изменятся установки, улучшатся знания или усовершенствуются навыки).

Поведение

На этом уровне происходит оценка того, в какой степени изменилось поведение участников в результате обучения. Киркпартик указывает на то, что отсутствие изменений в поведении участников не означает, что тренинг был неэффективен . Возможны ситуации, когда реакция на тренинг была позитивной, научение произошло, но поведение участников в дальнейшем не изменилось, поскольку для этого не были соблюдены необходимые условия. Поэтому отсутствие изменения поведения участников после тренинга не может быть поводом для принятия решения о прекращении программы. Киркпартик рекомендует в этих случаях кроме оценки реакции и научения проверить наличие следующих условий :

  1. Желание участников изменить поведение.
  2. Наличие у участников знаний о том, что и как делать.
  3. Наличие соответствующего социально-психологического климата.
  4. Поощрение участников за изменение поведения.

Говоря о социально-психологическом климате, Киркпатрик имеет в виду прежде всего непосредственных руководителей участников обучения. Он выделяет пять видов «климата»: запрещающий, обескураживающий, нейтральный, поддерживающий, требующий. Позиция руководителя, соответственно, меняется от запрета на изменение поведения до требования изменить поведение после окончания тренинга. Киркпатрик считает, что единственный способ создания позитивного климата – вовлечение руководителей в разработку учебных программ .

Результаты

К результатам относятся изменения, которые произошли в связи с тем, что участники прошли обучение. В качестве примеров результатов Киркпатрик приводит увеличение производительности, улучшение качества, уменьшение количества несчастных случаев, увеличение продаж, снижение текучести кадров.

Киркпатрик настаивает на том, что результаты не следует измерять в деньгах . Он считает, что перечисленные выше изменения могут, в свою очередь, приводить к увеличению прибыли. Киркпатрик пишет: » Меня разбирает смех, когда я слышу, что профессиональные тренеры должны уметь показывать выгоду для клиента в терминах возврата на инвестиции в тренинг. То же самое я думаю о связи между тренинговыми программами и прибылью. Вы только представьте себе все факторы, которые влияют на прибыль! И можете добавить их к списку факторов, влияющих на возврат на инвестиции».

По мнению Киркпатрика, оценка на этом уровне – самая сложная и дорогостоящая. Вот несколько практических рекомендаций, которые могут помочь в оценке результатов:

  • если возможно, использовать контрольную группу (не проходившую обучение),
  • проводить оценку через некоторое время, чтобы результаты стали заметны,
  • проводить оценку до и после программы (если это возможно),
  • провести оценку несколько раз в ходе программы,
  • сопоставить ценность информации, которую удастся получить с помощью оценки и стоимость получения этой информации (автор считает, что проведение оценки на 4 уровне не всегда целесообразно в связи с ее высокой стоимостью).

Как построена книга Киркпатрика Kirkpatrick, D. L. (1998). Evaluating training programs: the four levels. San Francisco: Berrett-Koehler Publishers, Inc.

Книга разделена на две неравные части. Первая – описание 4-уровневой модели, теория (примерно 70 страниц). Вторая часть (около 200 страниц) – подробный разбор нескольких конкретных случаев (case studies) и примеры инструментов, используемых для проведения оценки на разных уровнях.

Как оценить эффективность обучения по Киркпатрику

Разложили по полочкам, как использовать модель Киркпатрика для глубокой оценки эффективности онлайн-обучения. 15 инструментов с рекомендациями по применению.

Это продвинутый уровень оценки эффективности онлайн-курсов. Когда заказчики хотят точно понять, как корпоративное обучение повлияет на результаты работы, мы проводим исследование и используем 15 инструментов, основанных на модели Киркпатрика.

Коротко об этой модели. Дональд Киркпатрик выделил четыре уровня оценки эффективности: реакция, усвоение, поведение, результат. Рассказываем о каждом по порядку и сразу с примерами.

Эмоциональная реакция

Эмоциональный уровень оценивает, понравился курс или нет. Это не значит, что обучение, которое нравится — более эффективное, но когда человек расслаблен, мозг больше готов учиться, интереса и внимания тоже больше.

Здесь мы используем три инструмента.

Опрос «до-после» для оценки возврата ожиданий. Он показывает, насколько воплотились цели, которые участники ставили себе до начала обучения. Результаты помогают правильно формулировать цели курса и адаптировать материалы под потребности аудитории.

Например, люди идут на курс по продажам, чтобы научиться привлекать новых клиентов через реферальную систему. В курсе есть информация про это, но без практических советов: люди понимают теорию, а как это применить на практике — нет. Их ожидания от курса вернулись частично.

Оценка удовлетворенности — это общее впечатление от курса и отдельных его частей: материалов, иллюстраций, обратной связи. Результаты показывают, что создает положительное и негативное впечатление, и на основе этого можно усиливать или убирать отдельные части курса.

Например, в курсе по продажам людям понравились комиксы-иллюстрации с разбором конкретных ситуаций, а сопроводительный теоретический текст — нет. Это сигнал: убирать теорию или вынести её в отдельный блок для самых дотошных.

Контент-анализ отзывов — показывает разницу впечатлений слушателей которые завершили и не завершили курс. Для этого нужно задать вопросы в открытой форме и систематизировать ответы по категориям. Результаты покажут, как мотивировать людей проходить обучение до конца.

Например, большинство бросивших курс по продажам, говорят: информация непонятная, вопросы сложные, в целом скучно. Те, кто прошел курс, тоже отмечают непонятные материалы. Вывод — упрощать контент.

Усвоение знаний

Уровень знаний оценивает, какие знания, навыки и техники усвоили слушатели. Здесь тоже не всё просто: если человек не хочет применять новые техники или не понимает, как это сделать — обучение не будет эффективным. Чтобы желание и понимание появились, нужен «инсайт» — осознание через собственный опыт и анализ.

Здесь мы используем четыре инструмента.

Тест знаний «до-после». Здесь всё просто: он показывает прогресс знаний по теме — или его отсутствие. Результаты могут показать, что материалы курса слишком простые, или слишком сложные, или поверхностные. С другой стороны, уровень слушателей может быть слишком высокий или низкий для этой темы. Может быть всё в порядке, и уровень знаний вырастет.

Если оценивать не весь курс, а отдельные темы, станет видно, какие знания он развивает больше. Например, в курсе о переговорах четыре темы: переговорные позиции, техники, переговорные навыки для управленческой работы и навыки в продажах. Тест показал, что знания по теме «переговорные позиции» выросли в три раза. Это можно сделать фишкой курса или подтянуть остальные темы.

Оценка прогресса по результатам тестов показывает, падает ли число ошибок по мере прохождения курса. В результате понятно, какие темы усваиваются лучше. Нельзя учесть все факторы, которые влияют на слушателя во время теста, и знать наверняка, что он не жульничает — поэтому к оценке относимся осторожно.

Например, финальный тест обычно сложнее промежуточных. Это нормально, что процент ошибок в нем выше. Если до этого ошибок с каждым тестом становилось меньше, то хороший показатель.

Связь повторного изучения материалов с результатами тестов — показывает, какие темы нужно прочитать два-три-четыре раза, чтобы результаты по ним улучшились. Решения: объяснить подробнее или изменить структуру, чтобы показать сложные вещи несколько раз с разных сторон.

Например, анализ показал, что слушатели изучают тему шесть раз, чтобы улучшить свои оценки почти вдвое. Это значит, что потенциал у нее огромный, но подача — слишком сложная. Приходится продираться.

Связь времени на изучение материалов с результатами. Это похоже на предыдущий инструмент, но здесь оцениваем, сколько времени тратят на один материал результативные и не результативные пользователи. В итоге можем определить оптимальное время для каждого и если нужно — изменить объем.

Например, результативный слушатель тратит на тему «переговорные навыки для управленческой работы» 6 минут, а не результативный — две. Можно предположить, что тему бросают, потому что она сложная, или изучают недостаточно внимательно. Тогда мы будем мотивировать пользователя работать с ней больше.

Поведенческие изменения

Самый важный показатель в оценке эффективности. Он оценивает, как люди используют новые знания на практике. Если этого не происходит — знания бесполезны, даже если человек их усвоил.

Здесь мы используем шесть инструментов.

Процент выполнения необязательных заданий. Показывает, насколько слушателю важно пройти курс полностью. Еще по итогу исследования видно, какие задания больше вовлекают, даже если делать их необязательно, а какие можно убрать из курса.

Например, половина слушателей начинает делать необязательное задание. Это хороший показатель: либо тема важная и может стать обязательной, либо сработали инструменты вовлечения.

Читать еще:  Навыки делового общения тренинг

Периодичность посещения у людей, которые завершили и не завершили курс. Это показывает, есть ли разница в стиле прохождения у разных категорий слушателей. Чтобы на это влиять, мы настраиваем отдельные уведомления для тех, кто пропадает надолго.

Например, к третьей неделе курса люди заходят меньше, а в последнюю активизируются и работают в четыре раза больше — как студенты перед сессией. Если настроить уведомления и мотивировать людей чаще заходить на второй-третьей неделе, обучение станет равномерным.

Среднее время на блок у людей, которые завершили и не завершили курс — показывает, что разные типы слушателей проходят курс в разном темпе. Это помогает адаптировать материалы под скорость, сделать процесс равномерным. Еще данные покажут, где мотивировать пользователей оставаться в системе дольше и наоборот — ускоряться.

Например, один блок курса занимает в два раза больше времени, чем остальные. Не осилив его до конца, слушатели уходят. Вывод: разбить материал на два блока — люди не будут воспринимать его как большой и сложный и смогут «съесть слона» по кусочкам.

Разделение слушателей на типы. Мы часто упоминаем типы слушателей, и это разделение — тоже инструмент оценки. Когда мы понимаем, сколько людей каждого типа проходят курс, можем адаптировать под них контент, дополнительно мотивировать и даже менять способ продвижения курса.

Например, в курсе много «заходящих» — это люди, которые читают материалы до самого конца, но не выполняют задания или выполняют абы как. Значит, им нужно доказать ценность заданий и мотивировать на высокие результаты.

Социальная активность людей, которые завершили и не завершили курс, показывает связь обучения с активностью в чатах, общением с другими слушателями, обменом опытом. Этот инструмент не влияет на качество курса, но может подсказать способы мотивации людей с помощью социальных заданий.

Если пользователи оставляют много отзывов о курсе, можно пообещать дополнительный балл за пост в социальной сети. Это одновременно мотивация и реклама курса.

Главное, чтобы награда не противоречили логике начисления баллов: если люди должны потрудиться в обучении, чтобы их заработать, награда за отзыв будет нелегитимной.

Комментарии по теме и нет. Они показывают, насколько пользователю важно разобраться в теме и узнать мнение сообщества. Так мы оцениваем, какие блоки вызывают больше вопросов, а какие — провоцируют споры. Это основа для доработок и новых курсов.

Например, в курсе по продажам слушатели активно обсуждают навыки переговоров: спорят, доказывают, убеждают. Эти обсуждения превращаются в user generated content — контент, который создают сами пользователи. Если поставить это на конвейер, вы будете получать темы и даже материалы новых курсов от самих пользователей.

Результативность в работе

Уровень результативности оценивает показатели бизнеса, которые изменились после обучения: продажи, прибыль, затраты, качество обслуживания. Курс по продажам — не единственный фактор, который влияет на продажи. Есть еще реклама, сезонность, новая товарная линейка. Если обучение совпало с другим фактором, оценить его влияние на показатели будет сложнее, но все еще возможно.

Здесь у нас два инструмента.

Оценка руководителя «до-после». Это еще не про бизнес-показатели, а только про субъективное впечатление. Руководитель видит изменения, которые не укладываются в операционные показатели — они могут быть важнее.

Например, люди оценили важность обучения для работы. Это важный инсайт, который не выразить в цифрах. Даже если бизнес-показатели не изменились, результат уже есть — дальше будет проще вовлекать людей в новые курсы и добиваться результатов.

Выполнение kpi до и после. Мы оцениваем показатели не сразу после обучения, а хотя бы через месяц. Если показатели выросли и результат держится после курса месяц, квартал, полгода — обучение эффективное. Если эффект со временем проходит, мы снова общаемся с сотрудниками, чтобы узнать причину.

Например, на энтузиазме после курса люди работают активнее, применяют новые инструменты, эмоционально вкладываются в дело. Но результаты не появляются сразу, и люди теряют мотивацию. Важно объяснить, что это нормально: эффект наступает со временем.

Запомнить

За каждым инструментом стоит своя методология. В опросе нельзя принимать социально желательные ответы за действительность. Если относить человека к категории «пассивные» — нужен четкий список критериев, на которых основывается решение. Если считать корреляцию — понимать, какой уровень значимости считать приемлемым. Все инструменты выполняют свои задачи, только когда аналитик понимает методы работы с каждым.

Уровни оценки эффективности обучения Дональда Киркпатрика

Как измерить эффективность обучения? Ответ на этот вопрос был дан еще в 1954 году, когда Дональдом Киркпатриком была создана модель оценки эффективности тренинга . До сих пор эта модель остается одной из самой известных и используемых. Как объясняет ее создатель, это потому что она понятна и проста.

Модель Киркпатрика позволяет управлять эффективностью любых обучающих мероприятий, бизнес-мероприятий по моделированию, таких как сессии фасилитации или деловые игры, а также всего обучающего процесса.

Кто такой Киркпатрик и в чем суть модели – разберемся.

Дональд Киркпатрик – ученый, американский профессор университета штата Висконсин. Свою модель четырех уровней он представил, защищая кандидатскую диссертацию об эффективности управления программами.

Цикл обучения исследователь разделил на четыре уровня: реакция – обучение – поведение – результаты . Суть модели оценки – в разделении учебного процесса на 4 уровня , каждый из которых требует своей оценки и своего подхода к оцениванию.

Это, по мнению автора модели, позволит применять полученные навыки на рабочем месте, добиваясь максимальных показателей от обучения. О том, что все это значит – узнаем дальше.

Первый уровень – «Реакция»

Чем выше уровень достигнут – тем выше качество обучения, его возможность и, что важно, его результаты. При низком качестве первого уровня невозможен второй и последующие.

На каждом уровне своя оценка. Первый уровень – начальный. На этом уровне важно выяснить реакцию участников на обучение .

Основное, что нужно оценить на первом уровне – как участники реагируют на обучение. Ключевой вопрос: понравилось ли участникам обучение?

Реакция может быть разной, участник, к примеру, может определить, нравится ли ему обучение или как будут использоваться полученные знания. Чтобы сделать оценку, используют:

  • Листы реагирования (улыбок, реакций).
  • Интервьюирование.
  • Фокус-группы.

Листы реагирования

Листы реагирования составляются таким образом, чтобы получить как можно больше полезной информации. Обычно они включают в себя по 8 – 15 вопросов. Вопросы для наилучшего результата должны быть нескольких типов: открытые и со шкалой. Шкала позволит сравнивать реакцию разных участников. Каждый вопрос желательно снабдить местом для комментария.

Спрашивать можно о своих впечатлениях от мероприятия или процесса, о тренере – эффективен ли тренер и его методы, о задачах – насколько они соответствуют целям организации, о доступности материала и о пожеланиях по улучшению программы.

Такое анкетирование лучше всего проводить анонимно – это поможет собрать более открытое и развернутое мнение.

Интервью

С каждым участником курса кроме анкетирования проводят интервью – это помогает получить более развернутую картину обратной связи.

Фокус-группы

Фокус-группы проводятся «для разведки», чтобы проверить эффективность пилотных проектов. После проведения мероприятий участникам нужно дать неделю, после чего собрать их для обмена мнениями. Через 90 дней после проведения их собирают с той же целью второй раз.

Основные вопросы, помогающие оценить первый уровень курса:

  • Кому подойдет этот курс?
  • Какие методы будут эффективными?
  • Когда нужно проводить курс?
  • Что получат участники в итоге?
  • Как можно будет применить его результаты на рабочих местах?

Оценка первого уровня – это реакция на курс, которая, по мнению автора модели, играет немаловажную роль в результативности курса или фасилитации.

Второй уровень – «Обучение»

На втором уровне оценивается эффективность усвоения знаний и изменений, происходящих с участниками. Оценка проводится в конце курса.

Этот уровень предполагает оценку того, в какой мере участники усвоили новую информацию. Оценка выявляет, как изменились их знания и какие установки выработались под конец процесса обучения, а также насколько значительны эти изменения. Для этого используются проверочные задания, опросники, тесты.

Основные инструменты оценки второго уровня модели:

  • Тесты на знание материала курса.
  • Листы проверки приобретенных умений.
  • Составление личного плана действий.
  • Обучение коллег.

Тестирование

Для тестирования уровня полученных знаний может использоваться любой тип теста:

  • Традиционные – из заданий, правил и оценок.
  • Интегративные – затрагивающие сразу несколько дисциплин.
  • Адаптивные – по уровням сложности.

Лист проверки умений

Лист проверки умений заполняется лицом, собирающим данные. В ходе беседы с участником курса он выявляет уровень его умений и навыков, заполняет в листе оценку от 1 до 3 и свои комментарии.

Оценка ставится согласно критериям:

1 – неспособность применить умение.

2 – правильное применение умения.

3 – экспертное применение умения.

Составление плана действий

Умение составить план применения полученных знаний – один из показателей уровня курса. Для составления такого плана участникам предлагаются вопросы:

  • Что вы наметили сделать?
  • Что хотели бы научиться делать?
  • Что может стать помехой?
  • Как собираетесь преодолевать помехи?
  • Какая поддержка может понадобиться в связи с осуществлением намеченных действий?
  • Каких результатов ждете?

Обучение других сотрудников

Тренинг, мастер-класс, деловая игра или фасилитация по запуску проекта, любой процесс управления изменениями – все это прибавляет навыков и обогащает человека новыми знаниями, которые важно использовать. Для этого полученные знания нужно закреплять. Обучение других – отличный способ закрепления полученного опыта и инструмент оценки второго уровня модели.

Чтобы сделать оценку эффективности курса с помощью этого метода, участникам предлагают провести презентации для коллег или помочь своим сотрудникам адаптироваться. Участник курса может посетить групповое обучение в парах.

Д. Киркпатрик считает, что эффективность процесса обучения всегда проявляется в видимых изменениях после обучения. В случае удачного обучения участник меняет установки, подходы, навыки, и это заметно. Это будет заметно и по поведению.

Третий уровень – «Поведение»

Эффективность третьего уровня можно определить путем выявления различий в поведении «до» и «после» обучающих мероприятий. Если обучение прошло успешно – поведение участника на рабочем месте станет другим.

Часто управление эффективностью обучения сосредотачивается только на первых двух уровнях и останавливается, не дойдя до третьего. Но это значит, что в итоге обучение не оставило после себя значимого следа.

В рамках оценивания эффективности третьего уровня обучения необходимо оценить, как участники применяют полученные знания и навыки на своем рабочем месте.

Ключевым будет вопрос: изменили ли участники обучения свое поведение после курса?

Для оценки используются следующие инструменты:

  • Контрольный лист поведения.
  • Обзор поведения.
  • Наблюдение за работой сотрудников на рабочем месте.
  • Проверка планов действий.
  • Обучение навыкам.
  • Фокус-группы.

Обзорное тестирование может содержать вопросы о том, получил ли участник новые знания, какова степень улучшений, как быстро смог участник применить полученные знания в работе и если еще не применяет, то по какой причине.

Д. Киркпатрик обращает наше внимание на то, что отсутствие изменений еще не значит, что обучение прошло неудачно. Бывают случаи, и их важно определить, что изменения на рабочем месте не наступили, потому что там не были созданы благоприятные для этого условия.

Оценивание будет недостаточным, если не будет включать вопросы участникам:

  • Есть ли у вас желание меняться?
  • Понимаете ли вы, как это сделать?
  • Есть ли для этого соответствующие социально-психологические условия?
  • Ожидаются ли поощрения за изменения?
Читать еще:  Упражнение апельсин тренинг

Четвертый уровень – «Результаты»

Цель уровня – оценка достижения намеченных результатов. Речь идет об экономической эффективности обучения . Измерять нужно бизнес-показатели организации. Оценка четвертого уровня требует предварительных замеров показателей, и, соответственно предварительного определения норм. Если это фасилитация по запуску проекта, то можно сравнивать ситуацию «до», или подобную ситуацию без применения фасилитации.

Кроме того, оценка результатов проводится и во время мероприятия, а также через какое-то время, когда результаты можно будет определить.

Необходимо оценить, какова степень достижения экономических и других результатов. Ключевым в оценке четвертого уровня будет вопрос: повлияли ли положительно на организацию результаты мероприятия?

В начальном варианте модель ограничивалась четырьмя уровнями. В таком виде модель появилась во многих организациях в качестве стандарта оценивания уровня корпоративного обучения. Автор модели постоянно проводил исследования в этом направлении, выпустил несколько книг, и со временем изменил алгоритм работы с моделью. Он предложил использовать модель в обратном порядке, начать с четвертого уровня и закончить первым.

Таким образом он сделал упор на прогнозирование результатов и на бизнес-ожидания. При таком подходе специалисты, отвечающие за обучение, будут уделять больше внимания достижению ожидаемых результатов, тогда как раньше основное внимание было сфокусировано на процессе.

Прежде чем начинать обучение, которое бы гарантировало результаты, необходимо составить измеримые цели, определить ожидаемые показатели и понимание способа, которым будет определяться оценка.

Пятый уровень – ROI

Разработка пятого уровня модели оценки обучения принадлежит Джеку Филипсу.

Его модель предполагает определение оценки с точки зрения возврата средств , вложенных в обучение или управление изменениями. Модель Джека Филипса дает ответ на вопрос, стоило ли вкладывать деньги в те или иные мероприятия .

В основе модели лежит показатель ROI («возврат на инвестиции»). Он переводит результаты оценки четвертого уровня в измеряемые величины, которые можно перевести в прибыль. Сумма прибыли сравнивается с затратами на мероприятия. ROI – это коэффициент, показывающий процентное соотношение полученной прибыли к вложенным затратам.

Модель Джека Филипса может показать прямую зависимость роста продуктивности сотрудников от вложенных в обучение средств . Это позволяет оправдать затраты на обучение, объяснить вложения и выгоду от них, сделать обучение экономически эффективным.

Модель Дональда Киркпатрика существует уже более 50 лет. Она четко показывает, что обучение не всегда дает результаты. Модель объясняет, по какой причине и на каком звене обучение было неэффективным. Однако многие специалисты по обучению приравнивают факт обучения к экспертному уровню участника курса. Использование модели Киркпатрика позволяет найти объяснения многим вопросам, связанным с обучением.

Оценка эффективности тренинга по киркпатрику

В современных условиях глобализации, ожесточения конкуренции на национальных и международных рынках, одним из факторов повышения конкурентоспособности является повышение качества персонала организации. Однако, общая сумма вложений в переподготовку персонала, или различные тренинги, направленные на развитие необходимых фирме качеств отдельного сотрудника, не может служить точной оценкой полученного эффекта. Таким образом, существенную часть проблемы составляет вопрос, как оценить эффективность вложений в развитие персонала. С этой целью были разработаны отдельные модели оценки эффективности обучения, которые в основном использовали подход Киркпатрика (Kirkpatrick).

Модель Киркпатрика

Без оценки эффективности обучения невозможно выстроить систему обучения и развития, которая обеспечивает необходимые бизнес-результаты. В 1954 году Дональд Киркпатрик (Donald Kirkpatrick) защитил кандидатскую диссертацию в Университете штата Висконсин (США) по теме «Оценка эффективности управления программами» [1]. Он предложил краткую формулу для описания цикла обучения: реакция — обучение — поведение — результаты [2,4] (см. Рис.1). Эта схема необходима для эффективного обучения персонала компании, а также для получения необходимого бизнес-результата.

Рис.1 Модель Киркпатрика

Первый уровень обучения – реакция. Реакция позволяет узнать, что клиенты думают о программе, на основании ответов, тренеру необходимо внести некоторые изменения в программу, чтобы ее улучшить. Оценка первого уровня, «Реакция» очень важна, тренеру необходимо знать мнение участников о своей программе, а также слушатели должны быть уверенны, что их мнение для тренера небезразлично.

Второй уровень: полученные знания. Хорошо, если участник довольны тренингом, но это вовсе не значит, что они чему-то научились. Для оценки полученных знаний используются тесты на знание изученного материала, а также используются листы проверки умений. Тестирование заключается в следующем: через некоторое время после завершения курса участников приглашают на беседу с опытным коллегой или с супервайзером, чтобы выяснить, какие знания из тренинга они усвоили.

Третий уровень: поведение. Киркпатрик определяет этот уровень как самый важный и сложный. Именно на этом уровне происходит оценка того, как изменилось поведение участников в результате обучения, насколько полученные знания и навыки применяются на рабочем месте.

Четвертый уровень: результаты.

Главное в оценке четвертого уровня представлять себе конечный результат. Задача тренера — реализовать ожидание заинтересованных лиц, т.е. окупаемость.

Метод Дональда Киркпатрика показывает нам, как сделать из процесса обучения эффективный бизнес – инструмент, и встроить отдельно взятый тренинг в организацию, сделать обучение именно корпоративным. Подробно рассказывается, как планировать, как

ставить цели, как аргументировать руководителям необходимость обучения, и, что очень важно, как исключить ненужное обучение, если с его помощью заявленные проблемы не решаются.

На практике, однако, используются не все четыре уровня, а чаще всего только два, в порядке убывания важности (по материалам исследования проведённого ASTD — American Society for Training and Development) [6] (см. Рис. 2).

Рис.2 Использование организациями уровней модели Киркпатрика

Таким образом, к оценке эффективности процесса обучения необходимо подходить с позиций финансового менеджмента и количественно оценивать результаты от такого инвестирования. Решение данной задачи было предложено в 1997 году Джеком Филипсом.

Модель Джека Филлипса (Jack Phillips)

В начале 90-х годов известный эксперт в области управления персоналом Джек Филлипс разработал методику оценки эффективности инвестиций в обучение сотрудников. В своей работе, изданной в 1975 г., Киркпатрик высказал неожиданную мысль: «Ни в коем случае не вздумайте переводить четвертый уровень (бизнес-результат) в деньги. Это не нужно, вы не сможете». А в 1991 г. уже другой человек, Джек Филипс, не только заявил, что это возможно, но и предложил алгоритм расчета [3]. К уже названым четырем уровням добавился еще один – возврат на инвестиции, или расчет соотношения прибыли от проекта и затрат на него.

У (1)

Этот показатель позволяет оценить эффективность обучения. Методики Филлипса хорошо работают в компаниях с регулярным менеджментом.

ROI помогает получить целый ряд выгод, в частности, руководителям компаний: оценить финансовую эффективность инвестиций в сотрудников; получить понятный и надежный инструмент определения результативности мероприятий по работе с персоналом; сделать измеримым «человеческий фактор» и его влияние на бизнес-результат компании. В первую очередь модель ROI необходима для расчета возврата инвестиций в человеческие ресурсы и в кадровые программы, когда руководство инвестирует в людей им необходимо понимать какова отдача от этих инвестиций.

Модель Стаффлбима (Stufflebeam) (CIPP)

Аббревиатура Стаффлбима (см Рис. 3) расшифровывается следующим образом:[4]

Рис. 3 Модель Стаффлбима (Stufflebeam) (CIPP)

Модель позволяет оценить как результаты, так и сам процесс обучения и развития. Поэтому для длительных модульных программ обучения топ — менеджеров данная модель может быть успешно применена.

Модель Берна (Bern) (CIRO)

Сходна с моделью Стаффлбима схема CIPO (см. Рис. 4), разработанная Берном. Модель включает следующие этапы оценки [5]:

Рис. 4 Модель Берна (Bern) (CIRO)

Данная модель также может применяться для оценки эффективности обучения топ-менеджеров, в особенности в условиях запуска модульных долгосрочных программ.

Однако, по мнению автора, наиболее эффективным методом оценки эффективности обучения и развития топ-менеджеров может стать только система ключевых показателей эффективности.

Преимущества и недостатки эффективных моделей обучения

Наличие четырех уровней оценки: по реакции участников, по результатам выходного контроля, по изменению в производственном поведении и по изменениям в бизнес показателях компании.

Возможность выбора для оценки эффективности обучения топ менеджера.

Сложность измерения третьего уровня, неготовность топ-менеджеров проходить процедуру оценки или работать с коучами.

Отказ от оценки по финансовым показателям.

Развитие модели Киркпатрика.

Введение пятого уровня оценки эффективности обучения и развития.

Возможность использовать финансовый показатель возврата на инвестиции в обучение и развитие.

Расчёт возврата на инвестиции возможен только при условии ведения полноценного управленческого финансового учёта в организации.

В основном применяется для расчёта эффективности тех программ, которые являются длительными, дорогостоящими и комплексными.

Возможность оценивать, как процесс так, и результаты обучения и развития в тесной связи с целями компании.

Нечеткость методик и процедуры оценки результатов обучения и развития топ-менеджеров.

Развитие модели Стаффлбима и частично Киркпатрика.

Постановка целей, определение возможностей, выявление мнения участников об обучении и развитии, оценка результатов.

Сложность поддержания постоянной процедуры оценки эффективности обучения и развития топ-менеджеров, применение для долгосрочных программ.

В таблице представлено сравнение наиболее популярных моделей и методик оценки эффективности развития и обучения персонала с точки зрения достоинств и недостатков, включая финансовые, сложность вычисления, и так далее.

Стоит отметить, что на сегодня не существует идеальной модели [7] эффективного обучения, которая включала бы в себя все необходимые параметры оценки. Каждая из представленных моделей имеет свои плюсы и свои минусу, которые наглядно представлены выше.

Авторами был проведен опрос 7 экспертов в области HR по наиболее точным моделям оценки эффективности обучения (каждый эксперт должен был выбрать наиболее точные модели, по его мнению, из предлагаемого списка). Данные опроса представлены ниже (см. Рис. 5):

Рис 5. Результаты опроса о точности моделей обучения

Данный опрос показал, что наиболее точными моделями обучения являются модель Киркпатрика и модель Филлипса, а наименее точными — являются модель Стаффлбима и модель Берна.

Заключение

В заключение можно сказать о необходимости учитывать разницу между западной культурой обучения и нашей. На западе корпоративное обучение давно уже стало непременным условием и частью деловой жизни, объяснять сотрудникам многих вещей не приходится. В России сейчас отношение к бизнес-обучению начало изменяться в сторону заинтересованности, и сами технологии только начинают внедряться. Таким образом, опрошенные респонденты показали, что в основном модели эффективного обучения чаще всего используют западные компании. Наиболее точными моделями можно назвать модели Киркпатрика и Филлипса. К наименее точным моделям можно отнести модели Стаффлбима и Берна, по мнению респондентов, эти модели реже всего применяются как на Западе, так и в России.

Модель Киркпатрика показывает, как сделать из процесса обучения эффективный бизнес – инструмент, и встроить отдельно взятый тренинг в организацию. Модель Филлипса помогает организации оценить финансовые результаты обучения и развития. Модель Стаффлбима позволяет оценивать, как результаты, так сам процесс обучения. Модель Берна помогает нам определить цели, возможности, мнения участников обучения. Таким образом, можно сказать, что каждая из представленных моделей имеет свои преимущества и недостатки. В настоящее время не существует идеальной модели, которая бы включала в себя сразу все параметры оценки эффективного обучения.

Рецензенты:

Путилов А.В., д.т.н., профессор, декан факультета управления и экономики высоких технологий, Министерство образования и науки Российской Федерации, федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет «МИФИ», г. Москва;

Тупчиенко В.А., д.э.н., профессор, профессор кафедры «Управление бизнес-проектами», Министерство образования и науки Российской Федерации, федеральное государственное автономное образовательное учреждение высшего профессионального образования «Национальный исследовательский ядерный университет «МИФИ», г. Москва.

Ссылка на основную публикацию
Adblock
detector