Методы оценки эффективности программ обучения персонала строительной организации

Методы оценки эффективности программ обучения персонала строительной организации.

1. Методика Дональда  Кирпатрика.

        Методика Дональда Кирпатрика предполагает  оценку по четырем уровням с временными интервалами: первый уровень -  эмоциональный   (нравиться – не нравиться); второй – уровень оценки знаний ( профессиональное тестирование, устный опрос); третий – уровень поведения ( на данном уровне экспертно оценивается то, как изменили  участники    обучения свое поведение); четвертый уровень – уровень результата ( здесь предпринимается попытка ( экспертная оценка) понять повлияло ли изменение позитивно на организацию в целом).

Как и любой исследовательский  инструмент, методика имеет соответствующие  ограничения.

1.1.Например, на обучение  линейного персонала: например, операционистов, консультантов, кассиров, специалистов целесообразно проводить по 2 и 3 уровню обучения: знания и навыки (поведение), так, например, часто бывает, важна скорость обслуживания клиента и для этого необходимо разработать информационный стандарт, обязательный для изучения и отработать навыки.  «Каждый солдат должен знать свой маневр» - эти слова А.Суворова как нельзя, кстати, подходят для обучения линейного персонала организации.

   Эмоциональный уровень  оценки со стороны обучающихся  важен лишь отчасти, поскольку  индивидуальная манера тренера,  мастера производственного обучения  может не нравиться из-за жесткости,  трудности материала и проч. А  желание тренера понравиться  аудитории иногда осложняет собственно  процесс обучения, происходит «подмена»  смысла деятельности.

   1.2.Обучение с идеологической  компонентой, например, обучение  продажам уже целесообразно оценивать  на эмоциональном уровне (нравиться  - не нравиться), поскольку навык  продаж, несет в себе серьезную  коммуникативную и эмоциональную  компоненту,  тренер сначала «продает»  себя.   Знание продукта оценивать   тоже можно и нужно, но опять  с точки зрения покупателя, по  известной формуле «свойства-выгода».

   Навык продаж сложный  навык, включающий в себя когнитивный,  поведенческий и лингвистический  компонент, поэтому и оценка  эффективности обучения – сложная  задача. Поведенческий уровень (3 уровень по Д. Кирпатрику), уровень навыка, умение продать здесь может войти в противоречие  с эффективностью организации (4 уровень) уровень результата. Здесь продавец может «выиграть битву, но проиграть войну», поэтому важно уже при разработке программ обучения, а не только при оценке эффективности обучения,  продавцов учитывать эти факторы.

   Что мы имеем  в виду, когда говорим, что на  уровне «навыка» продавцы могут  быть великолепно обучены, тогда  как на уровне общего результата  для компании результат будет  отрицательный?

   Приведем пример  из реальной практики. Кредитная  организация Х заказывает тренинговой организации Y   тренинг продаж розничных банковских продуктов. В программе тренинга продаж есть просмотр консультантами-продавцами мультфильма: «Как мужик корову продавал?». Не озаботившись сложным понятием художественной реальности, метафора трактуется тренером, для разъяснения обучающимся правила продаж, которое состоит в том, что, мягко говоря, неполное информирование клиента, «легкое» введение его в заблуждение и «впаривание» ему кредитной карты банка, кредита, депозита и проч., это и есть «искусство продаж».  А  поскольку финансовый продукт – это скорее услуга, или «пролонгированный  продукт», то введенные в заблуждения клиенты, не вполне ознакомленные с комиссиями, удержаниями, сроками, оплатив штрафы и пени,  в результате неполного информирования консультантами об особенностях того или иного продукта,  в последствии прерывают отношения с банком и повторные продажи не происходят, что, очевидно,  ведет сначала к стагнации продаж, а затем и к спаду. Хотя непосредственно после тренинга наблюдается кратковременный, но заметный всплеск продаж, а фирма Y уже получила свои деньги, а репутационные риски и операционные издержки банка повысились.

   1.3.Фасилитационный консалтинг, семинары-совещания для топ-менеджеров, стоимость которых, как правило, достаточно высока, оценивать, например, по второму уровню «знания» вообще подчас не имеет смысла, так как знания вообще не являются предметом работы консультанта в таких случаях, когда проводятся семинары-совещания по формированию единого видения развития компании,  целью которого является  преодолеть разноплановость личной мотивации относительно совместного бизнеса, или восполнить дефицит конструктивного общения между собственниками. Поэтому оценка такого рода затрат, очевидно, может производиться только на уровне результата, поскольку ни эмоция, ни измерение уровня знаний и навыков не дадут ничего определенного, а измерение влияния такого рода услуг на принятие правильных управленческих , стратегических решений требует больших временных ресурсов, которых как правило у живого российского бизнеса нет.   Это ни в коем случае не означает невозможность определения экономической эффективности мероприятий по обучению на уровне топ-менеджеров, и уж тем более их бесполезность, вышеприведенные доводы указывают лишь на необходимость тщательного подбора «инструмента измерения».

2. Методика Джека Филипса  

 Джек Филипс, например, предлагает считать экономическую  эффективность как «возврат на  инвестиции в человеческий капитал». Формула, которую он предлагает, выглядит следующим образом:  ROI (%) полезность/стоимость обучения X 100%*****. 
   Применительно к любым экономическим процессам часто используется подход, связанный с оценкой мероприятий исходя из рентабельности тех или иных процессов, и в этом случае подход Джека Филипса является традиционным и, в случае, когда экономические эффекты от обучения персонала очевидны, и поддаются оценке целесообразно оценить «рентабельность» этих мероприятий по предложенной выше методике. 
   С точки зрения экономистов, однако,  данный подход требует уточнения категориального    аппарата, поскольку некоторые авторы считают, что полезность выражается не в денежных единицах, а в некоторых условных единицах, определенных на основании экспертной оценки******, таким образом, при использовании этого подхода не понятным остается какого типа информацию необходимо собрать , чтобы оценить полезность. 
   Действительно, Дж.Филипс предполагает, что «полезность» от обучения в данном случае может быть оценена в стоимостных выражениях, например, в приросте товарооборота или в суммарном эквиваленте дополнительно заключенных контрактов, однако, такие эффекты не совсем верно называть «полезностью». В противном случае снижение продаж можно тогда оценить с точки зрения «вредности». 
   К сожалению, в большинстве случаев дать точную оценку дополнительного эффекта не представляется возможным, хотя бы потому, что имеют место сезонные колебания, влияние внешних факторов и т.д., поэтому применение данного подхода на практике вызывает большие сложности и, как правило, приводит к существенному огрублению оценки, если не сказать больше – результаты иногда могут «лукавить» относительно эффективности данных мероприятий. 

3. Методика бипараметрической оценки

МакГи предлагает бипараметрическую оценку, то есть рассматривает результативность и эффективность обучения, он также вводит понятия результативности и эффективности и как их оптимальное сочетание вводит понятие  производительности обучения. 
   Мы со своей стороны при решении оценки целесообразности, эффективности обучения предлагаем последовательное приближение к решению данного вопроса, то есть отказаться от мысли разработки универсального инструмента измерения эффективности обучения в организации , а «подбирать методику измерения эффективности», учитывая специфику облучающих мероприятий, спектр которых достаточно широк. 
   Если стоит задача – оценить успешность мероприятий через снижение стоимости бизнес-процесса (правда это только частный случай – снижение издержек), то оптимальным будет следующий набор формул для оценки эффективности обучения.  

 Частный экономический  эффект от мероприятия по обучению  персонала, вызвавшего изменение  стоимости данного бизнес-процесса  можно определить следующим образом  (1):             

         (1) 

-  стоимость бизнес-процесса (единицы производимой продукции) до обучения,руб. 
  - стоимость бизнес-процесса после обучения, руб.  

 Определение абсолютного  значения эффекта позволяет лишь  выяснить тенденции, масштаб и  направление эффекта от обучения (положительный, нейтральный, отрицательный), поэтому целесообразно сопоставить  значение эффекта  с затратами, направленными на обучение персонала.  

 Интерпретация результата:  
если       - следовательно, успех был достигнут, по крайней мере, цель снижения издержек была достигнута, однако – вопрос цены. Поэтому – необходимо определить чистый эффект. 
Чистый частный экономический эффект от мероприятии по обучению персонала определяется следующим образом:             

        (2) 

-  стоимость бизнес-процесса ( единицы производимой продукции) до обучения, руб. 
  стоимость бизнес-процесса после обучения, руб. 
  – стоимость программы обучения ( затраты компании на содержание учебного центра), руб. 
Определение абсолютного значения частного эффекта позволяет сравнить результат от деятельности с затратами на обучение (превышают выгоды затраты или нет).

Интерпретация результата:  
если   - следовательно положительный результат был достигнут, по крайней мере, снижение издержек превысило затраты – деятельность приносит чистый эффект. 
   Данная последовательность расчетов целесообразна для оценки эффективности обучения именно линейного персонала , например, в результате проведения тренинговых мероприятий , скорость обслуживания клиентов увеличилась,  качество обслуживания клиентов (при этом качество может оцениваться снижением количества ошибок, жалоб клиентов) уменьшилось и проч. 
   В случае сопоставления нескольких вариантов обучения (программ, видов, во времени, пространстве) целесообразно определить эффективность. 
Экономическая эффективность обучения  ( динамическая связь между ресурсами и деятельностью) может быть выражена формулой:             

        (3) 

-  стоимость бизнес-процесса ( единицы производимой продукции) до обучения, руб. 
  – стоимость бизнес-процесса после обучения, руб. 
  – стоимость программы обучения (затраты компании на содержание учебного центра), руб.

Интерпретация результата:  
   Таким образом, мы понимаем, что если    обучение неэффективно, если   обучение эффективно.  

 Более традиционный  для восприятия и простой в  интерпретации – показатель доходности (рассмотрим как типичный показатель  для бизнеса – соотношением  чистого дохода к затратам)           

        (4)

Доходность (возврат на инвестиции в обучение) выражается в процентах.

Интерпретация результата:  
если   - следовательно вид деятельности доходен, иначе – затраты на обучение не возвращаются в виде дополнительного эффекта  

 Этот показатель удобно  применять в случае сопоставления  нескольких вариантов или реализованных  мероприятий 
   Например, сравнение можно проводить следующим образом: 
   Сравнительная эффективность программ обучения может быть использована для  выбора в пользу той или иной программы: 
(С1-С2)/С3 X 100%,     200/60 =3,3 
(В1-В2)/В3 X 100%, 40/15 =2, 5  
   Таким образом,  очевидно, что несмотря на  более дешевую программу обучения в первом случае, ее эффективность оказалась ниже, чем в первом случае, где программа обучения дороже. 
   Определение сравнительной эффективности обучающих мероприятий может также помочь определять эффективность обучения, которое проводилось по идентичным программам в разных структурных подразделениях  организации, что бывает необходимым и полезным  при выстраивании корпоративной стандартизированной системы обучения.

4. Оценка эффективности обучения в рамках  комплексных систем оценки типа BSC, KPI.  

 Часто оценивая отдельные  направления развития компании, в современном менеджменте применяются  комплексные системы оценки, включающие  ряд частных показателей, отражающих  эффективность подразделений, в  рамках моделей которых, удачно  применяются методы комплексной  оценки, например, выясняя вклад  тех или иных подразделений  в общий результат деятельности. Среди вышеназванных моделей  можно отметить применимость  каждой из них для решения  задач оценки эффективности обучения  персонала, выделив под отдел,  отвечающий за обучение, определенный  набор целевых показателей, позволяющих  дать оценку именно этому подразделению  компании. 
   Например, выделив некоторые количественные и качественные показатели данному подразделению, предполагая, что мероприятия по обучению персонала скажутся на этих показателях, мы сможем дать оценку эффективности данных мероприятий в комплексе и по каждому отдельному эпизоду, связанному с обучением. Четко определив корреляцию этих показателей с показателями эффективности подразделений, прошедших обучение, мы сможем проанализировать эффективность работы по обучению персонала в целом на предприятии. Однако такой качественный факторный анализ********. 
   Данные методики сложны к применению, вследствие широты спектра действия, однако, при умелом их использовании достигается не только интуитивная их понятность, адекватность и согласованность, что в целом, позволяет решить обозначенную выше проблему. Разработка системы показателей позволит не только всесторонне оценить, но и в режиме реального времени отслеживать уровень эффективности данных мероприятий. 

5.Модель оценки  Блума.

Эта модель предусматривает возможность оценки эффективности достижения непосредственно учебных целей (таксономия Блума).

Она представлена 6 уровнями достижения учебных целей программы  обучения.

5.1. Знание.

Эта категория обозначает запоминание и воспроизведение  изученного материала - от конкретных фактов до целостной теории:

воспроизводит термины, конкретные факты, методы и процедуры, основные понятия, правила и принципы.

5.2. Понимание.

Показателем понимания может  быть преобразование материала из одной  формы выражения - в другую, интерпретация  материала, предположение о дальнейшем ходе явлений, событий:

объясняет факты, правила, принципы; преобразует словесный материал в математические выражения; предположительно описывает будущие последствия, вытекающие из имеющихся данных.

5.3. Применение.

Эта категория обозначает умение использовать изученный материал в конкретных условиях и новых  ситуациях:

применяет законы, теории в  конкретных практических ситуациях; использует понятия и принципы в новых  ситуациях.

5.4. Анализ.

Эта категория обозначает умение разбить материал на составляющие так, чтобы ясно выступала структура:

вычленяет части целого; выявляет взаимосвязи между ними; определяет принципы организации целого; видит ошибки и упущения в логике рассуждения; проводит различие между  фактами и следствиями; оценивает  значимость данных.

Уровень 5. Синтез.

Эта категория обозначает умение комбинировать элементы, чтобы  получить целое, обладающее новизной:

пишет сочинение, выступление, доклад, реферат; предлагает план проведения эксперимента или других действий; составляет схемы задачи.

5.6. Оценка.

Эта категория обозначает умение оценивать значение того или  иного материала:

оценивает логику построения письменного текста; оценивает соответствие выводов имеющимся данным; оценивает  значимость того или иного продукта деятельности.

*Фасилитация – метод, применяемый в бизнес - тренинге для структурированного и интенсивного сбора мнений участников по определенному локальному вопросу. Электронный ресурс:http://www.akademiki.biz/forum/index.php?showtopic=3309 
  **Kirkpatrick Donald/ Evaluating Training Programs. San Francisco:  Berrett-Koehler Publishers, Inc. 1978 
  ***Зазовская Н.М., Мартынов В. Г. Внутрикорпоративное управление профессиональным развитием персонала в системе менеджмента качества. М.: Издательско-торговая корпорация «Дашков и К», 2004, - С.35 
  ****С. Михалков.   
  *****Зазовская Н.М., Мартынов В. Г. Внутрикорпоративное управление профессиональным развитием персонала в системе менеджмента качества. М.: Издательско-торговая корпорация «Дашков и К», 2004, - С. 36 
  ******Козлов В.В. Методика оценки эффективности инвестиционной деятельности организаций розничной торговли // Оптовая и розничная торговля: современное состояние и перспективы развития, Ижевск, 2005 с.87-91  
            Виленский П.Л. Оценка эффективности инвестиционных проектов: Теория и практика: учеб.пособие / П.Л. Виленский, Лившиц Б.И., Орлова Е.Р., Смоляк С.А. – М.: Дело, 2002г. – 832 с. 247.  
             П.Никитенко, Л.Платонова. Конкурентоспособность – важнейший индикатор эффективности производства // Финансы, учет, аудит №3, 2005г., с.19-20 
  *******Зазовская Н.М., Мартынов В. Г. Внутрикорпоративное управление профессиональным развитием персонала в системе менеджмента качества. М.: Издательско-торговая корпорация «Дашков и К», 2004, -С.55-62 

********Экономическая теория: учебное пособие / В.М. Соколинский,  В.Е. Корольков [ и др.]; по ред. А. Г. Грязновой и В.М. Соколинского. – 3-е изд., стер. – М.: КНОРУС, 2007. -  С.31.