szkolenia.babia-gora.pl

Podstawy teoretyczne

Usystematyzowane badanie efektywności szkoleń z reguły odbywa się w oparciu o model spopularyzowany przez Donalda Kirkpatricka. Model ten obejmuje cztery poziomy pomiaru efektywności

Poziomy pomiaru efektywności szkoleń wg. Kirkpatricka

• Poziom reakcji,
  czyli opinie i zadowolenie uczestników po szkoleniu.
  Techniki pomiaru: głównie ankiety i wywiady (rozmowy).

• Poziom nauki,
  czyli wiedza i umiejętności opanowane podczas szkolenia
  Techniki pomiaru: test wiedzy i umiejętności, obserwacja treningu końcowego, case study na zakończenie szkolenia

• Poziom zachowań,
  czyli wdrożenie treści szkolenia i faktyczna zmiana sposobu realizacji zadań po powrocie do pracy.
  Techniki pomiaru: obserwacja, analiza materiałów

• Poziom rezultatów
  czyli wymierne korzyści ze szkolenia dla Firmy.
  Techniki pomiaru: analiza materiałów, wywiady (rozmowy)

Praktyka: trudności

Model Kirkpatricka jest bardzo spójny i atrakcyjny. Zazwyczaj jednak najatrakcyjniejsza teoria to taka, której nie trzeba sprawdzać w praktyce. A praktyka badania efektywności jest niestety dużo bardziej złożona niż powyższy model.

Pogłębione badania systemów szkoleniowych, prowadzone w 2002 roku przez Centrum Szkoleniowe JET na grupie przeszło 100 przedsiębiorstw wykazały, że około 85 % firm poprzestaje na pomiarze poziomu reakcji (za pomocą ankiet i rozmów). Incydentalnie bada się w nich również poziom nauki (za pomocą testów wiedzy). Pozostałe firmy, które mimo wszystko próbowały mierzyć poziom zachowań i rezultatów, napotykały na liczne trudności. Trudności te mają miejsce również przy diagnozowaniu poziomu reakcji i nauki. Oto – wyłoniona podczas badań i w trakcie sesji dyskusyjnej z dyrektorami personalnymi – skrócona lista kluczowych problemów na każdym z czterech poziomów:

• Syndrom „Przelukrowanej laurki” (poziom reakcji). Wbrew pozorom, nie jest łatwo uzyskać wyważoną opinię uczestników o szkoleniu. Jest ona z reguły znacznie zawyżona z powodu sympatii uczestników do trenera, niewłaściwie sformułowanego pytania lub zwykłej manipulacji ze strony firmy szkoleniowej wykonanej jeszcze podczas szkolenia.

• Syndrom „Psychozabawy” (poziom nauki). Skonstruowanie dobrego testu wiedzy wymaga ścisłej współpracy pomiędzy specjalistą merytorycznym ze strony zleceniodawcy a firmą szkoleniową. Pozostawienie przygotowania testu firmie szkoleniowej naraża na manipulację (test może stać się „psychozabawą”, która zawsze wypadnie dobrze – wystarczy, że trener podczas szkolenia silnie akcentuje te elementy, o które za chwilę zapyta w teście).

• Syndrom „Niemierzalnych umiejętności” (poziom nauki). Badając naukę, dość łatwo można ocenić poziom przyswojenia wiedzy. Jednak bardzo rzadko udaje się skonstruować dobry test mierzący poziom przyswojenia umiejętności. Z kolei zastosowanie assessment center po szkoleniu bywa zbyt drogie i nieracjonalne.

• Syndrom „Kałczingu” (poziom zachowań). Prawidłowa diagnoza rzeczywistych zmian w zachowaniach leży przede wszystkim po stronie bezpośrednich przełożonych, którzy na rzetelny, bieżący monitoring i coaching nie mają ani czasu, ani ochoty. W rezultacie np. karty oceny zachowań są wypełniane bardzo pobieżnie i w mało wiarygodny sposób.

• Syndrom „Współzależności” (poziom rezultatów). Bardzo trudno jest stwierdzić, na ile zmiana wskaźników biznesowych jest efektem szkoleń, a na ile skutkiem oddziaływania innych czynników wewnątrz organizacji lub poza nią. Problem ten staje się wyraźny zarówno wtedy, gdy szkolenia przyniosą oczekiwany skutek (jak wiadomo, sukces ma wielu ojców), jak i gdy nie spełnią oczekiwań (wówczas szkoleniowiec staje się „kozłem ofiarnym”).

Praktyka: rozwiązania

Sposób 1: Dobre pytania w ankiecie.

Czas odłożyć do lamusa pytania dotyczące tego, czy szkolenie się podobało, czy nie. W ramce (Przykład 1) znajduje się lista wybranych pytań, pozwalających na uzyskanie bardziej cennych informacji. Jak słusznie zauważył jeden z dyrektorów personalnych, brak odpowiedzi na ostatnie pytanie... też jest odpowiedzią.

Przykład 1.
Wybrane pytania w ankiecie mierzącej poziom reakcji.

1. Stwierdzenia ze skalą punktową (A–E, 1–5, 0%–100% itp.)

• Cele szkolenia zostały jasno zakomunikowane

• Cele szkolenia zostały zrealizowane

• Poszczególne techniki i ćwiczenia miały istotne przełożenie na moją pracę

• Wykorzystane metody szkoleniowe były zróżnicowane i aktywizowały mnie

2. Wymień trzy techniki z tego szkolenia, które uważasz za najbardziej przydatne w pracy

3. Opisz, w jaki sposób nowa wiedza (umiejętności) wpłynie na wyniki osiągane przez

• Ciebie

• Zespół

• Firmę?

Sposób 2: Wiarygodny test

Podobnie, jak podczas rekrutacji na specjalistyczne stanowisko w firmie, w tworzeniu testu powinien brać udział ekspert merytoryczny (przeważnie szef szkolonej grupy). To on wie (a jeżeli jeszcze nie wie, to wtedy ma okazję sprecyzować), jaką wiedzę i jakie umiejętności powinni posiąść jego podwładni oraz w jakich sytuacjach wiedza powinna znaleźć zastosowanie. Złotą zasadą jest przeprowadzenie tego samego testu przed szkoleniem (jako pretest) oraz po szkoleniu (post-test). Warto zwrócić uwagę na dwa rodzaje pytań, które mogą się znaleźć w teście: dotyczące wiedzy (Przykład 2, pytanie A) lub zastosowań tej wiedzy (Przykład 2, pytanie B). Druga grupa pytań (odwołujących się do zastosowań) jest znacznie trudniejsza do sformułowania, ale też daje bardziej cenną wiedzę.

Przykład 2
Pytania testowe sprawdzające wiedzę (pytanie A) oraz umiejętność zastosowania tej wiedzy (pytanie B)

Pytanie A.
Który poziom pomiaru efektywności szkolenia w modelu Kirkpatricka odwołuje się do pomiaru opinii uczestników?

• poziom nauki

• poziom rezultatów

• poziom reakcji

• poziom zachowań

Pytanie B.
Otrzymałaś(-eś) zadanie zbadania efektywności szkolenia z obsługi klienta. Zaznacz wszystkie techniki, które pozwolą Ci w wiarygodny sposób oszacować rezultaty tego szkolenia

• ankieta

• analiza wskaźników zadowolenia Klientów

• analiza korespondencji przychodzącej i wychodzącej

• obserwacja

• wywiad zogniskowany ze szkoloną grupą

• wywiad zogniskowany z przełożonymi szkolonej grupy

Sposób 3: Analiza scenek pod koniec szkolenia

Przy niektórych szkoleniach „miękkich” dobrym testem umiejętności (a przy okazji namiastką „assessment center”) są scenki. Pamiętając o tym, że uczestnicy muszą mieć zagwarantowaną swobodę popełniania błędów – nawet podczas treningu końcowego – trener może sprawdzać, które techniki zostały prawidłowo i we właściwym momencie zastosowane. Wnioski z tego rodzaju obserwacji nie mogą być imienne, aby nie nadwyrężyć zaufania Uczestników do szkoleń.

Sposób 4: Zadanie do wykonania

Poziom nauki oraz częściowo poziom zachowań można zmierzyć, przekazując Uczestnikom na koniec szkolenia specjalnie zaprojektowane zadanie. Weryfikacja wykonania tego zadania podczas kolejnej sesji (o charakterze follow-up) pozwala sprawdzić, czy uczestnicy rzeczywiście opanowali umiejętności ze szkolenia i jak sobie radzą z ich wdrażaniem w praktyce.

Sposób 5: Ankieta „na zimno”

W odróżnieniu od ankiety „na gorąco”, przeprowadzonej od razu po szkoleniu, ankieta „na zimno” (4-6 tygodni po zakończeniu szkolenia) pozwala uzyskać znacznie bardziej wyważone opinie. Podobnie jak w przypadku ankiety „na gorąco”, wiele zależy od jakości pytań (Przykład 3)

Przykład 3
Wybrane pytania w ankiecie „na zimno”

• W jakim stopniu uważasz, że szkolenie było przydatne w Twojej pracy?

• Na ile zrealizowałeś plan wdrożenia napisany na szkoleniu?

• Których elementów nie udało się wdrożyć? Dlaczego?

• Podaj przykłady konkretnych sytuacji w Twojej pracy, które rozwiązałeś, używając technik ze szkolenia

• Jak sądzisz, co firma ma z tego, że uczestniczyłeś w tym szkoleniu?

Sposób 6: Analiza kart oceny okresowej

Jeżeli przyjmiemy, że karty oceny okresowej są względnie wiarygodnym odbiciem rzeczywistości (bo jeżeli nie są, to po co je stosować?), można ich wyniki wykorzystać do pomiaru poziomu zachowań w skali całej organizacji (Przykład 4). Tym samym można ocenić, czy strategia szkoleniowa realizowana w ostatnim roku była skuteczna (a więc czy wpłynęła na zmianę kompetencji i zachowań), czy nie.

Przykład 4.
Interpretowanie wyników ocen okresowych

Załóżmy, że jedną z kompetencji handlowca, zawartych w kartach oceny okresowej, jest umiejętność analizy potencjału klienta. Grupa pracowników i menedżerów brała udział w adekwatnych szkoleniach. Teoretycznie pod koniec roku średnia ocena tejże kompetencji dla szkolonej grupy powinna być wyższa niż przed rokiem. Ponadto wzrost poziomu tej kompetencji w szkolonej grupie powinien przekraczać średni wzrost dla tej samej kompetencji w całym dziale. Jeżeli wzrost jest analogiczny w grupie szkolonej oraz w grupie „kontrolnej”, istnieje podejrzenie, że szkolenia nie miały wpływu na poprawę zachowań.

Sposób 7: Pytaj podwładnych i Klientów

W przypadku szkoleń menedżerskich, handlowych, dotyczących obsługi klienta itd. dobrym źródłem informacji o zmianie zachowań są bezpośredni zainteresowani: podwładni i współpracownicy (czyli klienci wewnętrzni) oraz klienci zewnętrzni. Najwięcej strachu budzi ankieta dotycząca stylów i kompetencji menedżerskich, wręczana podwładnym szkolonej grupy (podwładni boją się „zdemaskowania” np. po charakterze pisma, a przełożeni prawdy). Tak czy inaczej, ewentualne „trzęsienie ziemi” wywołane tego rodzaju ankietą jest z reguły potrzebne. Problem oporu kierowników znika w organizacjach, które skutecznie wprowadziły system ocen 180 lub 360 stopni. Z praktyki Centrum Szkoleniowego JET wynikają dwie złote zasady tego rodzaju ocen. Po pierwsze, podwładni muszą mieć zagwarantowaną poufność. Ten sam problem dotyczy badania opinii klientów o przedstawicielach handlowych. Bardzo często zdarza się, że klient nie chce „skrzywdzić” przedstawiciela, z którego pracy nie jest zadowolony, ale z którym długo się spotyka. Po drugie, warto jeszcze podczas szkoleń menedżerskich tak posterować grupą, aby... kierownicy sami poprosili o badania i niezależną opinię o swoich zachowaniach. A ten cel dla doświadczonego trenera jest dość łatwy do osiągnięcia.

Sposób 8: Znajdź odpowiedni wskaźnik.

Poziom trudności pomiaru efektywności szkolenia zależy w dużym stopniu od tematu. Pocieszająca jest opinia części naszych respondentów, że „dla chcącego nic trudnego”. Istnieją wskaźniki pozwalające wiarygodnie zmierzyć poziom skuteczności w przypadku niemal każdego tematu szkolenia (por. Przykład 5)

Przykład 5.
Dobór wskaźnika do tematu szkolenia

Jednym z efektów szkoleń z obsługi klienta powinny być zmiany we wskaźnikach zadowolenia klientów lub ograniczenie odpływu klientów do konkurencji. Po szkoleniach z przywództwa (leadershipu) powinien poprawić się wskaźnik opinii o przełożonym, ale także oczekujemy spadku rotacji personelu w stosunku do rotacji w zespołach lub firmach zarządzanych przez szefów, którzy w podobnym szkoleniu nie brali udziału. Tezę tę można wysnuć bazując na badaniach, które mówią, że zła atmosfera oraz niedobre stosunki z szefem to dwa z pięciu najczęstszych powodów odejść z pracy. Co więcej, w badaniach prowadzonych przez Centrum Szkoleniowe JET okazało się, że nawet tak „niemierzalny” temat jak budowanie zespołu (teambuilding) może być zweryfikowany za pomocą solidnych wskaźników. Wskaźniki ekspansywności, spoistości i integracji grupy można uzyskać za pomocą badania socjometrycznego.

Sposób 9: Porównanie wyników z wynikami grupy kontrolnej

Z badań Centrum Szkoleniowego JET wynika, że co dziesiąta firma bardzo rozważnie podchodzi do inwestowania budżetów w masowe szkolenia z obsługi klienta, sprzedaży, zarządzania lub dowolnego innego tematu. Prowadzony jest wtedy pilotaż dla reprezentatywnej grupy (różny staż, różne obszary lub terytoria pracy). Następnie po około 4-6 tygodniach sprawdzana jest dynamika pożądanych wskaźników w stosunku do dynamiki tych samych wskaźników w grupie, która w szkoleniu nie brała udziału. Dzięki temu unika się efektu zakłócenia obrazu skuteczności szkolenia przez zewnętrzne czynniki, jak działania konkurencji, zmiana systemu motywacyjnego, sposób zarządzania, staż pracy itp. Jedyną wadą tego rozwiązania jest konieczność opóźnienia startu serii szkoleń o dwa – trzy miesiące, ale jak podkreślają dyrektorzy personalni – zalet jest znacznie więcej. Pilotaż pozwala zmierzyć rzeczywistą skuteczność szkolenia, poza tym firmy szkoleniowe – mając w perspektywie tak surową i tak wiarygodną ocenę jakości ich działań – albo odmawiają przeprowadzenia i zmierzenia skuteczności szkolenia „próbnego”, albo bardzo starannie się do niego przygotowują.

Sposób 10. Badania kultury organizacyjnej
Badania kultury organizacyjnej, zdrowia organizacyjnego lub satysfakcji pozwalają ocenić, czy pracownicy są zadowoleni ze sposobu zarządzania, z posiadanych kompetencji itd. Zmiana wskaźników w pożądanym kierunku bywa wykorzystywana podczas pomiaru efektywności szkoleń, zwłaszcza, jeżeli uda się udowodnić, że pozytywna zmiana nastąpiła w większym stopniu w grupie objętej szkoleniami niż u pozostałych pracowników. Niestety, interpretowanie wyników tych badań jest dość niejednoznaczne (por. Uwaga 1)

Uwaga 1.
Interpretowanie wyników badań kultury organizacyjnej

Krytycy tzw. dwuczynnikowej teorii motywacji Herzberga wykazali, że nie istnieje żaden udokumentowany związek pomiędzy satysfakcją pracowników a ich efektywnością. Innymi słowy, stwierdzenie, że „zadowolony pracownik to wydajny pracownik” niestety jest tylko życzeniowym sloganem, nie znajdującym poparcia w badaniach. Prawdziwe jest natomiast stwierdzenie, że „zadowolony pracownik to mniej rotujący pracownik”. Z drugiej strony, na Zachodzie (i coraz częściej w Polsce) firmy doradztwa personalnego oferują badania satysfakcji pracowników wraz z mechanizmami przeliczania satysfakcji pracowników na konkretne pieniądze. Co to oznacza? Otóż zdaniem niektórych badaczy zmiana satysfakcji pracowników w obszarze „Rozwój” o jeden punkt procentowy powinna poprawiać wynik finansowy firmy, np. o 0,5 %. Posiadając tego rodzaju dane, szacowanie skuteczności szkoleń byłoby bardzo wdzięcznym procesem. Problem w tym, że metodologię wyznaczania tego rodzaju „kalkulatorów” kwestionują liczni badacze – polscy i zagraniczni, odwołując się do krytyków Herzberga.

Profilaktyka

Przeważnie o badaniu efektywności szkolenia jego twórcy zaczynają myśleć dopiero po jego zakończeniu. Ponieważ lepiej jest zapobiegać niż leczyć, prezentujemy listę wybranych działań podczas przygotowania i realizacji szkoleń, które w przyszłości ułatwiają wiarygodny pomiar efektywności szkoleń.

Sposób 11. Formułuj cele w kategorii czterech poziomów Kirkpatricka.

Sposób sformułowania celu powinien uwzględniać sposób jego pomiaru. Przykład 6 pokazuje, jak sformułowane są cele odwołujące się do poszczególnych poziomów w kategorii Kirkpatricka.

Przykład 6.
Powiązanie celu z poziomem Kirkpatricka.

Poziom 1 (Reakcja):
„Po szkoleniu ocena przydatności szkolenia powinna wynosić przynajmniej 85 %”

Poziom 2 (Nauka):
„Po szkoleniu uczestnik będzie potrafił dawać konstruktywną informację zwrotną”; „Po szkoleniu uczestnik będzie rozumiał wpływ coachingu na biznesową efektywność zespołu”

Poziom 3 (Zachowania):
„Po szkoleniu kierownik będzie najpierw wskazywał sukcesy, a dopiero później sfery do poprawy”

Poziom 4 (Rezultaty):
„Po szkoleniu nastąpi spadek kosztów w zakresie błędów popełnianych przez pracowników obsługi Klienta”, „Po szkoleniu nastąpi spadek rotacji w zespole”

Sposób 12: Skonkretyzuj temat szkolenia

Skuteczność szkolenia zależy w dużym stopniu od sposobu określenia tematu. Oszacowanie skuteczności w przypadku tematu „Zaawansowane techniki obsługi klienta” jest znacznie trudniejsze niż w przypadku szkolenia „Jak zwiększyć lojalność i zadowolenie Klientów?”. Inna też będzie efektywność szkolenia „Przywództwo i motywowanie” w stosunku do szkolenia „Jak walczyć z »wypaleniem« pracowników?”. Podsumowując, jeżeli szkolenie jest zaprojektowane w celu rozwiązania określonego problemu w organizacji, a nie jest szkoleniem ogólnorozwojowym, powierzchownym, jego efektywność prawdopodobnie będzie wyższa, a pomiar – łatwiejszy.

Sposób 13: Inwestuj, nie wydawaj

W organizacji zdarzają się szkolenia, których głównym celem jest danie oddechu pracownikom lub dowartościowanie najlepszych. Każda decyzja szkoleniowa wymaga jednak szczerości wobec samego siebie: czy wydajemy pieniądze na zabawę, czy inwestujemy? Jeżeli decydują się Państwo na inwestycję, warto pamiętać, jak niebezpieczne bywa „inwestowanie w ciemno”. Każdy z nas, mając do zainwestowania określoną sumę pieniędzy, żąda od banku gwarancji lub – w najgorszym razie, jeśli takich gwarancji nie ma – analizuje wiarygodność inwestycji, patrząc np. na wyniki funduszu inwestycyjnego w przeszłości lub śledząc dynamikę wskaźników giełdowych. A więc muszą być jakiekolwiek przesłanki, aby móc przewidzieć zwrot z inwestycji. Tak czy inaczej, jak zauważył jeden z naszych rozmówców, po prostu nie opłaca się wydawać „w ciemno” budżetu na szkolenie a następnie czekać z zapartym tchem, czy skutek nastąpi, czy też nie. Podobnie, jak unikamy tego rodzaju ryzyka w przypadku własnych oszczędności.

Sposób 14: Angażuj przełożonych szkolonej grupy

W mierzeniu efektywności szkoleń – zwłaszcza na poziomie zachowań – udział kierowników jest niezbędny. Z naszych doświadczeń wynikają dwie rady. Po pierwsze, warto zawsze zaczynać od warsztatów dla menedżerów (tzw. kaskada szkoleń – z góry na dół). Po drugie, podczas warsztatów można ich zaangażować w proces budowania szkolenia dla podwładnych. Praktyka pokazuje, że menedżerowie znacznie intensywniej egzekwują od podwładnych stosowanie technik i zasad, których współtwórcami się czują. Ponadto znacznie łatwiej będzie im mierzyć zachowania, które sami zdefiniowali na etapie przygotowań do szkolenia.

Podsumowanie:

Współodpowiedzialność za sukces i porażkę

Problem oddzielania wpływu szkoleń od wpływu innych czynników na wskaźniki biznesowe przestaje być istotny, gdy przyjmiemy współodpowiedzialność za ewentualny sukces lub porażkę polityki personalnej na wszystkich szczeblach. Jest to możliwe, gdy organizacja stwarza poczucie gry do jednej bramki i nie wyszukuje kozłów ofiarnych. Niektórzy dyrektorzy personalni i szkoleniowcy zauważyli, że stwierdzenie „ja zrobiłem wszystko, a to inni zawinili” oznacza, że tak naprawdę nie zrobiło się wszystkiego. Zdaniem naszych rozmówców, praca w dziale szkoleń wymaga w równym stopniu umiejętności technicznych i metodologicznych, jak i dyplomacji. A więc nasza skuteczność zależy również od tego, na ile potrafimy przekonać decydentów do pracy zespołowej, korekt w systemie motywacyjnym, ewentualnych zwolnień i ponownej rekrutacji itp. Poza tym, nawet jeżeli nie uda się przekonać decydentów do zmian, zawsze istnieje możliwość przeprojektowania szkolenia w ten sposób, aby uwzględniało potencjalne bariery. Praktyka pokazuje, że umiejętność przekonywania (a więc inicjowania zmian) oraz „szycia na miarę” (a więc dostosowania projektów do elementów, które musimy przyjąć jako constans) to kluczowe umiejętności – dla każdego inicjatora szkoleń. Dla każdego handlowca i każdego klienta najważniejszym argumentem są wymierne wskaźniki biznesowe. Te same wskaźniki są najważniejsze dla Państwa klientów wewnętrznych.

Literatura:

1. P. Bramley, Ocena efektywności szkoleń, Dom Wydawniczy ABC, Warszawa 2001

2. J. Hale, The Performance Consultants Fieldbook, JB Pfeiffer, San Francisco 1999

3. J. Ivancevich, I. Matteson, Organizational behavior and management, Homewood, IL 1990

4. D.L. Kirkpatrick, Ocena efektywności szkoleń, Studio Emka, Warszawa 2001

5. Sz. Kudła, „Gwiazdy, łańcuchy, pętle”, Personel, luty 1999

6. M. Łobocki, Metody badań pedagogicznych, PWN, Warszawa 1984

7. M. Milano, D. Ullius, Designing Powerful Training, ASTD / JB Pfeiffer, San Francisco 1999

8. S. Nowak, Metody badań socjologicznych, Warszawa 1965

9. T. Pilch, Zasady badań pedagogicznych, Wyd. Żak, Warszawa 1995

10. Materiały z badań Polityka szkoleniowa polskich przedsiębiorstw, Centrum Szkoleniowe JET, 1999 – 2002

11. Materiały z seminarium dla specjalistów personalnych i szkoleniowców Skuteczne Systemy Szkoleniowe, Centrum Szkoleniowe JET, 2000 - 2002





Centrum Szkoleniowe JET
Szymon Kudła, Jakub Banasiak