Czy szkolenie z AI naprawdę działa? Dobre opinie uczestników to za mało

Dziesięć z jedenastu osób wskazało KREDO jako najważniejszą rzecz wyniesioną z mojego szkolenia AI. Mógłbym uznać to za sukces, opowiedzieć o świetnej skuteczności swojej metody i zamknąć temat. Tylko że byłoby to zdecydowanie za daleko idące stwierdzenie.

Zapamiętanie czegoś nie oznacza jeszcze, że potrafimy to wykorzystać

KREDO to moja metoda budowania promptów, oparta na pięciu elementach: Kontekst, Rola, Edycja, Działanie, Odniesienie.

Uczę jej, ponieważ zależy mi na przekazywaniu uczestnikom technik, a nie tylko gotowych instrukcji do kopiowania. Chcę, żeby potrafili samodzielnie rozwiązywać nowe problemy, także te, których nie przećwiczyli podczas zajęć.

Kiedy pod koniec jednego ze szkoleń zapytałem o najważniejszą wyniesioną z niego rzecz, dziesięć osób z jedenastu napisało na czacie „KREDO”.

To ciekawa obserwacja. Pokazuje, że pewien element szkolenia zapadł uczestnikom w pamięć przynajmniej na tyle, żeby wskazali go na zakończenie zajęć.

Nie wiem jednak, czy następnego dnia potrafiliby zastosować tę metodę w swojej pracy, rozpoznać błędy w nieprecyzyjnym prompcie i bez mojej pomocy uzyskać lepszy wynik. Tego nie zmierzyłem.

I właśnie dlatego uważam, że rozmowa o skuteczności szkoleń powinna wychodzić poza ankietę zadowolenia.

Co moim zdaniem powinno dziać się podczas szkolenia?

Mam kilka przekonań dotyczących projektowania zajęć, które wypracowałem podczas pracy z grupami.

Przede wszystkim nie chcę, żeby uczestnicy przez większość czasu biernie słuchali. Wprowadzam więc ćwiczenia, eksperymenty, zadania w parach i wyzwania wymagające samodzielnego myślenia.

Czasami uczestnicy próbują złamać agenta AI przygotowanego przez inną parę. Innym razem naprawiają prompt, obserwują rezultat jego działania i szukają sposobu na poprawę.

Staram się również korzystać z problemów, które pojawiają się bezpośrednio na sali. Jeśli uczestnik przedstawia realne zadanie ze swojej pracy, taki przykład może okazać się bardziej użyteczny niż przygotowany wcześniej scenariusz.

Nie rezygnuję przy tym z humoru. Historie, memy i proste skojarzenia pomagają mi budować uwagę grupy. Zależy mi, żeby uczestnicy coś przeżyli, a nie tylko wysłuchali kolejnego wyjaśnienia.

Równie ważna jest dla mnie umiejętność reagowania na to, co dzieje się podczas zajęć.

Jeżeli grupa księgowych przyszła nauczyć się praktycznego wykorzystania AI, nie widzę sensu w przeciąganiu wykładu o sieciach neuronowych i temperaturze modelu. Zwłaszcza jeśli uczestnicy już dawno przestali słuchać.

Moje podejście opiera się więc na dopasowaniu treści, aktywnych ćwiczeniach i uważnej obserwacji grupy.

To jednak nadal opis sposobu pracy, a nie dowód jego skuteczności.

Co chciałbym zmierzyć, zanim powiem, że moja metoda działa?

Od pewnego czasu zastanawiam się, jak rzetelnie sprawdzić efekty prowadzonych przeze mnie szkoleń.

Nie interesuje mnie wyłącznie pytanie, czy uczestnikom się podobało. Chciałbym dowiedzieć się, co faktycznie potrafią zrobić po zakończeniu zajęć, czego nie potrafili wcześniej.

Widzę tu możliwość przeprowadzenia prostego pomiaru przed i po szkoleniu.

Przykładowo uczestnik mógłby przed rozpoczęciem zajęć otrzymać zadanie wymagające napisania instrukcji dla AI. Po szkoleniu rozwiązałby porównywalne zadanie, a wyniki zostałyby ocenione według tych samych kryteriów.

Można byłoby przyjrzeć się nie tylko jakości końcowej odpowiedzi modelu, ale również temu, czy uczestnik potrafi rozpoznać nieudany rezultat i poprawić swoją instrukcję.

To na razie pomysł na pomiar, a nie przeprowadzone badanie.

Chciałbym mieć takie dane, ponieważ wiem, że dobra atmosfera podczas szkolenia nie musi automatycznie oznaczać rozwoju kompetencji.

Co z tego wynika dla firmy zamawiającej szkolenie?

Gdybym odpowiadał za wybór szkolenia AI dla pracowników, nie ograniczałbym się do porównywania programów.

Zapytałbym trenera, w jaki sposób uczestnicy będą ćwiczyć samodzielnie, czy pojawią się przykłady z ich codziennej pracy i jak prowadzący zareaguje, jeśli okaże się, że grupa potrzebuje innego tempa.

Zapytałbym również, po czym będzie można poznać, że szkolenie przyniosło oczekiwany efekt.

Nie istnieje, przynajmniej w moim przekonaniu, jedna idealna recepta na wszystkie grupy. Sam nadal eksperymentuję, obserwuję i szukam lepszych rozwiązań.

Wiem też, że uczestnicy potrafią docenić angażujące zajęcia. Jeden z nich powiedział mi kiedyś: „Nie wierzyłem, że może być 8 godzin coś ciekawego”.

Chciałbym jednak, żeby w przyszłości równie mocnym argumentem były dla mnie wyniki pomiarów kompetencji.

Bo firma nie kupuje ośmiu godzin rozrywki ani prezentacji o sztucznej inteligencji. Kupuje możliwość nauczenia pracowników czegoś, co ma im się przydać.

A to powinno dać się sprawdzić.