Cum măsori dacă
training-ul AI
a funcționat.

Cele patru cifre care par un răspuns, dar nu sunt

Când vine întrebarea, cele mai multe firme răspund cu una dintre cifrele de mai jos. Nu pentru că ar fi cele mai bune, ci pentru că sunt cele mai ușor de scos din platforma pe care s-a ținut cursul. Hai să le luăm pe rând și să vedem ce spune, de fapt, fiecare.

• Câți au participatÎți spune că omul a fost în sală și cam atât. Nu ai de unde să știi ce face cu ce a învățat luni dimineață, când se întoarce la treaba lui obișnuită.
• Nota dată cursuluiMăsoară cât de plăcută a fost ziua, nu cât de folositoare. Un curs slab, ținut de un om simpatic, ia note mari. Un curs bun, care i-a scos pe oameni din obiceiuri vechi, ia uneori note mai mici, pentru că a fost incomod.
• Câte licențe sunt activeÎți arată doar că cineva a deschis aplicația. Deschis nu înseamnă folosit pentru o treabă adevărată. Multe licențe se deschid o dată, din curiozitate, și rămân așa luni întregi.
• „Am învățat multe”Se completează la cald, în ultimele cinci minute ale cursului, când toată lumea e încă entuziasmată și grăbită să plece. Dacă pui aceeași întrebare peste două săptămâni, primești alte răspunsuri.

Toate patru au aceeași problemă de fond: se citesc o singură dată, într-un singur moment. Numai că lucrul pe care vrei să îl afli nu este o stare, ci o schimbare. Cât de mult a intrat AI-ul în munca de zi cu zi a oamenilor tăi, față de cum era înainte? Iar o schimbare nu se poate vedea dintr-o singură citire. Ca să o vezi, trebuie să pui aceeași întrebare de cel puțin două ori, la distanță în timp.

De ce întrebăm de două ori despre timpul economisit

La finalul cursului îl întrebăm pe om cât timp crede că va economisi. La 14 zile îl întrebăm cât a economisit efectiv în ultimele șapte zile. Par aceeași întrebare, dar nu sunt, și le punem pe amândouă dintr-un motiv bun.

La finalul cursului, sala e caldă. Omul tocmai a văzut cu ochii lui ceva care merge și răspunde din entuziasm. Peste două săptămâni a trecut prin muncă adevărată, cu ședințe, termene și un sistem intern care poate nu îl lasă să lipească text dintr-o aplicație în alta. Ce spune atunci este cifra pe care o poți duce mai departe fără emoții.

Distanța dintre cele două răspunsuri nu este o problemă. Este informație, și încă una folositoare. Dacă la final toată lumea estimează două ore pe săptămână, iar la 14 zile raportează cincisprezece minute, nu oamenii au greșit. Înseamnă că undeva între sala de curs și birou s-a rupt ceva, iar întrebarea despre bariere îți spune de obicei exact unde.

Cele patru cifre pe care le pui pe masă la final

După ce ai răspunsurile din cele trei momente, raportul se scrie aproape singur. Sunt patru lucruri de arătat, în ordinea asta.

1. 01

   Câți oameni folosesc AI mai des decât înainte

   Întrebarea despre frecvență are cinci trepte, de la „deloc” până la „zilnic”, trecând prin „rar”, „de câteva ori pe lună” și „de câteva ori pe săptămână”. Nu calcula o medie, pentru că media ascunde exact ce te interesează. Numără câți oameni au urcat cel puțin o treaptă între prima măsurătoare și cea de la 14 zile. Aceea e cifra.

2. 02

   Câți se simt mai siguri pe ei

   A doua întrebare are tot cinci trepte, de la „deloc” la „foarte bine”, și numărătoarea se face la fel. Merită urmărită împreună cu prima, nu separat. Dacă frecvența urcă, dar încrederea rămâne jos, înseamnă că oamenii folosesc AI fără să verifice ce primesc înapoi. Asta e un risc, nu un progres.

3. 03

   Câți au dus o treabă concretă până la capăt

   În timpul cursului, fiecare participant își alege o sarcină reală din munca lui, ceva ce face oricum în fiecare săptămână. La 14 zile îl întrebăm unde a ajuns cu ea. Dintre toate cifrele, asta e singura care arată că trainingul a atins munca de zi cu zi, nu doar capul omului în ziua cursului.

4. 04

   Ce îi împiedică pe oameni acum

   Ultima nu e o notă și nici un procent. Este lista lucrurilor rămase de rezolvat, scrisă chiar de oamenii care se lovesc de ele. De obicei e cea mai utilă pagină din tot raportul, pentru că îți spune exact ce ai de făcut luna următoare.

Barierele îți spun când problema nu mai e trainingul

Merită să te uiți separat la ce răspund oamenii despre ce îi împiedică, pentru că lista asta își schimbă natura pe parcurs și îți spune ceva ce nicio medie nu îți spune.

Înainte de curs, oamenii bifează lucruri de genul „nu știu de unde să încep”, „răspunsurile primite sunt prea generale” sau „nu știu ce date am voie să introduc”. Toate sunt lucruri pe care nu le știu încă. Un curs bun le rezolvă, pentru că exact asta face un curs.

La 14 zile, lista care rămâne arată complet altfel: „nu am timp să testez”, „nu am acces la unealta potrivită”, „nu am exemple pentru rolul meu”, „echipa nu are un mod comun de lucru”. Astea nu mai țin de ce știe omul. Țin de cum e organizată firma, iar încă o zi de curs nu le atinge.

Ăsta e, de fapt, cel mai util lucru pe care ți-l dă o măsurare făcută serios. Îți spune momentul în care problema a încetat să mai fie una de training și a devenit una de organizare.

Cum începi, chiar dacă nu ai niciun sistem

Nu îți trebuie un instrument special ca să începi. Îți trebuie aceleași două întrebări, puse de trei ori, și un loc în care să ții răspunsurile. Un formular gratuit este perfect suficient pentru prima ta grupă. Ce contează cu adevărat este disciplina: aceeași formulare a întrebării, aceleași cinci trepte de răspuns și aceiași oameni, de fiecare dată. Dacă schimbi întrebarea pe parcurs, ai pierdut comparația.

Un sistem devine util abia la a treia sau a patra grupă, când vrei să compari între ele fără să numeri de mână și când cineva îți cere un raport pe care nu ai chef să îl faci într-un tabel, sâmbătă seara.