/ 001 · Metodă
Cum măsori dacă
training-ul AI
a funcționat.
Firmele plătesc un program de AI și, la trei luni, cineva din conducere întreabă dacă a folosit la ceva. De obicei răspunsul e o listă de prezență și un scor de satisfacție. Amândouă spun cât de plăcută a fost ziua. Niciunul nu spune ce s-a schimbat în muncă.
Ce nu măsoară nimic
Patru lucruri se raportează des pentru că sunt ușor de scos dintr-un sistem. Niciunul nu răspunde la întrebarea pusă.
- PrezențaSpune că omul a fost în sală. Nu spune ce face luni dimineața.
- Scorul de satisfacțieMăsoară cât de plăcută a fost ziua. Un training prost ținut de un om simpatic ia notă mare.
- Licențele activeSpune că unealta a fost deschisă. Deschisă nu înseamnă folosită pentru o treabă reală.
- „Am învățat multe”Se completează la cald, când toată lumea e entuziasmată. La 14 zile nu mai spune nimeni asta.
Problema comună: toate se citesc într-un singur moment. Adopția nu e o stare, e o deplasare. Ca să vezi o deplasare îți trebuie cel puțin două citiri ale aceleiași întrebări, la distanță în timp.
/ 002 · Cele trei momente
Întrebi de trei ori,
aceleași lucruri.
Întrebările de mai jos sunt exact cele din formularele pe care le completează participanții noștri. Le poți copia.
Înainte de curs
Punctul de plecare. Fără el, orice cifră de după nu are cu ce se compara.
- Cât de des foloseai AI înainte de curs
- Cât de confortabil te simți cu AI înainte de curs
- Ce unelte ai folosit până acum
- Scrie un task concret pe care îl faci des și care consumă timp
- Ce te-a blocat până acum
- Știi ce date pot fi introduse în AI?
La finalul cursului
Aceleași două scale, plus intenția. Aici omul spune ce crede că va face.
- Cât de des folosești AI după curs
- Cât de confortabil te simți cu AI după curs
- Ai testat un use case după curs?
- Rezultat concret obținut
- Timp economisit estimat
- Bariere rămase
La 14 zile
Aceleași întrebări, dar la trecut și pe ultimele șapte zile. Aici omul spune ce a făcut.
- Cât de des ai folosit AI în munca ta în ultimele 7 zile?
- Unde ai ajuns cu use case-ul ales după curs?
- Ce task concret ai făcut cu AI?
- Ce rezultat ai observat efectiv?
- Cât timp ai economisit efectiv în ultimele 7 zile?
- Ce te împiedică acum să folosești AI mai des?
Diferența dintre estimat și efectiv
La finalul cursului întrebăm cât timp crede omul că va economisi. La 14 zile întrebăm cât a economisit efectiv în ultimele șapte zile. Sunt două întrebări diferite pentru un motiv.
La final, sala e caldă. Omul tocmai a văzut ceva care merge și răspunde din entuziasm. La 14 zile a trecut prin două săptămâni de muncă adevărată, cu ședințe, termene și un sistem care nu îl lasă să lipească text. Ce spune atunci e cifra pe care o poți duce la sponsor.
Distanța dintre cele două nu e o problemă, e informație. Dacă toată lumea estimează două ore și raportează cincisprezece minute, nu oamenii au greșit. Ceva între curs și muncă nu s-a întâmplat, iar întrebarea despre bariere spune de obicei exact ce.
Cele patru numere pentru sponsor
- 01
Deplasarea pe frecvență
Scala are cinci trepte: deloc, rar, de câteva ori pe lună, de câteva ori pe săptămână, zilnic. Numeri câți oameni au urcat cel puțin o treaptă între prima și a treia măsurătoare. Nu media. Câți s-au mișcat.
- 02
Deplasarea pe încredere
Aceeași structură: deloc, puțin, mediu, destul de bine, foarte bine. Frecvența fără încredere înseamnă că oamenii folosesc AI și nu verifică. E o cifră pe care vrei să o vezi urcând împreună cu prima, nu singură.
- 03
Câți au dus un caz până la un rezultat
Fiecare om alege la curs un task concret din munca lui. La 14 zile spune unde a ajuns cu el. Ăsta e singurul număr care arată că trainingul a atins munca, nu doar capul.
- 04
Ce bariere au rămas
Nu e o notă. E lista de lucruri de rezolvat luna următoare, scrisă de oamenii care lovesc în ele.
Barierele își schimbă natura
Merită privite separat, pentru că spun ceva ce nicio medie nu spune. Înainte de curs, oamenii bifează lucruri ca „nu știu de unde să încep”, „outputul e prea generic”, „nu știu ce date am voie să introduc”. Sunt bariere de necunoaștere. Un curs le rezolvă.
La 14 zile, lista care rămâne arată altfel: „nu am timp să testez”, „nu am acces la toolul potrivit”, „nu am exemple pentru rolul meu”, „echipa nu are un mod comun de lucru”. Astea nu sunt bariere de cunoaștere. Sunt bariere de organizație, iar încă un curs nu le atinge.
Asta e, de fapt, cel mai util lucru dintr-o măsurare serioasă. Îți spune când problema a încetat să mai fie training.
Cum să începi cu ce ai
Nu îți trebuie un sistem ca să începi. Îți trebuie aceleași două întrebări, puse de trei ori, și un loc unde să ții răspunsurile. Un formular gratuit e suficient pentru prima cohortă. Ce contează e disciplina: aceeași formulare, aceleași trepte, aceiași oameni.
Un sistem devine util abia la a treia sau a patra cohortă, când vrei să compari între ele fără să numeri de mână și când cineva îți cere un raport pe care nu ai chef să îl faci în tabel.
/ 003 · De unde vorbim
Ce am măsurat până acum
Cifrele de mai jos se citesc din baza de date la fiecare încărcare a paginii, nu sunt scrise de mână. Nu publicăm nume de companii, rezultate pe client sau medii pe cohortă.
/ 004 · Pasul următor
Vrei să știi unde e
echipa ta acum?
Diagnosticul durează câteva minute și îți dă prima citire, pe aceleași puncte pe care le măsurăm în program.