AI-ul nedeterminist și iluzia controlului

Acum mai bine de 20 de ani am avut primul meu release mare, pentru un site de știri cu trafic mare. Totul era pregătit, strategiile de caching erau puse la punct, testele de load treceau, totul era în regulă. A căzut atât de repede încât n-o să uit niciodată cât de șocat am fost.

De atunci am cunoscut mii de ingineri software și aproape toți au trăit același moment de neîncredere în fața unui bug pe care nu l-a văzut nimeni venind. De aceea nu cred pe deplin povestea pe care o spunem acum despre AI, cea în care programarea era o știință exactă, iar modelele o fac imprevizibilă. Software-ul n-a fost niciodată complet previzibil odată ce a ajuns la utilizatori reali, iar AI-ul e cel mai nou pas dintr-un trend care durează de decenii.

Imprevizibilitatea a crescut odată cu complexitatea sistemelor noastre. CEO-ii, CIO-ii și responsabilii de achiziții s-au obișnuit tot mai mult să adauge buffere ca să țină sub control partea nedeterministă, iar o linie de contingență în buget a devenit ceva normal. Un model al cărui răspuns se poate schimba pentru același input e încă un motiv pentru aceste buffere, nu primul.

Iluzia controlului a fost studiată de Ellen Langer: oamenii se așteaptă să reușească mai des decât permit șansele. În cel mai cunoscut experiment al ei, angajații unui birou au cumpărat bilete de loterie de un dolar. Unii și-au ales singuri biletul, altora li s-a dat unul. Înainte de extragere, cei care își aleseseră biletul cereau în medie 8,67 dolari ca să-l vândă înapoi, față de 1,96 dolari ceilalți. Șansele erau aceleași pentru fiecare bilet.

Explicația lui Langer e partea utilă pentru ingineri. Lucrurile care de obicei semnalează pricepere, cum ar fi alegerea, familiaritatea, implicarea și exercițiul, îi fac pe oameni încrezători chiar și acolo unde o parte din rezultat ține de noroc. Un release e plin de astfel de semnale. Munca din spatele lor e reală și reduce riscul, dar ne face să ne simțim mai în control decât permite producția. O echipă condusă de Fenton-O’Creevy a măsurat costul pe 107 traderi din patru bănci de investiții din Londra (2003): cei mai predispuși la iluzie erau evaluați mai slab de manageri și erau plătiți mai puțin.

Inginerii au propria lor versiune a acestei iluzii și am ajuns să cred că are un rol. Când ceva se strică, primul nostru gând e că ne-a scăpat ceva. Nu e mereu adevărat, pentru că unele erori vin din lucruri pe care nu le putea vedea nimeni, dar e gândul care ne trimite înapoi să găsim bug-ul și să-l reparăm. Aceeași convingere care face din cădere un șoc e cea care ne face să ne-o asumăm.

Așadar, AI-ul face problema mai mare, așa cum a făcut-o fiecare pas în complexitate dinaintea lui. Timp de două decenii am livrat sisteme pe care nu le puteam prevedea complet, iar cele care au continuat să funcționeze aveau pe cineva care trata fiecare surpriză din producție ca pe ceva ce îi revine lui să rezolve, chiar și în cod scris de colegi plecați cu ani în urmă. Obiceiul ăsta e partea utilă a iluziei controlului și e exact ce ne cere lucrul cu AI, doar la o scară mai mare.