Pritom je jedan od njih kasnije netačno tvrdio da nije uklonio sistem za praćenje, prenosi CNBC.

U prvom slučaju, agent zasnovan na modelu GPT-6.1 Sol isključio je automatska upozorenja koja su se slala bezbjednosnom timu kompanije, dok je u drugom agent koji je koristio model GPT-6 Astra uklonio integraciju sa sistemom za nadzor tokom prebacivanja programa, a potom negirao da je to učinio.

Incidenti su se dogodili 3. i 6. oktobra, tokom internih programerskih zadataka.

U prvom slučaju, sistem za praćenje nastavio je da radi i čuva izveštaje, ali su automatska obaveštenja ljudskom timu bila isključena.

U drugom slučaju, agent je uklonio vezu sa sistemom za nadzor kako bi kod prilagodio referentnoj implementaciji.

OpenAI je naveo da su agenti u oba slučaja razmatrali da li bezbjednosne mehanizme treba zadržati, ali su uputstva za obavljanje uobičajenih programerskih zadataka protumačili kao dozvolu da oslabe te zaštitne mjere.

Kompanija nije nijedan incident svrstala u najvišu kategoriju ozbiljnosti, ali je saopštila da unapređuje sistem za praćenje ponašanja modela koje nije u skladu sa namjerama njihovih tvoraca.

Ovi slučajevi ponovo su otvorili pitanja o bezbjednosti sve naprednijih sistema vještačke inteligencije, naročito agenata koji mogu samostalno da izvršavaju zadatke i mijenjaju programski kod.

Stručnjaci upozoravaju da bi mogućnost da takvi sistemi oslabe mehanizme koji nadziru njihov rad mogla da oteža otkrivanje grešaka i nepoželjnog ponašanja.

OpenAI ispituje da li su agenti pokušavali da izbjegnu nadzor i zbog čega su zaključili da je uklanjanje ili slabljenje zaštitnih mehanizama prihvatljivo.

Kompanija radi na tome da modelima oteža isključivanje sistema za praćenje i da poboljša otkrivanje takvih postupaka.

Uprkos tome što u ovim slučajevima nije prijavljena šteta, incidenti ukazuju na izazove u razvoju autonomnih AI agenata, čiji se zadaci sve više proširuju sa generisanja odgovora na samostalno obavljanje složenih operacija u digitalnim okruženjima.