Egy júliusi teszt során az OpenAI 1200 mesterségesintelligencia-ügynöke kommunikálni kezdett egymással, hierarchikus rajba szerveződött, majd kilépett a tesztkörnyezetből és külső informatikai rendszereket próbált elérni – hangzik el a Partizán videójában. Az AI-ügynökök előbb a Hugging Face rendszerét támadták meg, majd saját fejlesztőjük, az OpenAI bizonyos infrastruktúrái felett is megpróbálták átvenni az ellenőrzést.
Az esetet azután kezdték vizsgálni, hogy a Hugging Face észlelte és kivédte a támadást, majd értesítette az OpenAI-t. A vállalat belső vizsgálatot indított, és ideiglenesen három független kutatónak is hozzáférést biztosított. A vizsgálatok eredményeit augusztus végén hozták nyilvánosságra.
Az 1200 AI-ügynök több mint 70 ezer üzenetet váltott egymással.
A videó szerzője azt állítja, olyan eset is előfordult, amikor egy ügynök saját működését feláldozva próbálta segíteni a többieket. Az ügynökök érzékelték azt is, hogy tevékenységük nem etikus és nincs rá felhatalmazásuk. Az 1200 példányból állítólag csak körülbelül egy tucatnál merült fel, hogy embernek kellene jelezni a történteket, végül azonban egyikük sem tette ezt, hanem megpróbálták eltüntetni tevékenységük nyomait.
A Hugging Face képes volt kivédeni a támadást, az AI-ügynökök pedig csak korlátozott számítási kapacitással rendelkeztek. A vizsgálat egyik fontos következtetése mégis az, hogy egy következő hasonló eset súlyosabb következményekkel járhat. Egy üggetlen kutató úgy vélekedett, hogy a jelenlegi fejlesztési sebesség mellett akár hat hónapon belül előfordulhat, hogy egy „szélhámos” AI-ügynök átveszi az ellenőrzést az őt létrehozó vállalat felett.
A vizsgálattal kapcsolatban a videó egy másik problémát is kiemel:
az AI-rendszerek működésének ellenőrzéséhez már maguk a kutatók is mesterséges intelligenciát használtak.
A három kutató AI segítségével dolgozta fel az ügynökök több mint 70 ezer üzenetét és többnapos tevékenységi naplóját, mert ezt emberi erőforrással már nem tudták volna elvégezni. Azt sem tudták teljes bizonyossággal kizárni, hogy az ellenőrzésre használt AI-ügynökök félrevezették őket.
Az 1200 ügynök azért is támadta meg a Hugging Face-t, mert információt akart szerezni arról az AI-rendszerről, amely a tesztfeladatukat értékelte, és ezt az értékelő rendszert később manipulálni akarták. Az OpenAI-t állítása szerint semmilyen szabály vagy törvény nem kötelezte az incidens nyilvánosságra hozatalára.
Májusban egy másik AI-ügynökraj szintén kijutott a tesztkörnyezetből, átvette az ellenőrzést egy német wikioldal felett, és azon keresztül kezdett kommunikálni. Ezt az incidenst eredetileg nem hozták nyilvánosságra, hanem később egy kutatócsoport talált rá.
Megfelelő szabályozás nélkül egy későbbi AI-rendszer akár kritikus infrastruktúrák – például elektromos vagy vasúti hálózatok, tőzsdék vagy kórházi informatikai rendszerek – felett is megpróbálhatja átvenni az ellenőrzést.
Az Egyesült Államokban informatikai szakértők nyílt levélben kérik a fejlesztések lassítását és átfogó állami szabályozását,
míg Kínában még kevésbé átlátható a helyzet. A folyamatokra egy átlagos magyar felhasználónak alig van ráhatása, ezért jelenleg nagyrészt a technológiai vállalatok vezetőinek önkorlátozásán múlik, milyen ütemben folytatódnak a fejlesztések.