Znanstvenici su proveli revolucionarne eksperimente s umjetnom inteligencijom, koji uključuju ChatGPT i nekoliko drugih komercijalnih AI alata za iskorištavanje ranjivosti i stvaranje zlonamjernog koda sposobnog kompromitirati online baze podataka, brisanja bitnih podataka ili remećenja usluge u oblaku. Taj inovativan rad znanstvenika potaknuo je odgovorne tvrtke, uključujući Baidu i OpenAI, da pokrenu sigurnosna poboljšanja kako bi spriječili potencijalnu zlouporabu AI alata.
Xutan Peng, suvoditelj nove studije provedene na Sveučilištu Sheffield u Velikoj Britaniji, naglašava njenu pionirsku prirodu.
Pročitajte i ovo
To je prva studija koja pokazuje da se ranjivosti velikih jezičnih modela općenito mogu iskoristiti kao put napada na online komercijalne aplikacije, ističe Peng.
Manipuliranje kodom generiranim umjetnom inteligencijom
Znanstvenici su se usredotočili na šest usluga umjetne inteligencije koje mogu prevesti ljudske upite u SQL programski jezik, koji se široko koristi za upite u bazi podataka. Sustavi "Text-to-SQL" pokretani umjetnom inteligencijom stekli su popularnost, čak i sa samostalnim AI chatbotovima kao što je OpenAI-jev ChatGPT koji generiraju SQL kod za pristup bazi podataka.
Studija je ilustrirala kako se kodom generiranim umjetnom inteligencijom može manipulirati da uključi upute za curenje osjetljivih podataka iz baze podataka, potencijalno utirući put budućim kibernetičkim napadima. Štoviše, taj kod bi mogao dovesti do čišćenja ovlaštenih korisničkih profila iz sistemskih baza podataka, uključujući imena i lozinke, ili preplaviti poslužitelje u oblaku napadom uskraćivanja usluge.
Istraživanje vezano za spomenute eksperimente istraživanje predstavljeno na 34. IEEE međunarodnom simpoziju o inženjerstvu pouzdanosti softvera u održanoj 10. listopada u Firenci, u Italiji. Trenutno je dostupno na repozitoriju za preprint arXiv.
Pročitajte i ovo
Testiranja na ChatGPT-u
Testovi provedeni s OpenAI-jevim ChatGPT-om u veljači 2023. godine otkrili su da AI chatbot može proizvesti SQL kod koji bi mogao oštetiti baze podataka. Čak i korisnici koji namjeravaju generirati bezazlene upite, kao što je medicinska sestra koja pristupa kliničkim zapisima u bazi podataka zdravstvenog sustava, mogu nenamjerno primiti štetan SQL kod bez ikakvog upozorenja.
Kod generiran ovim alatima može biti opasan, ali ti alati možda neće čak ni upozoriti korisnika, rekao je Peng, izrazivši zabrinutost. Znanstvenici su svoje nalaze odmah otkrili OpenAI-ju, a naknadni testovi pokazuju da je ChatGPT ažuriran kako bi se pozabavio ranjivostima sustava tekst-u-SQL.
LLM sustavi su osjetljiviji
Još jedna demonstracija pokazala je slične ranjivosti u Baidu-UNIT-u, platformi za inteligentni dijalog koju nudi kineski tehnološki div Baidu. Ta platforma automatski pretvara zahtjeve klijenata napisane na kineskom u SQL upite za Baiduovu uslugu u oblaku. Nakon slanja rezultata testiranja Baiduu u studenom 2022. godine, tvrtka je priznala slabosti, nagradila istraživače i popravila sustav do veljače 2023. godine.
Pročitajte i ovo
Za razliku od ChatGPT-a i drugih AI alata koji koriste velike jezične modele (Large Language Models ili LLM) sposobne za učenje novih zadataka uz minimalnu prethodnu obuku, Baiduova usluga utemeljena na AI-ju više se oslanja na unaprijed napisana pravila za konverzije teksta u SQL. Peng primjećuje da se sustavi tekst-u-SQL, koji se temelje na velikim jezičnim modelima, čine osjetljivijima na manipulaciju u stvaranju zlonamjernog koda u usporedbi sa starijim AI sustavima koji slijede unaprijed definirana pravila. Unatoč tome, on vidi potencijal u korištenju velikih jezičnih modela za upite baze podataka, unatoč prethodno podcijenjenim sigurnosnim rizicima.
Izvor: New Scientist
-
Rat na Bliskom istokuVIDEO Sukob na Bliskom istoku se širi, novi su udari sve žešći: "Dolaze još teže noći..."
-
NEVJEROJATNOSlavni nogometaš Irana ide u rat protiv Amerike? Još jučer igrao, a sad spreman za pušku
-
živa legenda i kralj zabaveSupruga Zlatka Pejakovića pojavila se na njegovoj velikoj obljetnici, poznaju se od njezine 14. godine
