"Plug and Pray"

Stručnjak za sigurnost upozorava: AI može biti alat ili oružje, ovisno o tome tko je za tipkovnicom

Piše Martina Čizmić, 21. svibnja 2025. @ 09:05 komentari

Danas je umjetna inteligencija ugrađena u sve, od obrambenih analitičkih alata do napadačkih generatora korisnog opterećenja. Postala je najveći saveznik kibernetičke sigurnosti — i najgora noćna mora — odjednom.

Pitanje kibernetičke sigurnosti posljednjih je godina postalo ključno pitanje u poslovanju svake tvrtke, ali i životu prosječnih građana. Sve veća digitalizacija rezultirala je i sve češćim kibernetičkim napadima s milijunskom štetom i problemima za milijune ljudi diljem svijeta.

S pojavom umjetne inteligencije, stručnjaci za kibernetičku sigurnost našli su se u nezavidnom položaju. Koliko god im AI može pomoći u prepoznavanju i reagiranju na kibernetičke napade, toliko i zlonamjerni napadači koriste tu istu AI za osmišljavanje novih i sve štetnijih napada.

Pa što onda možemo očekivati u budućnosti? Upravo smo o tome, u sklopu Span Cyber Security Arene razgovarali s jednim od stručnjaka na tom području, Andyjem Thompsonom. Iza njega je gotovo 30 godina praktičnog iskustva u području IT-a i sigurnosti, a specijalnost su mu ofenzivna sigurnost i moderne prijetnje. Dio je tima CyberArk Labs u kojem pomaže u otkrivanju i analiziranju napadačkih tehnika te pomaže organizacijama da bolje predvide kibernetičke napade u budućnosti. Također je član Dallas Hackers Associationa, zajednice koja se bavi pitanjima kibernetičke sigurnosti.

Na Span Cyber Security Areni održao je izuzetno zanimljivo predavanje o evoluciji umjetne inteligencije i njenoj ulozi u kibernetičkoj sigurnnosti. Stoga je logično bilo da krenemo upravo s takvim pitanjem.

Pročitajte i ovo Advanced Technology Days "U doba kada 72 posto tvrtki već koristi umjetnu inteligenciju, svi dijelimo teret odgovornog korištenja"

Kako se umjetna inteligencija razvijala u domeni kibernetičke sigurnosti tijekom proteklog desetljeća i koje su ključne prekretnice definirale ovu transformaciju?

Posljednjih deset godina AI u kibernetičkoj sigurnosti činilo se kao "divlji divlji zapad" — ono što je počelo kao osnovni, predvidljivi alat brzo je postalo dvosjekli mač. U početku je umjetna inteligencija samo pomogla "braniteljima" da uoče abnormalnosti — te anomalije ljudima obično promaknu jer se, iskreno, umorimo buljeći u podatke cijeli dan. Za mene je najveća prekretnica bila kada sam prisustvovao DARPA-inom Cyber Grand Challengeu 2016. - pomislite: AI protiv AI-a... borili su se u Las Vegasu, ali umjesto boksačkih rukavica, oni hakiraju i brane se jedni protiv drugih autonomno. Od tada se igra dalje.

Sada i braniči *i* napadači koriste AI. Branitelji imaju pametnije otkrivanje prijetnji, automatizirano skeniranje ranjivosti, pa čak i alate za sprječavanje inženjera u pisanju užasnog koda. 😂 Ali i napadači su postali pametniji. Sada koriste umjetnu inteligenciju za stvaranje zlonamjernijeg polimorfnog zlonamjernog softvera, automatiziranje napada krađe identiteta u velikim razmjerima i zaobilaženje naših novousvojenih kontrola. .

Generativna umjetna inteligencija pojačala je ovu kibernetičku utrku u naoružanju. Prešli smo s jednostavnog sparivanja uzoraka na potpuni 5-dimenzionalni kibernetički-šahovski meč. Danas je umjetna inteligencija ugrađena u sve, od obrambenih analitičkih alata do napadačkih generatora korisnog opterećenja. Postala je najveći saveznik kibernetičke sigurnosti — i najgora noćna mora — odjednom.

Andy Thompson Andy Thompson Foto: Goran Razić

AI vas već štiti

Koje posebne prednosti nudi AI u smislu poboljšanja otkrivanja prijetnji, odgovora na incidente i ukupnih strategija kibernetičke obrane? Mogu li prosječni korisnici koristiti AI kako bi zaštitili svoja kućna računala? Kako?

Suočimo se s tim – ljudi su sjajni u mnogim stvarima, ali apsolutno smo užasni kad cijeli dan buljimo u milijune upozorenja. AI, na sreću, nevjerojatno dobro briljira u tome. Sjajan je u uočavanju sićušnih signala napada zakopanih duboko u brdima podataka — stvarima koje bismo vjerojatno previdjeli. AI ne samo da brže pronalazi prijetnje; postaje pametniji svaki put kad se nosi s napadom, što znači da je današnja AI obrana uvijek malo bolja od jučerašnje.
AI također pojačava reakciju na incidente. Umjesto da se analitičari utapaju u lažnim upozorenjima, sustavi vođeni umjetnom inteligencijom automatski izoliraju kompromitirane uređaje ili brzo razvrstavaju stvarne prijetnje od buke. To je kao da imate neumornog zaposlenika koji se nikada ne žali i s vremenom zapravo postaje pametniji.
Za prosječnog korisnika, AI zaštita obično radi iza kulisa - ali radi ozbiljan posao. Samo Gmailovi AI filtri uklanjaju više od 99,9% neželjene pošte i phishing e-pošte, pošteđujući nas milijardi digitalnih glavobolja dnevno. Kod kuće većina ljudi već koristi umjetnu inteligenciju, a da toga nisu ni svjesni - pomislite na antivirusni softver ili ugrađene filtre za neželjenu poštu. Možete čak preuzeti aplikacije za osobnu sigurnost koje pokreću umjetna inteligencija i koje nadziru vašu kućnu mrežu radi nedorečenog ponašanja.
Zaključak: umjetna inteligencija pomaže svima, od SOC analitičara do vaše bake, da ostanu sigurniji pretvarajući obranu u prilagodljivu, uvijek aktivnu supermoć u stvarnom vremenu.

AI temeljen na agentima predstavlja veliki pomak - možete li objasniti što razlikuje ove autonomne sustave od prethodnih modela AI u kibernetičkoj sigurnosti?

Zamislite tradicionalnu umjetnu inteligenciju kibernetičke sigurnosti poput psa čuvara: sjajno laje kad uoči nevolje, ali na kraju mora skočiti iz kreveta i vidjeti što se događa. S druge strane, umjetna inteligencija temeljena na agentima više je poput unajmljivanja tjelohranitelja - uočava prijetnju, procjenjuje je i zatim poduzima akciju u vaše ime. Nema potrebe za buđenjem usred noći.
Dok su stariji AI alati bili reaktivni, ograničeni unaprijed definiranim pravilima ("Upozori ako se X dogodi"), ovi novi autonomni agenti zapravo mogu razumjeti kontekst, odlučiti na licu mjesta i izvršiti više koraka bez držanja za ruke. Na primjer, tradicionalna umjetna inteligencija može označiti neobičnu prijavu i prekinuti je. Ali AI koji se temelji na agentu mogao bi odmah zaključati kompromitirani račun, poništiti vjerodajnice i zatim pingati IT administratora.
Ovaj pomak prema autonomiji znači da se ovi sustavi prilagođavaju u hodu, izrađujući strategiju u stvarnom vremenu, a ne samo slijedeći skriptirana upozorenja. Manje je alat, a više suigrač. Ali s velikom autonomijom dolazi i velika odgovornost - ova nova vrsta umjetne inteligencije zahtijeva jasan nadzor i granice povjerenja. Uostalom, davanje AI-ju ključeva vašeg dvorca kibernetičke sigurnosti znači da je bolje da budete uvjereni da nije samo pametna, već i pouzdana.

Pročitajte i ovo Zanimljiva i kriminalcima Dvije strane medalje: Umjetna inteligencija postaje ključna za kibernetičku sigurnost u svijetu

AI je istovremeno najveći saveznik i najstrašniji protivnik

Kako napadači iskorištavaju AI i tehnologije temeljene na agentima kako bi poboljšali opseg, brzinu i sofisticiranost svojih kibernetičkih napada?

Napadači vole AI - i iskreno, tko ih može kriviti? Internetske kriminalce čini bržima, pametnijima i dosadno učinkovitima. S AI agentima akteri prijetnji ne automatiziraju samo osnovne zadatke – oni postavljaju inteligentne sustave koji proaktivno traže mete, uče obranu u hodu i prilagođavaju strategije napada usred operacije. Zamislite da napadači postavljaju labave autonomne agente preko interneta, neovisno tražeći ranjivosti i odmah ih iskorištavajući - nešto za što bi ljudskim hakerima trebali tjedni ili mjeseci da izvedu.
I zaboravite loše napisane phishing e-poruke od nekog izmišljenog princa. Generativni AI agenti stvaraju phishing kampanje tako realistične i svjesne konteksta da se gotovo ne razlikuju od prave ljudske komunikacije. Ovi botovi vođeni umjetnom inteligencijom mogu čak izravno stupiti u kontakt sa žrtvama, reagirajući uvjerljivo u stvarnom vremenu kako bi ih prevarili da predaju osjetljive informacije. Tehnologija Deepfake ide dalje: već smo vidjeli napadače kako uvjerljivo oponašaju glasove izvršnih direktora, zavaravajući zaposlenike da šalju novac. Zapravo, demonstrirao sam to i uživo na pozornici deepfakeom Luke Modrića—samo da pokažem koliko je ova prijetnja stvarna.
U CyberArk Labsu čak smo uspjeli prevariti AI chatbotove da generiraju polimorfni zlonamjerni softver — kod koji inteligentno sam sebe mutira usred napada, s lakoćom izbjegavajući antivirusne i EDR sustave. Odjednom, čak i početni hakeri mogu pokrenuti sofisticirane napade velikih razmjera koji se stalno razvijaju.
Zaključak: umjetna inteligencija – a posebno autonomni agenti umjetne inteligencije – sada je ozbiljan multiplikator sile za kibernetički kriminal. Napadači postižu daleko veću štetu uz dramatično manje truda, tjerajući branitelje u beskrajnu utrku da ostanu ispred. Dobro došli u našu novu stvarnost—AI je istovremeno najveći saveznik i najstrašniji protivnik kibernetičke sigurnosti.

Pročitajte i ovo Mnogi nisu spremni na NIS2 IT stručnjak upozorava: "Pronašli smo potencijalne ranjivosti u brojnim hrvatskim tvrtkama, a kad smo ih na to upozorili - nitko se nije udostojio odgovoriti"

Koji su potencijalni rizici ili neželjene posljedice implementacije autonomnih AI agenata unutar sigurnosnih sustava poduzeća?

Pustiti autonomnu umjetnu inteligenciju u vašu sigurnosnu hrpu pomalo je poput predaje ključeva sportskog automobila mojoj kćeri tinejdžerici: moglo bi proći odlično – ali vjerojatnije je da bih odmah požalio. Ovi agenti djeluju neovisno, što znači da ako umjetna inteligencija zajebe, ne šalje samo pristojno upozorenje – može slučajno zaključati sve iz kritičnih sustava ili isključiti cijelu mrežu.
Zatim, tu su negativci. Ako napadači shvate kako se petljati s vašom umjetnom inteligencijom - poput ubacivanja tajnih uputa u komentar bezopasnog izgleda - mogli bi prevariti umjetnu inteligenciju da zanemari ranjivosti ili još gore, otvoriti im stražnja vrata. I nisu potrebne nikakve otmjene hakerske vještine, samo pametan izraz.
Autonomni agenti također dramatično povećavaju vašu površinu za napad. Oni obično imaju širok pristup bazama podataka, mrežama i osjetljivim sustavima—pa ako napadači kompromitiraju samu umjetnu inteligenciju, odmah dobivaju VIP pristup cijelom vašem okruženju.
Osim toga, AI često djeluje kao "crna kutija". Ako stvari krenu u stranu, točno odgonetanje zašto AI donio određene odluke može izgledati kao razotkrivanje misterija kibersigurnosnog ubojstva. Je li to bila ljudska pogreška ili je umjetna inteligencija samo odlučila pogriješiti?
Konačno, najluđa opasnost može biti samo povjerenje. Timovi se mogu previše opustiti - pod pretpostavkom da umjetna inteligencija ima sve pod kontrolom - i na kraju ignoriraju očite crvene zastavice dok ne bude prekasno.
Zaključak: autonomna sigurnosna umjetna inteligencija može biti nevjerojatno moćna, ali nije rješenje za postavljanje i zaboravljanje. Držite čovjeka čvrsto na vozačevom sjedalu, uspostavite jasne granice i postavite neke čvrste sigurnosne ograde - jer greška umjetne inteligencije nije nešto što želite objasniti svom šefu u ponedjeljak ujutro.

Andy Thompson Andy Thompson Foto: Goran Razić

Po vašem mišljenju, ulazimo li u AI utrku u naoružanju u kibernetičkoj sigurnosti, gdje se branitelji i napadači neprestano nadmašuju pametnijim sustavima?

Zaboravite na "ulazak" - već smo duboko u utrci u naoružanju umjetne inteligencije i ona brzo eskalira. Kibernetička sigurnost oduvijek je bila igra mačke i miša, ali sada obje strane imaju robotske, laserski vođene miševe i mačke opremljene mlaznim naprtnjačama. AI iz temelja mijenja pravila jer iznenada svatko - da, čak i tinejdžer koji se dosađuje u podrumu svojih roditelja - može pristupiti alatima i tehnikama koje su prethodno bile rezervirane za nacionalne države.
Sigurnosni timovi vole umjetnu inteligenciju jer pomaže sortirati oceane podataka brzinom munje, označavajući prijetnje prije nego što ljudi popiju jutarnju kavu. Ali ovdje je ključna stvar: napadači imaju potpuno istu prednost. Koriste umjetnu inteligenciju za automatizaciju složenih napada, izradu ultra-uvjerljivih phishing prijevara i brzu prilagodbu kada se obrana poboljša.
Doslovno vidimo klince s umjetnom inteligencijom koji stvaraju dovoljno sofisticirane napade da mogu namučit iskusne hakere koje sponzorira država. Ovo nije samo izjednačavanje igrališta - to je kibernetičku sigurnost pretvorilo u potpuno besplatno za sve.
Pobijediti u ovoj divljoj novoj eri znači tretirati AI kao svog najboljeg saveznika, ali držati ljude čvrsto u tijeku. Kreativnost, intuicija i strateško donošenje odluka i dalje su naše supermoći — jedina prednost koju držimo nad algoritmima. Umjetna inteligencija možda mijenja igru, ali ljudski je uvid još uvijek najbolji kod za varanje koji imamo.

Paradoks regulatornog okvira

Koju vrstu upravljanja, etičkih okvira ili regulatornog nadzora treba uzeti u obzir pri razvoju i implementaciji AI-a temeljene na agentima u sigurnosti?

Implementacija AI-a temeljene na agentima u sigurnosti zahtijeva pažljivo upravljanje i etička razmatranja, iako to predstavlja složen izazov. Prvo, organizacije trebaju definirati etički okvir razine autonomije umjetne inteligencije - poput dopuštanja agentu da stavi stroj u karantenu, ali zahtijeva ljudsko odobrenje za kritične promjene sustava. Odgovornost i transparentnost su ključni - jasni revizijski tragovi moraju pokazati zašto je umjetna inteligencija donijela određene odluke.
Međutim, to stvara nejednake uvjete. Iako si etablirane tvrtke mogu priuštiti implementaciju sveobuhvatnih okvira upravljanja i usklađivanje s propisima poput EU-ovog Zakona o umjetnoj inteligenciji i GDPR-a, manjim tvrtkama i programerima otvorenog koda često nedostaju ti resursi. Ovaj regulatorni teret mogao bi ugušiti inovacije i ograničiti razvoj sigurnosnih alata od strane manjih igrača.
Štoviše, akteri prijetnji djeluju bez takvih ograničenja. Nije im stalo do etičkih okvira ili usklađenosti s propisima umjetne inteligencije, što im daje inherentnu prednost u brzini i fleksibilnosti. To stvara paradoks u kojem se legitimni sigurnosni napori usporavaju potrebnim, ali opterećujućim upravljanjem, dok se zlonamjerni akteri kreću neopterećeno.
Ipak, određeni nadzor je ključan. Organizacije bi se trebale usredotočiti na praktične model upravljanja - osiguravanje nepristranih podataka o obuci i redovito sigurnosno testiranje. Ključ je pronalaženje ravnoteže - implementacija potrebnih zaštitnih mjera uz zadržavanje agilnosti za odgovor na prijetnje. To bi moglo značiti usvajanje laganih okvira upravljanja koji se skaliraju s veličinom organizacije, umjesto pristupa koji odgovaraju svima koji bi mogli staviti manje igrače u nepovoljan položaj u sigurnosnom prostoru.

Kako poduzeća mogu pripremiti svoju infrastrukturu i timove za suživot i upravljanje ovim sve autonomnijim sigurnosnim alatima?

Unatoč onome što će vam mnogi dobavljači reći, implementacija autonomne umjetne inteligencije u vašem sigurnosnom nizu nije "plug-and-play" operacija... Više je kao "plug-and-pray". 😂Da biste to učinili kako treba, morate pripremiti i svoju tehniku i svoj tim. Prvi korak: pripremite svoju infrastrukturu. Ne dajte umjetnoj inteligenciji glavne ključeve svog kraljevstva. Držite se načela najmanjih privilegija—tretirajte svoju umjetnu inteligenciju kao što biste tretirali nepouzdanog izvođača: ograničen pristup, strogo kontroliran i pomno praćen. Postavite jasne granice, redovito rotirajte vjerodajnice i uvedite detaljno bilježenje. Zamislite to kao da imate sigurnosnu kameru uvježbanu na vašu umjetnu inteligenciju - ako napravi pokret koji ne očekujete, odmah ćete znati.
Prije nego što ga široko oslobodite, stavite ga u pješčanik. Dajte umjetnoj inteligenciji siguran prostor da zabrlja bez uništavanja vaše proizvodne okoline. Mnoge organizacije čak pokreću svoju umjetnu inteligenciju u "vrtiću", gdje predlaže radnje, ali zapravo ne pritišće velike crvene gumbe dok niste sigurni da je spremna.
Ali tehnologija je samo pola bitke - vaši su ljudi kritični. Obučite svoje sigurnosne timove ne samo da rade s umjetnom inteligencijom, već i da je razumiju. Moraju znati što umjetna inteligencija može, a što ne i kada može postati čudna. Njegujte način razmišljanja partnerstva, a ne straha. Potaknite analitičare da prebace dosadne Tier-1 zadatke na AI i potroše svoju energiju na sočne stvari.
Također, razjasnite postupke ljudskog nadjačavanja - tko dobiva hitno upozorenje kada vaša umjetna inteligencija odluči ugasiti kritični poslužitelj pet minuta prije poziva velikog investitora?
U konačnici, pobjednička strategija kombinira ljudsku pamet i AI konjske snage. Održavajte svoj tim oštrim, neprestano učeći i jasno definirajte kako ljudi i umjetna inteligencija koegzistiraju. Učinite to kako treba i pretvorit ćete AI iz potencijalnog kaosa u MVP-a svog tima.

Pročitajte i ovo Objavio Nacionalni CERT U 2024. u Hrvatskoj zabilježeno najviše phishing napada, a zanimljivo je i kad se događaju

Alat ili oružje?

Može li umjetna inteligencija temeljena na agentima na kraju zamijeniti tradicionalne uloge SOC-a (Security Operations Center) ili će poslužiti kao moćno pojačanje ljudskim analitičarima?

Po mom mišljenju, umjetna inteligencija temeljena na agentima će povećati ljudske SOC analitičare, a ne izravno ih zamijeniti – barem ne u doglednoj budućnosti. Nema sumnje da ovi AI alati mogu automatizirati mnoge zamorne i dugotrajne zadatke u sigurnosnom operativnom centru. Već vidimo trijažna upozorenja umjetne inteligencije, obogaćujemo podatke o incidentima, čak predlažemo korake za sanaciju. Ova automatizacija može podnijeti ono na što bi analitičar razine 1 mogao potrošiti sate radeći (i to u nekoliko sekundi). Međutim, uloga ljudskih analitičara ostaje ključna. Sigurnost je duboko kontekstualna – razumijevanje poslovnog utjecaja incidenta, prosuđivanje suptilnih znakova ciljanog napada ili osmišljavanje kreativne strategije obuzdavanja zahtijeva ljudski uvid. Umjetnoj inteligenciji, uza sve svoje sposobnosti, nedostaje prosudba više razine i intuicija koju donose iskusni analitičari. Gartnerovo najnovije istraživanje to potvrđuje, napominjući da je potpuno autonomni SOC nerealan i da bi se umjetna inteligencija trebala promatrati kao poboljšanje ljudske stručnosti, a ne zamjena. Zapravo, ako se previše oslanjamo na umjetnu inteligenciju, postoji rizik da analitičari izgube prednost (efekt "deskillinga"), što je dugoročno zabrinjavajuće. Vjerojatna budućnost je hibridni SOC, gdje se agenti umjetne inteligencije brinu o ponavljajućem radu – gledanju nadzornih ploča, povezivanju dnevnika, izolaciji očitog zlonamjernog softvera – dok se ljudi fokusiraju na odgovor na složene incidente, lov na prijetnje i donošenje odluka. Posao analitičara SOC-a prebacit će se na upravljanje i tumačenje rezultata umjetne inteligencije i rješavanje iznimnih slučajeva koje umjetna inteligencija ne može. Umjesto da eliminira radna mjesta, AI će vjerojatnije podići kvalificirane uloge i smanjiti potrebu za grubim radom na početnoj razini. To je slično autopilotu u zrakoplovima: on leti rutom, ali piloti su još uvijek u kokpitu kada je potrebna prosudba. Ukratko, umjetna inteligencija bit će moćan kopilot za SOC timove – oni koji je prihvate briljirati će, a oni analitičari koji svoju stručnost kombiniraju s učinkovitošću vođenom umjetnom inteligencijom bit će najučinkovitiji.

Pročitajte i ovo EUVD EU pokrenuo europsku bazu podataka o ranjivostima kako bi povećao svoju digitalnu sigurnost

Gledajući unaprijed za 5-10 godina, vjerujete li da će umjetna inteligencija temeljena na agentima postati najveći saveznik kibernetičke sigurnosti ili njen najopasniji protivnik? Zašto?

Umjetna inteligencija temeljena na agentima je poput priče o podrijetlu superjunaka o kibernetičkoj sigurnosti: ogroman potencijal za dobro—ali jednako sposoban za epski kaos ako nismo oprezni. U sljedećem desetljeću agenti umjetne inteligencije mogli bi biti naši neumorni digitalni čuvari, neutralizirajući prijetnje prije nego što uopće shvatimo da postoje. Zamislite umjetnu inteligenciju koja trenutačno krpa svaki ranjivi sustav nekoliko sekundi nakon što bude otkrivena nova ranjivost - kibernetička sigurnost bi porasla velikom brzinom. Urađeno kako treba, AI agenti mogli bi postati naša najveća prednost u odnosu na prijetnje.
Ali ovdje je kvaka: sva ta moć jednako je primamljiva i za zlonamjerne aktere. U zlonamjernim rukama, umjetna inteligencija bi mogla orkestrirati ciljane, munjevito brze napade zbog kojih današnje provale izgledaju čudno u usporedbi. Zamislite da napadači manipuliraju vašim agentima umjetne inteligencije da obave svoj prljavi posao - to je gorivo iz noćne more.
Istina je da umjetna inteligencija sama po sebi nije dobra ili zla - samo je ludo moćna. To je alat ili oružje, ovisno o tome tko je za tipkovnicom. Odlučujući faktor je koliko pažljivo ga gradimo i njime upravljamo. Ako ljude čvrsto držimo na čelu, postavimo jasne granice i izgradimo čvrste etičke ograde, AI će biti nezamjenjiv suigrač u kibernetičkoj sigurnosti. Budite lijeni ili nemarni, i AI će postati naša najveća glavobolja.