This is the Trace Id: 9d0ac55c79e569b533dfe93a2c4a566e

 

Cyber Pulse: izvješće o sigurnosti umjetne inteligencije

Nedavna Microsoftova telemetrija i istraživanja pokazuju da mnoge tvrtke ili ustanove uvode agente umjetne inteligencije. Sada je vrijeme da lideri implementiraju mogućnost promatranja, upravljanje i sigurnost.
Pročitajte izvješće Podijeli
Troje kolega sjedi u modernom uredskom prostoru za razgovor, s prekrivajućim tekstom koji ističe prihvaćanje low-code agenata umjetne inteligencije među tvrtkama s popisa Fortune 500.

1. izdanje: Uvod

Vodeće tvrtke ili ustanove mijenjaju način rada, gdje ljudi i agenti surađuju kako bi podigli ljudsku ambiciju na novu razinu. Nedavni Microsoftovi podaci pokazuju da se timovi ljudi i agenata brzo šire i postaju globalno prihvaćeni.

Agenti umjetne inteligencije šire se brže nego što ih neke tvrtke mogu pratiti, a taj jaz u vidljivosti predstavlja poslovni rizik. Organizacije hitno trebaju učinkovito upravljanje i sigurnost kako bi sigurno prihvatile agente, poticale inovacije i smanjile rizike. Kao i ljudski korisnici, agenti umjetne inteligencije zahtijevaju zaštitu kroz promatranje, upravljanje i snažnu sigurnost, primjenjujući principe modela „svi su nepouzdani”. Poduzeća koja će uspjeti u sljedećoj fazi prihvaćanja AI-ja bit će ona koja brzo djeluju i okupljaju poslovne, IT, sigurnosne i razvojne timove za nadzor, upravljanje i zaštitu AI transformacije.

U cijelom Microsoftovom ekosustavu korisnici sada razvijaju i implementiraju agente na svim glavnim platformama – od servisa Fabric i Foundry do rješenja Copilot Studio i sastavljača agenata – što odražava široki pomak prema automatizaciji rada temeljenoj na umjetnoj inteligenciji.

Izrada agenata više nije rezervirana samo za tehničke stručnjake; danas zaposlenici na različitim pozicijama stvaraju i koriste agente u svakodnevnom radu. Microsoftovi podaci pokazuju da više od 80 % tvrtki s popisa Fortune 500 koristi aktivne agente izrađene pomoću low-code/no-code alata.1 Kako se upotreba agenata širi, a mogućnosti transformacije množe, sada je pravo vrijeme za uspostavu ključnih kontrola.

Baš kao i za ljudske zaposlenike, pristup po modelu „svi su nepouzdani” za agente znači:
 

  • Pristup uz najnižu razinu ovlasti: dodijelite svakom korisniku, agentu umjetne inteligencije ili sustavu samo ono što mu je nužno – ne više.

  • Eksplicitna provjera: Uvijek potvrdite tko ili što traži pristup koristeći identitet, stanje uređaja, lokaciju i razinu rizika.

  • Pretpostavite da može doći do kompromitacije: Dizajnirajte sustave s očekivanjem da će napadači uspjeti prodrijeti.

Grafika koja prikazuje da više od 80 % tvrtki s liste Fortune 500 koristi napredne alate s niskim kodom – Pitajte Copilot

Agenti umjetne inteligencije brzo se šire – u svim regijama i djelatnostima

Prihvaćanje agenata ubrzava se diljem svijeta – od EMEA regije do Sjeverne i Južne Amerike i Azije.2
Stupčasti dijagram koji prikazuje regionalnu raspodjelu: EMEA 42 %, SAD 29 %, Azija 19 %, Amerika 10 %.
Microsoft bilježi rast broja agenata u svim djelatnostima. Financijske usluge, proizvodnja i maloprodaja predvode u prihvaćanju agenata. Financijske usluge, uključujući bankarstvo, tržišta kapitala i osiguranje, sada čine oko 11 % svih aktivnih agenata globalno.2 Proizvodnja zauzima 13 % globalne upotrebe agenata, pokazujući široku primjenu u tvornicama, opskrbnim lancima i energetskim sektorima.2 Maloprodaja predstavlja 9 %, gdje se agenti koriste za poboljšanje korisničkog iskustva, upravljanje zalihama i procese izravne komunikacije s klijentima.2

Ključni problem: neki od tih agenata su odobreni od strane IT-ja, drugi nisu. Neki od tih agenata su sigurni, drugi nisu.
Preklapajući krugovi prikazuju raspodjelu po industrijama: softver i tehnologija 16 %, proizvodnja 13 %, financijske usluge 11 %, maloprodaja 9 %.

Rizik dvostrukih agenata

Brza implementacija agenata može nadmašiti sigurnosne kontrole i kontrole usklađenosti, povećavajući rizik od umjetne inteligencije u sjeni. Zlonamjerni akteri mogu iskoristiti pristup agentima i njihove ovlasti, pretvarajući ih u nenamjerne „dvostruke agente.” Kao i kod ljudskih zaposlenika, agent s prevelikim pristupom ili pogrešnim uputama može postati sigurnosna ranjivost.

Prijetnja da će dvostruki agenti biti iskorišteni ako se njima ne upravlja, ako im se daju pogrešne dozvole ili ako se njima manipulira nepouzdanim ulaznim podacima nije teoretski rizik. Nedavno je tim programa Microsoft Defender otkrio prijevarnu kampanju s više aktera koji koriste tehniku ​​napada umjetne inteligencije poznatu kao "trovanje memorije" za trajnu manipulaciju memorijom AI pomoćnika, tiho usmjeravajući buduće odgovore i narušavajući povjerenje u točnost sustava.

U neovisnom, sigurnom istraživanju testnog okruženja koje je proveo Microsoftov vlastiti AI Red Team, istraživači su dokumentirali kako su agenti bili zavedeni varljivim elementima sučelja, poput praćenja štetnih uputa ugrađenih u svakodnevni sadržaj. Red Team je također otkrio kako se rezoniranje agenata može suptilno preusmjeriti manipuliranim postavljanjem zadataka. Ovi zaključci jasno pokazuju zašto je ključno da poduzeća imaju potpunu vidljivost i mogućnost upravljanja svim agentima koji djeluju unutar poduzeća, kako bi se kontrole mogle centralno provoditi te rizicima centralno upravljati integriranim pristupom.
Prema istraživanju iz 2025. godine, 29 % zaposlenika koristi neslužbene AI agente za obavljanje radnih zadataka.
Prema Microsoftovom Indeksu sigurnosti podataka, samo 47 % tvrtki ili ustanova u različitim djelatnostima izvještava da provodi specifične sigurnosne kontrole za generativnu umjetnu inteligenciju,3 što ukazuje na priliku za tvrtke ili ustanove da steknu jasnu vidljivost potrebnu za sigurno prihvaćanje umjetne inteligencije. Još važnije, prema multinacionalnoj anketi koju je Microsoft proveo preko agencije Hypothesis Group među više od 1700 stručnjaka za sigurnost podataka, već 29 % zaposlenika koristi neodobrene agente umjetne inteligencije za radne zadatke.4
Tortni dijagram pokazuje da samo 47 % organizacija ima uspostavljene sigurnosne kontrole za korištenje generativne umjetne inteligencije.

Kako se prihvaćanje ubrzava, koliko lidera zaista prepoznaje skrivene rizike? Koliko lidera ima potpunu kontrolu nad svojim agentima? Nenadzirani ili neupravljani agenti umjetne inteligencije mogu povećati rizike u poduzeću te ugroziti sigurnost, kontinuitet poslovanja i ugled, a sve to izravno utječe na CISO-a i upravu. Ovo je srž dileme vezane uz računalni rizik. Agenti umjetne inteligencije donose nove prilike u radno okruženje i postaju neizostavan dio unutarnjih procesa. Međutim, rizično ponašanje agenata može pojačati unutarnje prijetnje i stvoriti nove načine neuspjeha za tvrtke ili ustanove koje nisu spremne za upravljanje njima.

 

Dvojna priroda umjetne inteligencije je stigla: izvanredne inovacije uparene s neviđenim rizicima.

Kako maksimalno iskoristiti agente umjetne inteligencije

Vodeće tvrtke koriste val umjetne inteligencije za modernizaciju upravljanja, smanjenje nepotrebnog izlaganja podataka i implementaciju kontrola na razini tvrtke. Uz to dolazi i kulturna promjena: poslovni lideri vode strategiju umjetne inteligencije, ali IT i sigurnosni timovi sada su pravi partneri u promatranju, upravljanju i sigurnom eksperimentiranju. Za te tvrtke ili ustanove osiguranje agenata nije ograničenje – to je konkurentska prednost, izgrađena na tretiranju agenata umjetne inteligencije kao ljudi i primjeni istih principa modela „svi su nepouzdani”.

Sve počinje s promatranjem – ne možete zaštititi ono što ne vidite, niti upravljati onim što ne razumijete. Promatranje znači uspostaviti kontrolnu ravninu kroz sve slojeve tvrtke ili ustanove (IT, sigurnost, razvojni inženjeri i AI timovi) kako biste razumjeli:

  • Koji agenti postoje
     

  • Tko je njihov vlasnik
     

  • Koje sustave i podatke koriste
     

  • Kako se ponašaju


 

Promatranje obuhvaća pet ključnih područja:

  • Centralizirani registar služi kao zajednički izvor podataka za sve agente u tvrtki ili ustanovi – od odobrenih, preko agenata trećih strana, do novih agenata u sjeni. Ovaj inventar sprječava nekontrolirano širenje agenata, osigurava odgovornost i olakšava njihovo otkrivanje, dok istovremeno omogućuje ograničavanje ili stavljanje u karantenu neodobrenih agenata kad je to potrebno.
  • Svakim agentom upravlja se istim kontrolama pristupa temeljenim na identitetu i pravilnicima koje se primjenjuju na ljudske korisnike i aplikacije. Dozvole s pristupom uz najnižu razinu ovlasti, dosljedno primijenjene, osiguravaju da agenti pristupaju samo podacima, sustavima i tijekovima rada potrebnim za ispunjenje njihove svrhe – ni više, ni manje.
  • Nadzorne ploče u stvarnom vremenu i telemetrija pružaju uvid u interakciju agenata s ljudima, podacima i sustavima. Voditelji mogu vidjeti gdje agenti djeluju, razumjeti ovisnosti te pratiti ponašanje i utjecaj, što omogućuje brže otkrivanje zloupotrebe, odstupanja ili novih rizika.
  • Agenti rade na Microsoftovim platformama, okvirima otvorenog koda i ekosustavima trećih strana, sve pod jedinstvenim modelom upravljanja. Ova interoperabilnost omogućuje agentima suradnju s ljudima i drugim agentima kroz tijekove rada, dok se njima upravlja unutar istih kontrola poduzeća.
  • Ugrađene zaštite štite agente od interne zloupotrebe i vanjskih prijetnji. Sigurnosni signali, provođenje pravilnika i integrirani alati pomažu tvrtkama ili ustanovama u ranom otkrivanju kompromitiranih ili neusklađenih agenata te brzom reagiranju prije nego što problemi prerastu u poslovnu, regulatornu ili reputacijsku štetu.

Smanjivanje jaza: kontrolni popis za upravljanje umjetnom inteligencijom i njezinu sigurnost

Put do obuzdavanja rizika umjetne inteligencije je jasan: prema agentima umjetne inteligencije postupajte jednako strogo kao prema bilo kojem zaposleniku ili računu softverske usluge. Evo sedam stavki za vaš kontrolni popis.
  • Dokumentirajte svrhu svakog agenta umjetne inteligencije i dodijelite mu pristup isključivo onome što mu je potrebno. Bez velikih ovlasti.
  • Primijenite pravila zaštite podataka na AI kanale. Vodite zapisnik o nadzoru i označavajte sadržaj generiran umjetnom inteligencijom.
  • Ponudite sigurne alternative za suzbijanje umjetne inteligencije u sjeni. Blokirajte neovlaštene aplikacije.
  • Ažurirajte proceduralne priručnike za kontinuitet poslovanja za scenarije povezane s umjetnom inteligencijom. Provedite simulacije i pratite ključne metrike promatranja na razini identiteta, podataka i prijetnji.
  • Izgradite upravljanje umjetnom inteligencijom i samoregulaciju već danas, dokumentirajte podatke o obuci, procijenite pristranost i uspostavite ljudski nadzor nad pravnim, podatkovnim i sigurnosnim aspektima, tako da je usklađenost s propisima ugrađena, a ne naknadno dodana.
  • Podignite rizik umjetne inteligencije na razinu tvrtke, uspostavite odgovornost rukovodstva, mjerljive ključne pokazatelje uspješnosti (KPI) i vidljivost na razini upravnog odbora uz financijski i operativni rizik.
  • Osposobite zaposlenike za sigurno korištenje umjetne inteligencije. Potaknite transparentnost i suradnju.

Tvrtke ili ustanove koje uspješno koriste agente umjetne inteligencije su one koje prioritetno pristupaju vidljivosti, upravljanju i sigurnosti. Postizanje toga zahtijeva suradnju svih timova i potpunu vidljivost agenata umjetne inteligencije na svim razinama tvrtki ili ustanova: IT stručnjaci, sigurnosni timovi, AI timovi i razvojni inženjeri, svima njima se može upravljati i može ih se promatrati putem objedinjene središnje kontrolne platforme.

Agent 365 Microsoftova je jedinstvena platforma za upravljanje agentima umjetne inteligencije unutar tvrtke ili ustanove. Pruža centralizirani sustav na razini tvrtke za registraciju, upravljanje, zaštitu, promatranje i rad agenata umjetne inteligencije, bez obzira jesu li izrađeni na Microsoftovim platformama, okvirima otvorenog koda ili sustavima trećih strana. Više informacija o Microsoftovim proizvodima i uslugama za sigurnost umjetne inteligencije i agenata dostupno je ovdje.
Kartice s resursima rješenja Microsoft Security koje prikazuju vodiče za AI aplikacije, upravljanje AI-jem i usklađenost AI-ja na plavoj pozadini
Vodiči za sigurnost umjetne inteligencije

Microsoftovi vodiči za osiguranje poduzeća pogonjenog umjetnom inteligencijom

Dobijte smjernice koje će vam pomoći u izgradnji snažnih temelja za umjetnu inteligenciju, uključujući upravljanje i zaštitu aplikacija umjetne inteligencije te održavanje usklađenosti.
Pročitajte vodiče

Dodatni resursi

Osoba radi na prijenosnom računalu u zajedničkom radnom prostoru dok istovremeno provjerava informacije na pametnom telefonu

Microsoftov indeks sigurnosti podataka

Dobijte uvid u to kako generativna umjetna inteligencija mijenja pristup sigurnosti podataka.
Pročitajte izvješće
Izlagač stoji na pozornici s prikazima na zaslonu koji ističu razumijevanje rizika, uspostavu pravih kontrola te mjerenje i praćenje

Ubrzavanje prilika uz pouzdanu umjetnu inteligenciju

Poslušajte Microsoftove lidere koji dijele praktične savjete za izgradnju povjerenja u svakoj fazi vašeg AI putovanja.
Pogledajte webinar
Plavo-bijela ikona koja prikazuje papir unutar omotnice s oznakom Novo.

Preuzmite CISO Digest

Budite korak ispred uz stručne uvide, trendove u djelatnosti i istraživanja sigurnosti u ovom dvomjesečnom serijalu e-pošte.
Registrirajte se
  1. [1]
    Na temelju Microsoftove vlastite telemetrije koja prati agente izrađene pomoću rješenja Microsoft Copilot Studio ili Microsoftovog sastavljača agenata koji su bili u upotrebi tijekom posljednjih 28 dana studenog 2025.
  2. [2]
    Industrijski i regionalni metrički podaci o agentima izrađeni su na temelju Microsoftove vlastite telemetrije koja prati agente izrađene pomoću rješenja Microsoft Copilot Studio ili Microsoftovog sastavljača agenata, koji su bili u upotrebi tijekom posljednjih 28 dana studenog 2025.
  3. [3]
    Međunarodna anketa provedena na više od 1700 stručnjaka za sigurnost podataka u srpnju 2025. koju je naručio Microsoft od agencije Hypothesis Group
  4. [4]

    Microsoftov indeks sigurnosti podataka za 2026.: ujedinjenje zaštite podataka i inovacija u umjetnoj inteligenciji, Microsoft Security, 2026.

     

    Metodologija:

     

    Industrijski i regionalni metrički podaci o agentima izrađeni su na temelju Microsoftove vlastite telemetrije koja prati agente izrađene pomoću rješenja Microsoft Copilot Studio ili Microsoftovog sastavljača agenata, koji su bili u upotrebi tijekom posljednjih 28 dana studenog 2025.

     

    Indeks sigurnosti podataka za 2026.:

     

    Od 16. srpnja do 11. kolovoza 2025. provedena je 25-minutna multinacionalna mrežna anketa među 1725 vodećih stručnjaka za sigurnost podataka.

     

    Pitanja su se odnosila na stanje sigurnosti podataka, incidente sigurnosti podataka, osiguranje korištenja generativnog AI-ja od strane zaposlenika i korištenje generativnog AI-ja u programima sigurnosti podataka kako bi se istaknule usporedbe s 2024. godinom.

     

    Provedeni su jednosatni detaljni intervjui s 10 vodećih osoba u području sigurnosti podataka u SAD-u i Velikoj Britaniji kako bi se prikupile priče o tome kako pristupaju sigurnosti podataka u svojim tvrtkama ili ustanovama.

     

    Definicije:

     

    Aktivni agenti su oni koji su 1) implementirani u produkciju i 2) imaju zabilježenu „stvarnu aktivnost” u posljednjih 28 dana.

     

    „Stvarna aktivnost” definira se kao više od jedne interakcije s korisnikom (pomoćni agenti) ILI više od jednog autonomnog pokretanja (autonomni agenti).

Pratite Microsoft Security