Hvala što ste poslali upit! Jedan od naših članova tima će vas uskoro kontaktirati.
Hvala što ste poslali rezervaciju! Jedan od naših članova tima će vas uskoro kontaktirati.
Trajanje 21 sati
Sadržaj kursa
Osnove: Modeli pretnji za agencijsku veštačku inteligenciju
- Vrste pretnji agencijama: zloupotreba, eskalacija, curenje podataka i rizici u lancu snabdevanja
- Profili neprijatelja i sposobnosti napadača specifične za autonome agente
- Mapanje imovine, granica poverenja i ključnih tačaka kontrole za agente
Upravljanje, politika i upravljanje rizicima
- Ramovi upravljanja za agencijske sisteme (uloge, odgovornosti, vrata odobrenja)
- Dizajn politika: prihvatljiva upotreba, pravila eskalacije, obrada podataka i mogućnost revizije
- Ogledi usklađenosti i prikupljanje dokaza za revizije
Ne-ljudski identitet i autentikacija za agente
- Dizajniranje identiteta za agente: naloge servisa, JWT tokene i kratkovežne vladine podatke
- Obrasci pristupa po principu najmanjih privilegija i izdavanje vladovnih podataka u trenutku potrebe
- Strategije životnog veka identiteta, rotacije, delegacije i opoziva
Kontrole pristupa, tajne i zaštita podataka
- Modeli fine-grained kontrole pristupa i obrasci zasnovani na sposobnostima za agente
- Upravljanje tajnama, šifrovanje u tranzitu i mirovanju, minimizacija podataka
- Zaštita osetljivih izvora znanja i PII podataka od nepunovlašćenog pristupa agenata
Posmatranje, revizije i odgovor na incidente
- Dizajniranje telemetrije za ponašanje agenata: praćenje namere, dnevnik komandi i poreklo
- Integracija SIEM-a, pragovi upozorenja i spremnost za forenzičke analize
- Operativne smernice i planovi za incidente vezane za agente i ograđivanje
Crveno-timsko testiranje agencijskih sistema
- Planiranje vežbi crvenog tima: opseg, pravila angažovanja i bezbedno prebacivanje
- Techniques neprijatelja: ubacivanje promptova, zloupotreba alata, manipulacija lancem mišljenja i zloupotreba API-ja
- Provođenje kontrolisanih napada i merenje izloženosti i uticaja
Jačanje i ublažavanje
- Inženjerske kontrole: gušenje odziva, ograničavanje sposobnosti i sandboxing
- Kontrole politike i orkestracije: tokovi odobrenja, ljudska kontrola u petlji i upravljački mehanizmi
- Odbrane na nivou modela i prompta: validacija unosa, kanonizacija i filteri izlaza
Operacionalizacija bezbednih implementacija agenata
- Obrasci implementacije: staging, canary i postepeno postavljanje za agente
- Kontrola promena, testirani cipelovi i provere bezbednosti pre implementacije
- Mehanizmi upravljanja koji premošćavaju funkcije: bezbednost, pravo, proizvod i operacije
Završni zadatak: Vežba crvenog i plavog tima
- Izvođenje simuliranog napada crvenog tima protiv sandboxirane sredine agenata
- Odbrana, detekcija i ispravljanje kao plavi tim koristeći kontrole i telemetriju
- Prikaz nalaza, plana ispravljanja i ažuriranja politika
Zaključak i naredni koraci
Uslovi
- Čvrsta poznanja u oblasti bezbednosnog inženjeringa, sistemske administracije ili operacija u oblaku
- Znanje o konceptima veštačke inteligencije/machine learning-a i ponašanju velikih jezičkih modela (LLM)
- Iskustvo sa upravljanjem identitetom i pristupom (IAM) i bezbednim dizajniranjem sistema
Ciljna publika
- Bezbednosni inženjeri i članovi crvenog tima
- Operateri veštačke inteligencije i platformski inženjeri
- Oficiri za usklađenost i upravnici rizika
- Voditelji inženjeringa zaduženi za implementaciju agenata
Iskustva korisnika (1)
inventarisanje i identifikacija različitih izloženosti riziku u veštačkoj inteligenciji
Gary Cook - Cybersecurity and Information Technology Risk Division
Kurs - Introduction to AI Trust, Risk, and Security Management (AI TRiSM)
Mašinski prevedeno