Sadržaj kursa
Uvod u modeliranje pretnji u AI
- Šta čini AI sisteme ranjivima?
- Površina napada u AI u poređenju sa tradicionalnim sistemima
- Ključni vektori napada: sloj podataka, sloj modela, sloj izlaza i sloj interfejsa
Adversarialni napadi na AI modele
- Razumevanje adversarialnih primera i tehnika perturbacije
- Napadi sa otvorenim pristupom (white-box) u odnosu na napade sa zatvorenim pristupom (black-box)
- Metode FGSM, PGD i DeepFool
- Vizuelizacija i kreiranje adversarialnih uzoraka
Inverzija modela i curenje privatnih podataka
- Izvodeći podatke za trening iz izlaza modela
- Napadi na zaključivanje članstva (membership inference attacks)
- Rizici po privatnost u klasifikacionim i generativnim modelima
Trovanje podataka i ubacivanje backdoor-a
- Kako zatrovani podaci utiču na ponašanje modela
- Backdoor-ovi zasnovani na okidačima i Trojan napadi
- Strategije otkrivanja i pročišćavanja
Robusnost i tehnike odbrane
- Adversarialno treniranje i augmentacija podataka
- Maskiranje gradijenata i pretprerada ulaznih podataka
- Tehnike glatkog modela (model smoothing) i regularizacije
Odbrambene mere AI-a koje čuvaju privatnost
- Uvod u diferencijalnu privatnost
- Ubacivanje šuma i proračuni za privatnost
- Federated učenje i sigurno agregiranje
Bezbednost AI-a u praksi
- Evaluacija i implementacija modela svesna pretnji
- Korišćenje ART (Adversarial Robustness Toolbox) u primenjenim okruženjima
- Studije slučaja iz industrije: realni proboji i mere ublažavanja
Rezime i sledeći koraci
Uslovi
- Razumevanje tokova mašinskog učenja i procesa treniranja modela
- Iskustvo sa Pythonom i uobičajenim framework-ovima za mašinsko učenje, kao što su PyTorch ili TensorFlow
- Poznavanje osnovnih koncepta bezbednosti ili modeliranja pretnji je od koristi
Potencijalna ciljna grupa
- Inženjeri mašinskog učenja
- Analitičari kibernetičke bezbednosti
- AI istraživači i timovi za validaciju modela
Iskustva korisnika (3)
inventarisanje i identifikacija različitih izloženosti riziku u veštačkoj inteligenciji
Gary Cook - Cybersecurity and Information Technology Risk Division
Kurs - Introduction to AI Trust, Risk, and Security Management (AI TRiSM)
Mašinski prevedeno
Veliko mi je bilo zadovoljstvo naučiti o napadima na veštačku inteligenciju i o alatu dostupan za početak prakse i aktivnu primenu u testiranju bezbednosti. Ponesao sam sa sobom mnogo znanja koje prethodno nisam imao, a kurs je ispunio ona očekivanja koja sam imao. Najdraži deo treninga bio je Comet Browser, bio sam zapanjen njegovim mogućnostima. Definitivno ću dalje istraživati ovu tematiku. Ukupno, u pitanju je bio odličan kurs i uživao sam u učenju svih tačaka iz OWASP GenAI Top 10.
Patrick Collins - Optum
Kurs - OWASP GenAI Security
Mašinski prevedeno
Profesionalno znanje i način na koji ga je predstavio pred nama.
Miroslav Nachev - PUBLIC COURSE
Kurs - Cybersecurity in AI Systems
Mašinski prevedeno