Sadržaj kursa
Temelji arhitekture za veštačke inteligencije
- Slojevi, granice i razdvajanje odgovornosti
- Primena šablona "ports and adapters" na komponente veštačke inteligencije
- Scenariji atributa kvaliteta za funkcije veštačke inteligencije
- Beleške o arhitektonskim odlukama kao forma upravljanja
Evolveranje postojećih aplikacija
- Inkrementalna modernizacija umesto potpune zamene
- Postavljanje servisa veštačke inteligencije pored postojećeg monolita
- Šabloni "strangler" i slojeva protivokorupcije
- Integracioni priključci za postojeće API-je i podatke
Arhitektonski šabloni za integraciju LLM-ova
- Model gateway kao apstrakciona granica
- Sinhrona, asinhrona i striminska integracija
- Povratne vrednosti, degradacija i prebacivanje na alternativne provajdere
- Konfiguracija promptova i modela kao verzijisani assets
Ugovori, API-ji i razmena podataka
- Šemama strukturisanih izlaznih podataka i validacija
- Idempotentnost, ponovni pokušaji i ograničavanje stope poziva
- Budžeti latencije i orkestracija tajmauta
- Ukupan trošak po zahtevu kao arhitektonsko ograničenje
Arhitektura RAG-a od početka do kraja
- Ulazak, sečenje (chunking) i embedding pipeline
- Faze indeksiranja, pretrage, rangiranja i generisanja
- Położaj pretrage u odnosu na servisne aplikacije
- Trd-ofs i modovi kvara na svakoj fazi
Vektorske baze podataka i dizajn pretrage
- Upravljani vektorski store-i u odnosu na samostalne (self-hosted)
- Gusti, retki i hibridni pretraga
- Filtriranje metapodataka i izolacija najamitelja (tenants)
- Strategija ponovnog embeddings-a pri promeni modela
Kvalitet pretrage, grounding i evaluacija
- Setovi za evaluaciju izgrađeni od stvarnih upita
- Metrike kvaliteta pretrage i odgovora
- Citiranje, grounding i suzbijanje halucinacija
- Povratna sprega unazad ka indeksu
Arhitektura agensa
- Ciklus agenta i pozivanje alata
- Deterministički radni tokovi u odnosu na autonomne planere
- Slučajevi kada je agent pogrešan izbor
- Definisanje odgovornosti i stanja agenta
Multi-agent sistemi i orkestracija
- Topologije nadzornika i orkestratora
- Protokoli za prebacivanje (handoff) i ugovori o porukama
- Deljena memorija i upravljanje kontekstom
- Poređenje framework-a na arhitektonskim osnovima
Komunikacija servisa i protokoli alata
- Event-driven i red-temeljana koordinacija
- Eksponiranje alata kroz standardne protokole
- Sagas, kompenzacija i dugotrajne transakcije
- Posmatraljivost kroz skokove između servisa
AI agenti u razvojnog radnog toka
- Programerski agenti unutar distribucionog pipelinea
- Spec-driven razvoj i kontrolna vrata za pregled
- Generisanje testova i automatske provere kvaliteta
- Međa (guardrails) koja čuva arhitektonsku kontrolu
Upravljanje i kvalitet softvera
- Dizajnerski pregled AI funkcija
- Upravljanje promenama modela i promptova
- Regresiona evaluacija kao faza pipelinea
- Vlasništvo, politika i putanje odobravanja
Bezbednost, privatnost i upravljanje podacima
- Prompt injection i dubinska odbrana (defence in depth)
- Tajne, kontrola pristupa i minimalni privilegije
- Rezidencija podataka, lični podaci i zadržavanje
- Audibilnost i kontrole sa ljudima u petlji (human-in-the-loop)
Skalabilnost, troškovi i posmatraljivost
- Prćenje (tracing) kroz lance agensa
- Telemetrija tokena i troškova
- Keširanje i optimizacija latencije
- Nivoi servisa i odgovor na incidente za AI servise
Capstone: Arhitektura za rešenje vođeno veštačkom inteligencijom
- Pogledi na kontekst, komponente i deploy
- Dizajn orkestracije pretrage i agensa
- Plan bezbednosti, upravljanja i troškova
- Međusobni pregled, kritika i ruta za migraciju
Uslovi
- Ispitivanje dizajniranja i održavanja produkcijskih softverskih sistema
- Funkcionalno znanje REST API-jeva i integracije servisa
- Poznavanje relacionalnih baza podataka i modeliranja podataka
- Osnovno izlaganje LLM-alatima ili API-jevima
Publika
- Softverski arhitekti
- Tehnički leaderi i seniorski inženjeri
- Inženjerski manageri odgovorni za arhitektonske odluke
Iskustva korisnika (1)
Stekao sam znanje o biblioteci Streamlit u jeziku Python i svakako ću je iskoristiti za unapređenje primena u mom timu, koje su trenutno razvijene u R Shiny-u.
Michal Maj - XL Catlin Services SE (AXA XL)
Kurs - GitHub Copilot for Developers
Mašinski prevedeno