Hvala što ste poslali upit! Jedan od naših članova tima će vas uskoro kontaktirati.
Hvala što ste poslali rezervaciju! Jedan od naših članova tima će vas uskoro kontaktirati.
Trajanje 35 sati
Sadržaj kursa
Uvod i osnove dijagnostike
- Pregled modova neuspеха u LLM sistemima i uobičajenih specifičnih problema Ollama platforme
- Postavljanje reproduktivnih eksperimenata i kontrolisanih okruženja
- Alat za proučavanje: lokalni logovi, snimanja zahteva/odgovora i sandboxing
Reprodukcija i izolacija neuspеха
- Tehnike za kreiranje minimalnih primera neuspеха i semena
- Stateful vs stateless interakcije: izolacija bug-ova vezanih za kontekst
- Determinizam, nasumičnost i kontrola nedeterminističnog ponašanja
Ponašanje evaluacije i metrike
- Kvantitativne metrike: tačnost, varijante ROUGE/BLEU, kalibracija i proksi perplexity
- Kvalitativne evaluacije: scoring sa čovekom u petlji i dizajn kriterijuma
- Provere vernosti specifične za zadatak i kriterijumi prihvatanja
Automatizovano testiranje i regresija
- Unit testovi za promptove i komponente, scenarijski i end-to-end testovi
- Kreiranje regresivnih setova i zlatnih referentnih primera
- CI/CD integracija za ažuriranja Ollama modela i automatska validaciona vrata
Posmatranje i monitoring
- Strukturisano beleženje, distribuirani tragovi i korelacioni ID-jevi
- Ključne operativne metrike: latencija, upotreba tokena, stope grešaka i signali kvaliteta
- Alarmiranje, dashboardi i SLI/SLO za servise zasnovane na modelima
Napredna analiza uzroka korena
- Pratnja kroz grafike promptova, pozive alata i višestruke tokove
- Komparativna A/B dijagnostika i ablation studije
- Poreklo podataka, proučavanje dataset-ova i rešavanje neuspеха izazvanih dataset-om
Bezbednost, robusnost i strategije korekcije
- Mitigacije: filtriranje, grounding, retrieval augmentacija i prompt scaffolding
- Rollback, canary i fazi modeli za ažuriranja modela
- Post-mortem analize, pouke i petlje kontinuiranog poboljšanja
Zaključak i sledeći koraci
Uslovi
- Jako iskustvo u izgradnji i deployment-u LLM aplikacija
- Znanje Ollama radnih tokova i hostovanja modela
- Upravljanje Python-om, Docker-om i osnovnim alatom za posmatranje
Ciljna publika
- Inženjeri veštačke inteligencije
- Profesionalci za ML Ops
- QA timovi zaduženi za produkcijske LLM sisteme