Kontaktirajte nas
 Trajanje 35 sati

Sadržaj kursa

Uvod i osnove dijagnostike

  • Pregled modova neuspеха u LLM sistemima i uobičajenih specifičnih problema Ollama platforme
  • Postavljanje reproduktivnih eksperimenata i kontrolisanih okruženja
  • Alat za proučavanje: lokalni logovi, snimanja zahteva/odgovora i sandboxing

Reprodukcija i izolacija neuspеха

  • Tehnike za kreiranje minimalnih primera neuspеха i semena
  • Stateful vs stateless interakcije: izolacija bug-ova vezanih za kontekst
  • Determinizam, nasumičnost i kontrola nedeterminističnog ponašanja

Ponašanje evaluacije i metrike

  • Kvantitativne metrike: tačnost, varijante ROUGE/BLEU, kalibracija i proksi perplexity
  • Kvalitativne evaluacije: scoring sa čovekom u petlji i dizajn kriterijuma
  • Provere vernosti specifične za zadatak i kriterijumi prihvatanja

Automatizovano testiranje i regresija

  • Unit testovi za promptove i komponente, scenarijski i end-to-end testovi
  • Kreiranje regresivnih setova i zlatnih referentnih primera
  • CI/CD integracija za ažuriranja Ollama modela i automatska validaciona vrata

Posmatranje i monitoring

  • Strukturisano beleženje, distribuirani tragovi i korelacioni ID-jevi
  • Ključne operativne metrike: latencija, upotreba tokena, stope grešaka i signali kvaliteta
  • Alarmiranje, dashboardi i SLI/SLO za servise zasnovane na modelima

Napredna analiza uzroka korena

  • Pratnja kroz grafike promptova, pozive alata i višestruke tokove
  • Komparativna A/B dijagnostika i ablation studije
  • Poreklo podataka, proučavanje dataset-ova i rešavanje neuspеха izazvanih dataset-om

Bezbednost, robusnost i strategije korekcije

  • Mitigacije: filtriranje, grounding, retrieval augmentacija i prompt scaffolding
  • Rollback, canary i fazi modeli za ažuriranja modela
  • Post-mortem analize, pouke i petlje kontinuiranog poboljšanja

Zaključak i sledeći koraci

Uslovi

  • Jako iskustvo u izgradnji i deployment-u LLM aplikacija
  • Znanje Ollama radnih tokova i hostovanja modela
  • Upravljanje Python-om, Docker-om i osnovnim alatom za posmatranje

Ciljna publika

  • Inženjeri veštačke inteligencije
  • Profesionalci za ML Ops
  • QA timovi zaduženi za produkcijske LLM sisteme

Broj učesnika


Cena po učesniku

Predstojeći kursevi

Povezane kategorije