Klasifikacija zvuka i detekcija događaja pomoću ML-a Kurs za obuku

Osnove klasifikacije zvuka

• Vrste zvučnih događaja: ekološke, mašinske, ljudskog porekla.
• Pregled slučajeva korišćenja: nadzor, praćenje, automatizacija.
• Klasifikacija vs detekcija vs segmentacija zvuka.

Podaci o zvuku i ekstrakcija karakteristika

• Vrste i formati datoteka sa zvukom.
• Ozbiljnost uzorkovanja, prozora i veličine frejmova.
• Ekstrakcija MFCC-ova, hromatskih karakteristika i mel-spektrograma.

Priprema podataka i anotacija

• Datenseti UrbanSound8K, ESC-50 i prilagođeni setovi podataka.
• Označavanje zvučnih događaja i vremenskih granica.
• Uzdržavanje balansiranih setova podataka i augmentacija zvuka.

Gradnja modela za klasifikaciju zvuka

• Korišćenje konvolucione neuralne mreže (CNN) za zvuk.
• Ulazni podaci: sirova talasna forma vs karakteristike.
• Loss funkcije, metrike evaluacije i overfitting.

Detekcija događaja i vremenska lokalizacija

• Strategije detekcije zasnovane na frejmovima i segmentima.
• Post-processing detekcija uz pomoć pragova i glatkoće.
• Vizuelizacija predviđanja na vremenskim linijama zvuka.

Napredne teme i procesiranje u realnom vremenu

• Transfer learning za scenarije sa malo podataka.
• Depliranje modela pomoću TensorFlow Lite ili ONNX.
• Streaming audio procesiranje i razmatranja latencije.

Razvoj projekta i scenariji primene

• Dizajniranje celokupnog pipeline-a: od prihvatanja do klasifikacije.
• Development dokaza koncepta za nadzor, kontrolu kvaliteta ili praćenje.
• Logging, alerting i integracija sa dashboardima ili API-jima.

Sažetak i sledeći koraci