Sadržaj kursa
Osnove Databricks platforme i Lakehousea
- Arhitektura i komponente Databricks Lakehousea
- Organizovanje radnih prostora i kataloga
Databricks radni prostor i sveskta
- Navigacija radnim prostorom i razvoj zasnovan na svesktima
- Strukturisanje koda u ponovo upotrebljive sveskta
Arhitektura Apache Sparka i izvršavanje
- Arhitektura Spark runtime okruženja i model izvršavanja
- Lenjo vrednovanje (lazy evaluation) i DAG poslova
PySpark DataFrame-i i DataFrame API
- DataFrame apstrakcije i šeme
- Osnovne DataFrame operacije i izrazi kolona
Prevod SQL-a u PySpark DataFrame-ove
- Prevod osnovnih SQL klauzula u DataFrame operacije
- Prozorske funkcije i agregacije u PySparku
Čitanje i zapisivanje podataka u Databricksu
- Čitanje iz uobičajenih datotečnih i baznih izvora
- Zapisivanje i particionisanje podataka u Lakehouseu
Delta Lake i upravljanje tabelama
- Delta tabele i ACID transakcije
- Vremensko putovanje (time travel) i evolucija šeme
Obrazci čišćenja i transformacije podataka
- Čišćenje podataka i konverzija tipova
- Izgradnja ponovo upotrebljive logike transformacije
Definisane funkcije korisnika i modularni kod
- Python UDF-ovi i pandas UDF-ovi
- Modularizacija proceduralne logike u funkcije
Usklađivanje performansi i optimizacija
- Strategije particionisanja i keširanja
- Dijagnostikovanje grla bota sa Spark UI-jem
Osnove strukturiranog strimovanja (streaming)
- Batch model obrade naspram strim modela
- Strim DataFrame-ovi i osnovne agregacije
Databricks zadaci i orkestracija tokova posla
- Računanje sveskata kao zadataka i radnji
- Izgradnja višestepenskih tokova posla sa zavisnostima
Unity Catalog i upravljanje podacima
- Arhitektura Unity Cataloga i namespace-ovi
- Kontrola pristupa i poreklo podataka (data lineage)
Testiranje, otklanjanje grešaka i produkcijske prakse
- Unit testiranje PySpark logike
- Otklanjanje grešaka i standardi kvaliteta koda
Krajnje-to-kraj slučaji upotrebe u finansijama
- Izgradnja ETL cevi za bankarstvo od kraja do kraja
- Prevod legacy SQL procesa u PySpark
Migracija SQL opterećenja na PySpark
- Strategija migracije i obrazci planiranja
- Postepena konverzija SQL tokova posla u PySpark
Uslovi
- Izkušajstvo sa Python programiranjem, uključujući funkcije i tipove podataka
- Razumevanje SQL-a, uključujući spojeve (joins), agregacije i podupite
- Prethodna iskustvo sa Databricksom ili PySparkom nije potrebno
Javna
- Inženjeri podataka, analitičari podataka i stručnjaci za podatke
- Timovi koji migriraju postojeće SQL- zasnovane tokove posla na Databricks i PySpark
Iskustva korisnika (2)
Prikazivanje različitih načina optimizacije naših PySpark upita.
Ivan Abrashev - UBB + DZI (KBC GROUP)
Kurs - Efficient Data Processing on Kubernetes with PySpark, Pandas & Polars
Mašinski prevedeno
Sviđalo mi se što je bilo praktično. Volio sam da primenim teorijsko znanje kroz konkretne primerе.
Aurelia-Adriana - Allianz Services Romania
Kurs - Python and Spark for Big Data (PySpark)
Mašinski prevedeno