Kontaktirajte nas
 Trajanje 35 sati

Sadržaj kursa

Osnove Databricks platforme i Lakehousea

  • Arhitektura i komponente Databricks Lakehousea
  • Organizovanje radnih prostora i kataloga

Databricks radni prostor i sveskta

  • Navigacija radnim prostorom i razvoj zasnovan na svesktima
  • Strukturisanje koda u ponovo upotrebljive sveskta

Arhitektura Apache Sparka i izvršavanje

  • Arhitektura Spark runtime okruženja i model izvršavanja
  • Lenjo vrednovanje (lazy evaluation) i DAG poslova

PySpark DataFrame-i i DataFrame API

  • DataFrame apstrakcije i šeme
  • Osnovne DataFrame operacije i izrazi kolona

Prevod SQL-a u PySpark DataFrame-ove

  • Prevod osnovnih SQL klauzula u DataFrame operacije
  • Prozorske funkcije i agregacije u PySparku

Čitanje i zapisivanje podataka u Databricksu

  • Čitanje iz uobičajenih datotečnih i baznih izvora
  • Zapisivanje i particionisanje podataka u Lakehouseu

Delta Lake i upravljanje tabelama

  • Delta tabele i ACID transakcije
  • Vremensko putovanje (time travel) i evolucija šeme

Obrazci čišćenja i transformacije podataka

  • Čišćenje podataka i konverzija tipova
  • Izgradnja ponovo upotrebljive logike transformacije

Definisane funkcije korisnika i modularni kod

  • Python UDF-ovi i pandas UDF-ovi
  • Modularizacija proceduralne logike u funkcije

Usklađivanje performansi i optimizacija

  • Strategije particionisanja i keširanja
  • Dijagnostikovanje grla bota sa Spark UI-jem

Osnove strukturiranog strimovanja (streaming)

  • Batch model obrade naspram strim modela
  • Strim DataFrame-ovi i osnovne agregacije

Databricks zadaci i orkestracija tokova posla

  • Računanje sveskata kao zadataka i radnji
  • Izgradnja višestepenskih tokova posla sa zavisnostima

Unity Catalog i upravljanje podacima

  • Arhitektura Unity Cataloga i namespace-ovi
  • Kontrola pristupa i poreklo podataka (data lineage)

Testiranje, otklanjanje grešaka i produkcijske prakse

  • Unit testiranje PySpark logike
  • Otklanjanje grešaka i standardi kvaliteta koda

Krajnje-to-kraj slučaji upotrebe u finansijama

  • Izgradnja ETL cevi za bankarstvo od kraja do kraja
  • Prevod legacy SQL procesa u PySpark

Migracija SQL opterećenja na PySpark

  • Strategija migracije i obrazci planiranja
  • Postepena konverzija SQL tokova posla u PySpark

Uslovi

  • Izkušajstvo sa Python programiranjem, uključujući funkcije i tipove podataka
  • Razumevanje SQL-a, uključujući spojeve (joins), agregacije i podupite
  • Prethodna iskustvo sa Databricksom ili PySparkom nije potrebno

Javna

  • Inženjeri podataka, analitičari podataka i stručnjaci za podatke
  • Timovi koji migriraju postojeće SQL- zasnovane tokove posla na Databricks i PySpark

Broj učesnika


Cena po učesniku

Iskustva korisnika (2)

Predstojeći kursevi

Povezane kategorije