Striming podataka i obrada podataka u realnom vremenu Training Course

Ovo instruktorsko, uživo obuke u <lokalizaciji> (online ili na licu mesta) namenjeno je naprednim stručnjacima za podatke koji žele da optimizuju tokove obrade podataka, obezbede integritet podataka i implementiraju robusna rešenja za data lakehouse koja mogu da uspeju u izazovima modernih big data aplikacija.

Na kraju ove obuke, učesnici će biti u mogućnosti da:

• Steknu dubinsko razumevanje Icebergove arhitekture, uključujući upravljanje metapodacima i raspored fajlova.
• Konfigurišu Iceberg za optimalne performanse u različitim okruženjima i integrišu ga sa više engine-ova za obradu podataka.
• Upravljaju Iceberg tabelama velikog obima, izvedu kompleksne izmene šeme i obrade evoluciju particija.
• Svladaju tehnike za optimizaciju performansi upita i efikasnost skeniranja podataka za velike skupove podataka.
• Implementiraju mehanizme za obezbeđivanje konzistentnosti podataka, upravljanje transakcionim garancijama i rukovanje greškama u distribuiranim okruženjima.

This instructor-led live training in Srbija (online or onsite) is intended for beginner-level data professionals who want to acquire the knowledge and skills needed to effectively use Apache Iceberg for managing large-scale datasets, ensuring data integrity, and optimizing data processing workflows.

By the end of this training, participants will be able to:

• Gain a thorough understanding of Apache Iceberg's architecture, features, and benefits.
• Learn about table formats, partitioning, schema evolution, and time travel capabilities.
• Install and configure Apache Iceberg in various environments.
• Create, manage, and manipulate Iceberg tables.
• Understand the process of migrating data from other table formats to Iceberg.

Ova obuka koju vodi instruktor, održavana uživo na Srbija (online ili na lokaciji klijenta), namenjena je naučnicima i inženjerima podataka srednjeg nivoa znanja koji žele da iskoriste Google Colab i Apache Spark za obradu i analitiku big podataka.

Na kraju ove obuke, učesnici će moći da:

• Podese okruženje za big podatke koristeći Google Colab i Spark.
• Efikasno obrade i analiziraju velike skupove podataka pomoću Apache Spark-a.
• Vizualizuju big podatke u klijentelnom okruženju.
• Integriraju Apache Spark sa alatima baziranim na oblaku.

Ova obuka uživo, vođena od strane instruktora (online ili na lokaciji klijenta), namenjena je inženjerima podataka, analitičarima podataka i stručnjacima za podatke koji žele da koriste Databricks i PySpark za izgradnju skalabilnih cevi za obradu podataka i migraciju postojećih SQL tokova posla.

This course offers a hands-on introduction to developing scalable data processing and Machine Learning workflows using PySpark. Participants will gain insights into how Apache Spark functions within contemporary Big Data ecosystems and learn to process large datasets efficiently by applying distributed computing principles.

Ovaj trodnevni praktični kurs fokusiran je na izgradnju i optimizaciju efikasnih radnih opterećenja za obradu podataka koristeći PySpark, Pandas i Polars u okruženjima baziranim na Kubernetes-u.

Učesnici će razviti praktično razumevanje načina na koji se Spark aplikacije izvršavaju na Kubernetes-u i kako odluke o konfiguraciji na nivou aplikacije utiču na performanse, skalabilnost, potrošnju resursa i troškove. Kurs pokriva ključna područja optimizacije, uključujući veličinu eksekutora, alokaciju memorije, dinamičku alokaciju, strategije particionisanja, ponašanje shuffle operacija, problem malih datoteka i efikasnu obradu Parquet formata.

Kurs takođe tretira uobičajene izazove pri radu sa Pandas bibliotekom, uključujući ograničenja memorije i greške usled nedostatka memorije (out-of-memory), i uvodi Polars kao alternativu sa visokim performansama za određene zadatke obrade podataka. Kroz praktične vežbe, učesnici će dijagnostikovati probleme sa performansama i memorijom, upoređivati različite strategije konfiguracije i primenjivati tehnike optimizacije na realistične ETL scenarije i scenarije mašinskog učenja.

Naglasak u celom kursu je na praktičnom donošenju odluka: razumevanje kako identifikovati uska grla, kako izabrati odgovarajući alat, kako efikasno konfigurisati Spark i kako uskladiti performanse sa potrošnjom resursa infrastrukture i troškovima.

Ova obuka vođena od strane instruktora, uživo u Srbija (onlajn ili na lokaciji), namenjena je inženjerima koji žele da puste i implementiraju Apache Spark sistem za obradu veoma velikih količina podataka.

Do kraja ove obuke, učesnici će moći da:

• Instaliraju i konfigurišu Apache Spark.
• Brzo obrađuju i analiziraju veoma velika skupine podataka.
• Razumeju razliku između Apache Spark i Hadoop MapReduce, kao i situacije kada se koristi svaki od njih.
• Integrišu Apache Spark sa drugim alatima za mašinsko učenje.

Ova obuka sa trenerom uživo u Srbija (online ili licno) namenjena je administratorima sistema početnog do srednjeg nivoa koji žele da postavljaju, održavaju i optimizuju Spark klasterne okruženja.

Na kraju ove obuke, učesnici će moći da:

• Instaliraju i konfigurišu Apache Spark u različitim okruženjima.
• Upravljaju resursima klastera i prate rad Spark aplikacija.
• Optimizuju performanse Spark klastera.
• Implementiraju mere bezbednosti i osiguraju visoku dostupnost.
• Otkrivaju i rešavaju uobičajene probleme u Sparku.

U ovom instruktur vođenom, uživo treningu u Srbija, učesnici će naučiti kako da koriste Python i Spark zajedno za analizu big data, radeći praktične vežbe.

Krajevom ovog treninga, učesnici će moći da:

• Nauče kako da koriste Spark uz Python za analizu Big Data.
• Rade vežbe koje imitiraju slučajeve iz stvarnog sveta.
• Koriste različite alate i tehnike za analizu big data koristeći PySpark.

Ova obuka vođena instrukcijom u <lokalizaciji > (online ili uživo) namenjena je developerima koji žele da koriste i integriraju Spark, Hadoop i Python radi obrade, analize i transformacije velikih i složenih skupova podataka.

Nakon završetka ove obuke, učesnici će biti u mogućnosti da:

• Postave neophodno okruženje za početak obrade big data pomoću Sparka, Hadopa i Pythona.
• Uvvide karakteristike, ključne komponente i arhitekturu Sparka i Hadopa.
• Uče kako da integrišu Spark, Hadoop i Python radi obrade big data.
• Istraže alate iz ekosistema Sparka (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Naprave sisteme za preporuke zasnovane na kolaborativnom filtriranju, slične onima koje koriste Netflix, YouTube, Amazon, Spotify i Google.
• Koriste Apache Mahout za skaliranje algoritama mašinskog učenja.