Arhitektura Greenpluma i modelovanje podataka Kurs za obuku

Ovo instruktorsko, uživo obuke u <lokalizaciji> (online ili na licu mesta) namenjeno je naprednim stručnjacima za podatke koji žele da optimizuju tokove obrade podataka, obezbede integritet podataka i implementiraju robusna rešenja za data lakehouse koja mogu da uspeju u izazovima modernih big data aplikacija.

Na kraju ove obuke, učesnici će biti u mogućnosti da:

• Steknu dubinsko razumevanje Icebergove arhitekture, uključujući upravljanje metapodacima i raspored fajlova.
• Konfigurišu Iceberg za optimalne performanse u različitim okruženjima i integrišu ga sa više engine-ova za obradu podataka.
• Upravljaju Iceberg tabelama velikog obima, izvedu kompleksne izmene šeme i obrade evoluciju particija.
• Svladaju tehnike za optimizaciju performansi upita i efikasnost skeniranja podataka za velike skupove podataka.
• Implementiraju mehanizme za obezbeđivanje konzistentnosti podataka, upravljanje transakcionim garancijama i rukovanje greškama u distribuiranim okruženjima.

Ovaj instruktorovo vođeni, uživo trening u Srbija (online ili uživo) namenjen je podacima profesionalcima početnog nivoa koji žele da steknu znanje i veštine neophodne za efikasno korišćenje Apache Iceberga u upravljanju podacima velikog obima, obezbeđivanju integriteta podataka i optimizaciji tokova obrade podataka.

Na kraju ovog treninga, učesnici će moći da:

• steknu temeljno razumevanje arhitekture, karakteristika i prednosti Apache Iceberga.
• nauče o formatima tabela, particionisanju, evoluciji šeme i mogućnostima time travel-a.
• instaliraju i konfiguruišu Apache Iceberg u različitim okruženjima.
• kreiraju, upravljaju i menjaju Iceberg tabele.
• razumeju proces migracije podataka iz drugih formata tabela u Iceberg.

Ova obuka koju vodi instruktor, održavana uživo na Srbija (online ili na lokaciji klijenta), namenjena je naučnicima i inženjerima podataka srednjeg nivoa znanja koji žele da iskoriste Google Colab i Apache Spark za obradu i analitiku big podataka.

Na kraju ove obuke, učesnici će moći da:

• Podese okruženje za big podatke koristeći Google Colab i Spark.
• Efikasno obrade i analiziraju velike skupove podataka pomoću Apache Spark-a.
• Vizualizuju big podatke u klijentelnom okruženju.
• Integriraju Apache Spark sa alatima baziranim na oblaku.

Ova obuka uživo, vođena od strane instruktora (online ili na lokaciji klijenta), namenjena je inženjerima podataka, analitičarima podataka i stručnjacima za podatke koji žele da koriste Databricks i PySpark za izgradnju skalabilnih cevi za obradu podataka i migraciju postojećih SQL tokova posla.

Ova obuka pruža praktičan uvid u izgradnju skalabilnih tokova za obradu podataka i mašinsko učenje koristeći PySpark. Polaznici uče kako Apache Spark funkcioniše u savremenim Big Data ekosistemima i kako efikasno obraditi velike skupove podataka primenom principa distribuiranog računarstva.

Praktični kurs od tri dana fokusiran je na izgradnju i optimizaciju efikasnih opterećenja za obradu podataka pomoću PySparka, Pandsa i Polarsa u okruženjima baziranim na Kubernetesu.

Učesnici će razviti praktično razumevanje načina na koji se Spark aplikacije izvršavaju na Kubernetesu i kako odluke o konfiguraciji na nivou aplikacije utiču na performanse, skalabilnost, potrošnju resursa i troškove. Kurs pokriva ključna područja optimizacije, uključujući dimenzioniranje izvršitelja (executora), alokaciju memorije, dinamičku alokaciju, strategije particionisanja, ponašanje shuffle operacija, problem malih fajlova i efikasnu obradu Parquet fajlova.

Kurs takođe obrađuje uobičajene izazove pri radu sa Pandasom, uključujući ograničenja memorije i greške usled nedostatka memorije, i predstavlja Polars kao alternativu visokih performansi za izabrana opterećenja obrade podataka. Kroz vežbe u praksi, učesnici će dijagnostikovati probleme sa performansama i memorijom, upoređivati različite strategije konfiguracije i primenjivati tehnike optimizacije na realistične scenarije ETL procesa i mašinskog učenja.

Celokupan naglasak kursa stavljen je na praktično donošenje odluka: razumevanje načina identifikovanja uskih grla, odabira odgovarajućeg alata, efikasne konfiguracije Sparka i balansa između performansi i potrošnje resursa infrastrukture i troškova.

Ova obuka vođena od strane instruktora, uživo u Srbija (onlajn ili na lokaciji), namenjena je inženjerima koji žele da puste i implementiraju Apache Spark sistem za obradu veoma velikih količina podataka.

Do kraja ove obuke, učesnici će moći da:

• Instaliraju i konfigurišu Apache Spark.
• Brzo obrađuju i analiziraju veoma velika skupine podataka.
• Razumeju razliku između Apache Spark i Hadoop MapReduce, kao i situacije kada se koristi svaki od njih.
• Integrišu Apache Spark sa drugim alatima za mašinsko učenje.

Ova obuka sa trenerom uživo u Srbija (online ili licno) namenjena je administratorima sistema početnog do srednjeg nivoa koji žele da postavljaju, održavaju i optimizuju Spark klasterne okruženja.

Na kraju ove obuke, učesnici će moći da:

• Instaliraju i konfigurišu Apache Spark u različitim okruženjima.
• Upravljaju resursima klastera i prate rad Spark aplikacija.
• Optimizuju performanse Spark klastera.
• Implementiraju mere bezbednosti i osiguraju visoku dostupnost.
• Otkrivaju i rešavaju uobičajene probleme u Sparku.

U ovom instruktur vođenom, uživo treningu u Srbija, učesnici će naučiti kako da koriste Python i Spark zajedno za analizu big data, radeći praktične vežbe.

Krajevom ovog treninga, učesnici će moći da:

• Nauče kako da koriste Spark uz Python za analizu Big Data.
• Rade vežbe koje imitiraju slučajeve iz stvarnog sveta.
• Koriste različite alate i tehnike za analizu big data koristeći PySpark.

Ova obuka vođena instrukcijom u <lokalizaciji > (online ili uživo) namenjena je developerima koji žele da koriste i integriraju Spark, Hadoop i Python radi obrade, analize i transformacije velikih i složenih skupova podataka.

Nakon završetka ove obuke, učesnici će biti u mogućnosti da:

• Postave neophodno okruženje za početak obrade big data pomoću Sparka, Hadopa i Pythona.
• Uvvide karakteristike, ključne komponente i arhitekturu Sparka i Hadopa.
• Uče kako da integrišu Spark, Hadoop i Python radi obrade big data.
• Istraže alate iz ekosistema Sparka (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka i Flume).
• Naprave sisteme za preporuke zasnovane na kolaborativnom filtriranju, slične onima koje koriste Netflix, YouTube, Amazon, Spotify i Google.
• Koriste Apache Mahout za skaliranje algoritama mašinskog učenja.

Ova obuka sa predavačem uživo u Srbija obuhvata Stratio platformu, sa fokusom na module Rocket i Intelligence uz korišćenje PySpark-a. Učesnici će savladati unos, transformaciju i naprednu analitiku podataka, stičući praktična veština u radu sa petljama, UDF funkcijama i preduzetničkim tokovima podataka.