DataScript s.r.o.
Apache Spark je distribuovaný výpočetní engine, který poskytuje unifikovaný framework pro zpracování velkých objemů dat, interaktivní analýzu, machine learning, analýzu grafu a streaming. V průběhu posledních několika let se stává standardem pro zpracování těchto workloadů a to nejen v prostředí velkých dat. Jedním z důvodů proč roste popularita Sparku je také jeho programové API, neboli tzv. DataFramy, které nabízejí univerzální datovou abstrakci, již je možné použít ve všech výše zmíněnýc ...
Cena kurzu:
...
15.000
Kč / Kurz
... včetně DPH: 18.150 Kč / Kurz
Objednat - pro přihlášení na kurz/školení klikněte na zvolený termín školení a místo konání
Popis kurzu
Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake
Kurz je určen pro ...Cílová skupina: Datoví inženýři, scientisti, analysti a další uživatelé Sparku, kteří již mají se Sparkem nějakou zkušenost a chtějí se naučit optimalizovat Sparkové joby pro dosažení maximálního výkonu.
Lektoři kurzu: David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.
[Kurz] Program kurzu (obsah přednášky/semináře/rekvalifikace/studia) ...Cíle kurzu : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu Pochopit význam moderních tabulkových formátů Naučit se pracovat s Delta tabulkami
* : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu Pochopit význam moderních tabulkových formátů Naučit se pracovat s Delta tabulkami
Garant kurzu : David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup. Osnova : Spark SQL internals (Query Execution) - Logical planning (Catalog, Analyzer, Cache Management, Optimizer)
- Physical planning
- Query planner, strategies
- Spark plan
- Executed plan
- Understanding operators in the physical plan
Query optimization - Shuffle elimination
- Bucketing
- Data repartition (when and how)
- Data reuse
Optimization tips - Choose the appropriate number of shuffle partitions
- Nondeterministic expressions
- Configuration settings
Data layout - Partitioning and bucketing
- How bucketing works
- When it makes sense
- Hive tables
- Data upsert
- Schema evolution
- Discussing various problems and challenges
- Delta-Lake
- Basic features (table history, timel travel, optimize, cacuum)
- Schema evolution
- Data Change Feed
- Advanced features (Liquid Clustering, Deletion Vectors,...)
Předpoklady účastníka: Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku. Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.
[Kurz] Cíl školení / poznámka ke kurzu...Cíle kurzu : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu Pochopit význam moderních tabulkových formátů Naučit se pracovat s Delta tabulkami
|
[Školení] Další popis kurzu (úroveň, minimální znalosti, informace o cenách kurzu) ...Předpoklady účastníka: Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku. Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.
[dotaz na školení/kurz] Formulář pro komentáře, dotazy a odpovědi
DataScript s.r.o. ::
DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Poslední aktualizace: 2025-07-23 05:22:31
DataScript s.r.o. |
Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake # Přihláška na kurz:
Počítačové kurzy a semináře - grafika, databáze, programování, web & internet, office, GIS
Téma kurzů nebo školení:
  Počítačové a IT kurzy
Programování
Typ kurzu/školení: Kurz
Klíčová slova pro dané školení: apache, spark, data, engineers, advanced, optimizations, delta, lake
[RSS] Nechte si posílat nové termíny kurzu
Chcete vědět kdy bude další termín kurzu? - Využijte RSS a nechte si posílat každé změny a/nebo nové termíny kurzu do Vaší čtečky RSS (bez registrace)
Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake [RSS] - Novinky a nové termíny kurzu
© DataScript s.r.o. -
Praha 7
::
- DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...
Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Komentáře a dotazy na školení a nebo kurz
Hledáte náhodou nějakou práci?Data Engineer [M/Ž]péče, 4 nemocnice následné péče a přes 30 zařízení ALZHEIMER HOME. DATA ENGINEER [M/Ž] [Junior-Medior, absolvent... či do 5 let zkušeností] - Praha - Hybrid - Full-time Reportuje: Data Operations Lead [který reportuje Chief Data Officerovi..., Praha 1 Senior Data Engineer with Power BIprojects and professional growth. The primary goal of the Data Engineer is to lead and drive the frontend development of the... to enhance data analysis and reporting capabilities. Have worked with complex projects with multiple reports. Excellent English..., Praha 7 Podobné kurzy # apache + spark + data + engineers + advanced + optimizations + deltalake
|
= Podobný kurz nebo školení
