Pořádáte podobný kurz/školení?
Pořádáte podobné kurzy, školení a/nebo studium. Vložte Vaše kurzy na web. Kurs / kurzy nemusí být rekvalifikační,
stačí když kurzy budou mít termín konání školení pro on-line objednávku kurzu
Apache Spark for Data Engineers - Advanced Optimizations - Následující kurzy: APACHE SPARK FOR DATA ENGINEERS ADVANCED OPTIMIZATIONSViz také následující kurzy :
- Kubernetes Advanced
 - Veeam Backup & Replicatio V12: Advanced Administration
- Apache Spark - od jednoduchých transformací po vysoce výkonné joby
- Apache Kafka
- Automatizovaná správa linuxových serverů pomocí Foreman
|
Kurz - Apache Spark for Data Engineers - Advanced Optimizations
DataScript s.r.o.
Apache Spark je distribuovaný výpočetní engine, který poskytuje unifikovaný framework pro zpracování velkých objemů dat, interaktivní analýzu, machine learning, analýzu grafu a streaming. V průběhu posledních několika let se stává standardem pro zpracování těchto workloadů a to nejen v prostředí velkých dat. Jedním z důvodů proč roste popularita Sparku je také jeho programové API, neboli tzv. DataFramy, které nabízejí univerzální datovou abstrakci, již je možné použít ve všech výše zmíněných obl ...
Cena kurzu:
...
15.000
Kč / Kurz
... včetně DPH: 18.150 Kč / Kurz
Objednat - pro přihlášení na kurz/školení klikněte na zvolený termín školení a místo konání
Popis kurzu
Apache Spark for Data Engineers - Advanced Optimizations
Kurz je určen pro ...Cílová skupina: Datový inženýři, scientisti a další uživatelé Sparku, kteří již mají se Sparkem nějakou zkušenost a chtějí se naučit optimalizovat Sparkové joby pro dosažení maximálního výkonu.
Lektoři kurzu: David Vrba Ph.D. David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.
[Kurz] Program kurzu (obsah přednášky/semináře/rekvalifikace/studia) ...Cíle kurzu : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu
* : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu
Garant kurzu : David Vrba Ph.D. David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup. Osnova : Spark SQL internals (Query Execution) - Logical planning (Catalog, Analyzer, Cache Management, Optimizer)
- Catalyst API
- Extending the optimizer
- Limiting the optimizer
- Physical planning
- Query planner, strategies
- Spark plan
- Executed plan
- Understanding operators in the physical plan
- Cost based optimizer
- How cost-based optimizations work
- Statistics collection
- Statistics usage
Query optimization - Shuffle elimination
- Bucketing
- Data repartition (when and how)
- Optimizing joins
- Shuffle-free join
- One-side shuffle-free join
- Broadcast join vs sort-merge join
- Data reuse
- Caching
- Checkpointing
- Exchange reuse
Optimization tips - Choose the appropriate number of shuffle partitions
- Nondeterministic expressions
- Configuration settings
Data layout - Different file formats
- Partitioning and bucketing
- How bucketing works
- How to ensure the proper number of files
- Tables management
- Working with the Catalog API
- Delta-io
- Open-source storage layer with ACID transactions
Předpoklady na účastníka: - Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku.
- Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.
[Kurz] Cíl školení / poznámka ke kurzu...Cíle kurzu : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu
|
[dotaz na školení/kurz] Formulář pro komentáře, dotazy a odpovědi
DataScript s.r.o. ::
DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Poslední aktualizace: 2025-07-16 19:19:20
DataScript s.r.o. |
Apache Spark for Data Engineers - Advanced Optimizations # Počítačové kurzy a semináře - grafika, databáze, programování, web & internet, office, GIS
Téma kurzů nebo školení:
  Počítačové a IT kurzy
Programování
Typ kurzu/školení: Kurz
Klíčová slova pro dané školení: apache, spark, data, engineers, advanced, optimizations
[RSS] Nechte si posílat nové termíny kurzu
Chcete vědět kdy bude další termín kurzu? - Využijte RSS a nechte si posílat každé změny a/nebo nové termíny kurzu do Vaší čtečky RSS (bez registrace)
Apache Spark for Data Engineers - Advanced Optimizations [RSS] - Novinky a nové termíny kurzu
© DataScript s.r.o. -
Praha 7
::
- DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...
Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Komentáře a dotazy na školení a nebo kurz
Hledáte náhodou nějakou práci?Data QA Engineermodulárně a mikroservisně a je provozována v serverless prostředí pomocí Azure Functions. Hledáme detailního Data QA Engineer... s vášní pro data, schopného navrhovat a provádět komplexní testovací plány. Máš-li zkušenosti s Azure Data Factory, Typescript..., Praha 7 Data Business Analytik [M/Ž]péče, 4 nemocnice následné péče a přes 30 zařízení ALZHEIMER HOME. DATA BUSINESS ANALYTIK [M/Ž] [Junior-Medior..., absolvent či do 5 let zkušeností] - Praha - Hybrid - Full-time Reportuje: Data Business Manager [který reportuje Chief Data..., Praha 1 Delta Green Data Engineer ⚡ Praha Full-timetým. Na nově vytvořenou pozici Data Engineera hledáme někoho, kdo se v datech vyzná a zvládne naše stávající řešení nejen... jejich transformaci až po ukládání. Monitoring a alerting. Spolupracovat na denní bázi s celým DATA a DEV týmem. Prokop Čech..., Praha 1 Podobné kurzy # apache + spark + data + engineers + advanced + optimizations
|
|
= Podobný kurz nebo školení
