Pořádáte podobný kurz/školení?
Pořádáte podobné kurzy, školení a/nebo studium. Vložte Vaše kurzy na web. Kurs / kurzy nemusí být rekvalifikační,
stačí když kurzy budou mít termín konání školení pro on-line objednávku kurzu
Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake - Následující kurzy: APACHE SPARK FOR DATA ENGINEERS ADVANCED OPTIMIZATIONS A DELTA LAKEViz také následující kurzy :
- Kubernetes Advanced
 - Apache Kafka
- Apache Spark - od jednoduchých transformací po vysoce výkonné joby
- Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake
- SAP R3 - S4 HANA: Kmenová data a kalkulace výrobku
|
Kurz - Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake
DataScript s.r.o.
Apache Spark je distribuovaný výpočetní engine, který poskytuje unifikovaný framework pro zpracování velkých objemů dat, interaktivní analýzu, machine learning, analýzu grafu a streaming. V průběhu posledních několika let se stává standardem pro zpracování těchto workloadů a to nejen v prostředí velkých dat. Jedním z důvodů proč roste popularita Sparku je také jeho programové API, neboli tzv. DataFramy, které nabízejí univerzální datovou abstrakci, již je možné použít ve všech výše zmíněnýc ...
Cena kurzu:
...
15.000
Kč / Kurz
... včetně DPH: 18.150 Kč / Kurz
Objednat - pro přihlášení na kurz/školení klikněte na zvolený termín školení a místo konání
Popis kurzu
Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake
Kurz je určen pro ...Cílová skupina: Datoví inženýři, scientisti, analysti a další uživatelé Sparku, kteří již mají se Sparkem nějakou zkušenost a chtějí se naučit optimalizovat Sparkové joby pro dosažení maximálního výkonu.
Lektoři kurzu: David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.
[Kurz] Program kurzu (obsah přednášky/semináře/rekvalifikace/studia) ...Cíle kurzu : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu Pochopit význam moderních tabulkových formátů Naučit se pracovat s Delta tabulkami
* : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu Pochopit význam moderních tabulkových formátů Naučit se pracovat s Delta tabulkami
Garant kurzu : David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup. Osnova : Spark SQL internals (Query Execution) - Logical planning (Catalog, Analyzer, Cache Management, Optimizer)
- Physical planning
- Query planner, strategies
- Spark plan
- Executed plan
- Understanding operators in the physical plan
Query optimization - Shuffle elimination
- Bucketing
- Data repartition (when and how)
- Data reuse
Optimization tips - Choose the appropriate number of shuffle partitions
- Nondeterministic expressions
- Configuration settings
Data layout - Partitioning and bucketing
- How bucketing works
- When it makes sense
- Hive tables
- Data upsert
- Schema evolution
- Discussing various problems and challenges
- Delta-Lake
- Basic features (table history, timel travel, optimize, cacuum)
- Schema evolution
- Data Change Feed
- Advanced features (Liquid Clustering, Deletion Vectors,...)
Předpoklady účastníka: Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku. Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.
[Kurz] Cíl školení / poznámka ke kurzu...Cíle kurzu : - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu Pochopit význam moderních tabulkových formátů Naučit se pracovat s Delta tabulkami
|
[Školení] Další popis kurzu (úroveň, minimální znalosti, informace o cenách kurzu) ...Předpoklady účastníka: Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku. Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.
[dotaz na školení/kurz] Formulář pro komentáře, dotazy a odpovědi
DataScript s.r.o. ::
DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Poslední aktualizace: 2025-02-13 01:32:29
DataScript s.r.o. |
Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake # Přihláška na kurz:
Počítačové kurzy a semináře - grafika, databáze, programování, web & internet, office, GIS
Téma kurzů nebo školení:
  Počítačové a IT kurzy
Programování
Typ kurzu/školení: Kurz
Klíčová slova pro dané školení: apache, spark, data, engineers, advanced, optimizations, delta, lake
[RSS] Nechte si posílat nové termíny kurzu
Chcete vědět kdy bude další termín kurzu? - Využijte RSS a nechte si posílat každé změny a/nebo nové termíny kurzu do Vaší čtečky RSS (bez registrace)
Apache Spark for Data Engineers - Advanced Optimizations & Delta-Lake [RSS] - Novinky a nové termíny kurzu
© DataScript s.r.o. -
Praha 7
::
- DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...
Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Komentáře a dotazy na školení a nebo kurz
Hledáte náhodou nějakou práci?Data Engineer/Analyst Lead. You might be the perfect match if you are/have: Expertise in Power BI, Snowflake and DBT is essential. A strong background in data... innovative solutions to enhance data analysis and reporting capabilities. Experience in leading development teams and projects..., Praha 7 Redaktor/ka do odboru komunikace/679 General Data Protection Regulation [GDPR] pro účely příslušného výběrového řízení. Ministerstvo průmyslu a obchodu..., Praha 1 Podobné kurzy # apache + spark + data + engineers + advanced + optimizations + deltalake
|
|
= Podobný kurz nebo školení
