Pořádáte podobný kurz/školení?
Pořádáte podobné kurzy, školení a/nebo studium. Vložte Vaše kurzy na web. Kurs / kurzy nemusí být rekvalifikační,
stačí když kurzy budou mít termín konání školení pro on-line objednávku kurzu
Apache Spark for Data Engineers - Advanced Optimizations - Následující kurzy: APACHE SPARK FOR DATA ENGINEERS ADVANCED OPTIMIZATIONSViz také následující kurzy :
- Security Engineering on AWS
 - Kubernetes Advanced
- Puppet, Foreman a Katello - přenechte správu serverů strojům
- Apache Spark - od jednoduchých transformací po vysoce výkonné joby
- Autodesk Inventor Tooling – Vstřikování a návrh plastových forem
|
Kurz - Apache Spark for Data Engineers - Advanced Optimizations
DataScript s.r.o.
Apache Spark je distribuovaný výpočetní engine, který poskytuje unifikovaný framework pro zpracování velkých objemů dat, interaktivní analýzu, machine learning, analýzu grafu a streaming. V průběhu posledních několika let se stává standardem pro zpracování těchto workloadů a to nejen v prostředí velkých dat. Jedním z důvodů proč roste popularita Sparku je také jeho programové API, neboli tzv. DataFramy, které nabízejí univerzální datovou abstrakci, již je možné použít ve všech výše zmíněných ...
Cena kurzu:
...
15.000
Kč / Kurz
... včetně DPH: 18.150 Kč / Kurz
Objednat - pro přihlášení na kurz/školení klikněte na zvolený termín školení a místo konání
Popis kurzu
Apache Spark for Data Engineers - Advanced Optimizations
Kurz je určen pro ...Cílová skupina Datoví inženýři, scientisti a další uživatelé Sparku, kteří již mají se Sparkem nějakou zkušenost a chtějí se naučit optimalizovat Sparkové joby pro dosažení maximálního výkonu.
Lektoři kurzuDavid Vrba Ph.D.
David pracuje v Socialbakers jako data scientist a data engineer. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datoví analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispívá do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.
[Kurz] Program kurzu (obsah přednášky/semináře/rekvalifikace/studia) ...
Cíle kurzu
- Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu
* - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu
Garant kurzu David Vrba Ph.D. David pracuje v Socialbakers jako data scientist a data engineer. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datoví analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispívá do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup. Osnova Spark SQL internals (Query Execution) - Logical planning (Catalog, Analyzer, Cache Managerm, Optimizer)
- Catalyst API
- Extending the optimizer
- Limiting the optimizer
- Physical planing
- Query planner, strategies
- Spark plan Executed plan
- Understanding operators in physical plan
- Cost based optimizer
- How cost based optimizations work
- Statistics collection
- Statistics usage
Lab I - Implement simple optimization rule
- Fix a query based on the information from the query plan
Query optimization - Shuffle elimination
- Bucketing
- Data repartition (when and how)
- Optimizing joins
- Shuffle-free join
- One-side shuffle-free join
- Broadcast join vs sort-merge join
- Data reuse
- Caching
- Checkpointing
- Exchange reuse
Lab II Optimization tips - Choose appropriate number of shuffle partitions
- Nondeterministic expressions
- Configuration settings
Data layout - Different file formats
- Partitioning and bucketing
- How bucketing works
- How to ensure appropriate number of files
- Delta-io
- Open source storage layer with ACID transactions
Lab III - Prepare data for analytical queries
Předpoklady účastníka Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku. Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.
[Kurz] Cíl školení / poznámka ke kurzu...Cíle kurzu - Rozumět a orientovat se ve fyzických plánech Spark SQL
- Přepsat query za účelem dosažení efektivnějšího plánu
- Používat některá konfigurační nastavení
- Připravit Sparkem data pro efektivní analytiku ve Sparku
- Diagnostikovat botlneck Sparkoveho jobu
|
[Školení] Další popis kurzu (úroveň, minimální znalosti, informace o cenách kurzu) ...Předpoklady účastníka Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku. Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.
[dotaz na školení/kurz] Formulář pro komentáře, dotazy a odpovědi
DataScript s.r.o. ::
DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Další kurzy a školení: Apache Spark for Data Engineers - Advanced Optimizations Odkaz na podobný kurz a/nebo kurz od jiné firmy a v jiné ceně:
| Podobný kurz |
Popis kurzu |
Další kurzy a školení |
Apache Spark - od jednoduchých transformací po vysoce výkonné joby
|
Jiný kurz v jiné ceně : Apache Spark je distribuovaný výpočetní engine, který poskytuje unifikovaný framework pro zpracování velkých objemů dat, interaktivní analýzu, machine learning, analýzu grafu a streaming. V průběhu posledních několika let se stává standardem pro zpracování těchto workloadů
|
Další podobné školení nebo kurzy
|
Apache Tomcat - administrace II. Apache Tomcat - Admninistration II.
|
Jiný kurz v jiné ceně : Kurz pokročilé administrace Apache Tomcat seznámí účastníky s pokročilými možnostmi konfigurace, vytvářením clusterů, pokročilými možnostmi monitorování a zabezpečení. Standardně jsou veškeré praktické ukázky a cvičení prováděny na RHEL - CentOS distribuci.
|
Další podobné školení nebo kurzy
|
Apache Tomcat - administrace I. Apache Tomcat - Admninistration I.
|
Jiný kurz v jiné ceně : Kurz administrace Apache Tomcat je určen pro správce a všechny účastníky, kteří se chtějí naučit spravovat a konfigurovat Apache Tomcat a zároveň získat všeobecné povědomí o tom jakým způsobem integrovat a využívat Tomcat v produkčním prostředí co nejlépe. Standardně jsou v
|
Další podobné školení nebo kurzy
|
Security Engineering on AWS
|
Jiný kurz v jiné ceně : This course demonstrates how to efficiently use AWS security services to stay secure in the AWS Cloud. The course focuses on the security practices that AWS recommends for enhancing the security of your data and systems in the cloud.
|
Další podobné školení nebo kurzy
|
Security Engineering on AWS - for APN partners
|
Jiný kurz v jiné ceně : This course demonstrates how to efficiently use AWS security services to stay secure in the AWS Cloud. The course focuses on the security practices that AWS recommends for enhancing the security of your data and systems in the cloud.
|
Další podobné školení nebo kurzy
|
EX294 - Red Hat Certified Engineer (RHCE) exam for Red Hat Enterprise Linux 8
|
Jiný kurz v jiné ceně : Study points for the exam As an RHCE exam candidate, you should be able to handle all responsibilities expected of a Red Hat Certified System Administrator, including these tasks: Be able to perform all tasks expected of a Red Hat Certified System Administrator
|
Další podobné školení nebo kurzy
|
Security Engineering on AWS
|
Jiný kurz v jiné ceně : Předpokládané znalosti We recommend that attendees of this course have the following prerequisites: AWS Cloud Practitioner Essentials, AWS Security Fundamentals, Architecting on AWS, Working knowledge of IT security practices and infrastructure co
|
Další podobné školení nebo kurzy
|
Logistika, její metody, optimalizace a řízení dodavatelského řetězce (SCM) Logistics - its methods, optimization and supply chain management (SCM)
|
Jiný kurz v jiné ceně : Chcete se naučit vyhodnocovat náklady a efektivitu toků materiálu, zboží, služeb a majetku od nákupu, po skladování až po distribuci? Nevíte jak prosadit vhodnou logistickou politiku?
|
Další podobné školení nebo kurzy
|
Oracle - Optimalizace a ladění aplikacíOracle - optimization and debugging applications
|
Jiný kurz v jiné ceně : Cílem kurzu je seznámit účastníky se základními aspekty ovlivňujícími výkonové paramety Oracle, naučit se optimalizovat a kontrolovat existující aplikace pro zlepšení výkonu. Účastníci se naučí interpretovat výsledky exekučních plánů, optimalizovat jednotlivé SQL dotazy a
|
Další podobné školení nebo kurzy
|
 = Podobný kurz nebo školení
Poslední aktualizace: 2022-06-27 01:29:15
DataScript s.r.o. |
Apache Spark for Data Engineers - Advanced Optimizations # Přihláška na kurz:
Počítačové kurzy a semináře - grafika, databáze, programování, web & internet, office, GIS
Téma kurzů nebo školení:
  Počítačové a IT kurzy
Programování
Typ kurzu/školení: Kurz
Klíčová slova pro dané školení: advanced, apache, br, brapache, data, distribuovaný, engineers, optimizations, spark, spark, výpočetní
[RSS] Nechte si posílat nové termíny kurzu
Chcete vědět kdy bude další termín kurzu? - Využijte RSS a nechte si posílat každé změny a/nebo nové termíny kurzu do Vaší čtečky RSS (bez registrace)
Apache Spark for Data Engineers - Advanced Optimizations [RSS] - Novinky a nové termíny kurzu
© DataScript s.r.o. -
Praha 7
::
- DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...
Platební podmínky pro účast na kurzuObjednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.
Komentáře a dotazy na školení a nebo kurz
Hledáte náhodou nějakou práci?Fresh ACTIVATE Data analytik - junior Praha 7 Full-time[stačí na úrovni grafů v Excelu] zkušenosti s komunikací výstupů dalším lidem schopnosti si představit / zjistit, kde data... jako Google Data Studio nebo PowerBI. Jsme součástí , takže na to nejsme sami, ale máme za sebou velkou skupinu. ACTIVATE Co..., Praha 7 Data Engineer Praha MallGroupbudoucnost. Pojď do toho s námi! Data Engineer Mall Group jede na datech! Každý den aktualizujeme stovky giga dat, které... centrálně dodává uživatelům data a know-how, o ostatní se starají uživatelé sami. A právě teď hledáme profíka na SQL, extraktory..., Praha 7 ShipMonk Research Development Data Engineer Praha Full-timedata, které umožní řídit firmu k vyšší efektivitě a pomůžou nám odhalit další business příležitosti. Chceme mít robustní..., ale zároveň jednoduchý data stack - používáme a tím pádem ty budeš taky pracovat s - AWS Aurora DB, Keboola, Snowflake, Tableau..., Praha 8 Podobné kurzy # apache + spark + data + engineers + advanced + optimizations
|
|
