logo skoleni-kurzy

KURZ : APACHE SPARK FOR DATA ENGINEERS ADVANCED OPTIMIZATIONS


skoleni-kurzy.eu




Podrobné hledání kurzů, školení a rekvalifikací



Pořádáte podobný kurz/školení?


Pořádáte podobné kurzy, školení a/nebo studium. Vložte Vaše kurzy na web. Kurs / kurzy nemusí být rekvalifikační, stačí když kurzy budou mít termín konání školení pro on-line objednávku kurzu


 
Apache Spark for Data Engineers - Advanced Optimizations - Následující kurzy:

 

 

APACHE SPARK FOR DATA ENGINEERS ADVANCED OPTIMIZATIONS

Viz také následující kurzy :
  • VMware vSphere: Advanced Administration Workshop [V8]Podrobnosti
  • Apache CassandraPodrobnosti
  • FortiGate - konfigurace a správa firewalluPodrobnosti
  • Oracle databáze - programování v PL - SQLPodrobnosti
  • Oracle Database 11g - 12c Workshop: Administrace databáze – úvodní kurzPodrobnosti


Kurz - Apache Spark for Data Engineers - Advanced Optimizations


DataScript s.r.o.


Apache Spark je distribuovaný výpočetní engine, který poskytuje unifikovaný framework pro zpracování velkých objemů dat, interaktivní analýzu, machine learning, analýzu grafu a streaming. V průběhu posledních několika let se stává standardem pro zpracování těchto workloadů a to nejen v prostředí velkých dat. Jedním z důvodů proč roste popularita Sparku je také jeho programové API, neboli tzv. DataFramy, které nabízejí univerzální datovou abstrakci, již je možné použít ve všech výše zmíněných obl ...


Cena kurzu:
     ...   15.000 Kč / Kurz  

     ... včetně DPH: 18.150 Kč / Kurz

Objednat - pro přihlášení na kurz/školení klikněte na zvolený termín školení a místo konání



Přihláška na školení/kurz a termín:
  • Pro objednání kurzu klikněte na zvolený termín školení a místo konání odkaz
  • Popis, lektoři a program kurzu je níže na stránce odkaz
  • Komentáře a dotazy na školení/kurz # Komentáře ke kurzu odkaz
  • V případě jakéhokoliv otázky můžete poslat Dotaz ke kurzu odkaz
  • Nevyhovuje vám tento kurz? Zkuste se podívat na podobné kurzy odkaz

Apache Spark for Data Engineers - Advanced Optimizations
Přihláška na termín kurzu
Místo konání Přihláška na kurz a termín Akreditace
Poznámka k termínu školení
Apache Spark for Data Engineers - Advanced Optimizations

Praha 7
Přihláška


Chci informaci ke kurzu k tomuto termínu: Nezávazná přihláška
-
23. 8. 2024* Počet dní: 1* Cena: 15.000 CZK Cena (bez DPH) ...

-- ... pro objednání kurzu klikněte na zvolený termín školení a/nebo je možno poslat:



Popis kurzu
Apache Spark for Data Engineers - Advanced Optimizations


Kurz je určen pro ...

Cílová skupina: Datový inženýři, scientisti a další uživatelé Sparku, kteří již mají se Sparkem nějakou zkušenost a chtějí se naučit optimalizovat Sparkové joby pro dosažení maximálního výkonu.


Lektoři kurzu

: David Vrba Ph.D. David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.


[Kurz] Program kurzu (obsah přednášky/semináře/rekvalifikace/studia) ...

Cíle kurzu :

  • Rozumět a orientovat se ve fyzických plánech Spark SQL
  • Přepsat query za účelem dosažení efektivnějšího plánu
  • Používat některá konfigurační nastavení
  • Připravit Sparkem data pro efektivní analytiku ve Sparku
  • Diagnostikovat botlneck Sparkoveho jobu

* :
  • Rozumět a orientovat se ve fyzických plánech Spark SQL
  • Přepsat query za účelem dosažení efektivnějšího plánu
  • Používat některá konfigurační nastavení
  • Připravit Sparkem data pro efektivní analytiku ve Sparku
  • Diagnostikovat botlneck Sparkoveho jobu

Garant kurzu : David Vrba Ph.D. David pracuje v Emplifi (dříve Socialbakers) jako datový inženýr. Na denní bázi se zabývá optimalizací Spakových aplikací a vyvíjí Sparkové joby, které zpracovávají data na různých škálách od jednotek GBs až po desítky TBs. Vedle toho se zabývá výukou Sparkových trainingů a jeho školeními již prošla celá řada týmů zejména datový analytici, scientisti a inženýři. David je také Sparkovým kontributorem, přispěl do zdrojového kódu a pravidelně mluví na konferencích a meetupech jako je Spark + AI Summit, MLPrague nebo Spark + AI Prague meetup.
Osnova : Spark SQL internals (Query Execution)
  • Logical planning (Catalog, Analyzer, Cache Management, Optimizer)
    • Catalyst API
    • Extending the optimizer
    • Limiting the optimizer

  • Physical planning
    • Query planner, strategies
    • Spark plan
    • Executed plan
    • Understanding operators in the physical plan

  • Cost based optimizer
  • How cost-based optimizations work
  • Statistics collection
  • Statistics usage

Query optimization
  • Shuffle elimination
    • Bucketing
    • Data repartition (when and how)

  • Optimizing joins
    • Shuffle-free join
    • One-side shuffle-free join
    • Broadcast join vs sort-merge join

  • Data reuse
  • Caching
  • Checkpointing
  • Exchange reuse

Optimization tips
  • Choose the appropriate number of shuffle partitions
  • Nondeterministic expressions
  • Configuration settings
Data layout
  • Different file formats
    • Parquet vs Json

  • Partitioning and bucketing
    • How bucketing works
    • How to ensure the proper number of files

  • Tables management
    • Working with the Catalog API

  • Delta-io
  • Open-source storage layer with ACID transactions


Předpoklady na účastníka:
  • Tento kurz je navazujícím kurzem ke školení Apache Spark - od jednoduchých transformací po vysoce výkonné joby , ve kterém člověk mimo jiné získá dobrou znalost DataFramového API a základní přehled o interních procesech ve Sparku.
  • Pro absolvování tohoto kurzu je tedy dobré mít předchozí zkušenosti se Sparkem (např. na úrovni výše zmíněného kurzu ), znát DataFramové API a chápat základní principy distribuovaného počítání.


[Kurz] Cíl školení / poznámka ke kurzu...

Cíle kurzu :
  • Rozumět a orientovat se ve fyzických plánech Spark SQL
  • Přepsat query za účelem dosažení efektivnějšího plánu
  • Používat některá konfigurační nastavení
  • Připravit Sparkem data pro efektivní analytiku ve Sparku
  • Diagnostikovat botlneck Sparkoveho jobu




[dotaz na školení/kurz] Formulář pro komentáře, dotazy a odpovědi


Dotaz ke kurzu: Apache Spark for Data Engineers - Advanced Optimizations
text dotazu, ostatní data (tel/email) se samozřejmě nezveřejňují a nezobrazují, pouze budou přeposlána školící firmě

   ... a pro kontrolu zadejte prosím znova Váš email
Někdy je zadaná špatná emailová adresa a odpověď se vrátí, proto prosím zadejte email dvakrát

            



Chci poslat přihlašovací údaje na server skoleni-kurzy.eu
[Registrovat jako uživatele Ano/Ne]

Pokud jste přihlášeni, email nemusíte zadávat




Vložte potvrzovací kód Vložte číslo             

Pro změnu potvrzovacího kódu je možno znovu načíst stránku

Komentáře a dotazy na školení / kurz / seminář


DataScript s.r.o.

:: DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...

Platební podmínky pro účast na kurzu

Objednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.





Podobné kurzy #Apache Spark for Data Engineers - Advanced Optimizations >>


Další kurzy a školení: Apache Spark for Data Engineers - Advanced Optimizations
Odkaz na podobný kurz a/nebo kurz od jiné firmy a v jiné ceně:

Podobný kurz Popis kurzu Další kurzy a školení
Apache Spark 3.0 for Data Scientists - Advanced Analytics
Kurz
Jiný kurz v jiné ceně : Apache Spark je distribuovaný výpočetní engine, který poskytuje unifikovaný framework pro zpracování velkých objemů dat, interaktivní analýzu, machine learning, analýzu grafu a streaming. V průběhu posledních několika let se stává standardem pro zpracování těchto workloadů Další podobné školení nebo kurzy
Apache Spark - od jednoduchých transformací po vysoce výkonné joby
Kurz
Jiný kurz v jiné ceně : IT konference Kurzy a certifikace Open Source Big data Recenze - Apache Spark - od jednoduchých transformací po vysoce výkonné joby Zpět Igor Kováč 5. 12. Další podobné školení nebo kurzy
Security Engineering on AWS
Kurz
Jiný kurz v jiné ceně : IT konference Kurzy a certifikace Amazon Web Services Security Recenze - Security Engineering on AWS Zpět Peter Húbek 3. 11. Další podobné školení nebo kurzy
Security Engineering on AWS - for APN partners
Kurz
Jiný kurz v jiné ceně : This course demonstrates how to efficiently use AWS security services to stay secure in the AWS Cloud. The course focuses on the security practices that AWS recommends for enhancing the security of your data and systems in the cloud. Další podobné školení nebo kurzy
Apache Kafka Advanced
Kurz
Jiný kurz v jiné ceně : Tento kurz se zaměřuje na použití Apache Kafky pro rozsáhlé systémy, které jsou typicky provozovány ve velkých datových centrech. Zaměříme se především na zajičtení dostupnosti dat a na zrcadlení dat mezi datovými centry. Další podobné školení nebo kurzy
Apache Kafka
Kurz
Jiný kurz v jiné ceně : IT konference Kurzy a certifikace Open Source Messaging Recenze - Apache Kafka Zpět Daniel Veselka 12. 10. Další podobné školení nebo kurzy
Apache Cassandra
Kurz
Jiný kurz v jiné ceně : Apache Cassandra * Účastníci kurzu se seznámí se správou distribuované databáze Apache Casssandra. Kurz bude vedený z pohledu DevOps, kdy budou vysvětleny základní principy práce s touto databází, návrh datového modelu aplikace a její následná optimalizace. Další podobné školení nebo kurzy
Advanced Problem and Anomaly Detection with Zabbix
Kurz
Jiný kurz v jiné ceně : Advanced Problem and Anomaly Detection with Zabbix je kurz plně věnovaný detekci problémů. Pokrývá oblasti od vytváření jednoduchých triggerů až po používání nových dlouhodobých analytických funkcí. Další podobné školení nebo kurzy
Advanced Zabbix SNMP monitoring
Kurz
Jiný kurz v jiné ceně : Cílem kurzu je plně vysvětlit monitorování SNMP a poskytnout praktické znalosti o konfiguraci monitorování SNMP pomocí Zabbixu. Kurz pokrývá SNMP dotazování, konfiguraci Zabbixu pro SNMP trapy a optimalizaci shromažďování dat SNMP pro hardware na podnikové úrovni s využití Další podobné školení nebo kurzy

Podobný    = Podobný kurz nebo školení




Poslední aktualizace: 2024-07-12 00:41:15

DataScript s.r.o.
Apache Spark for Data Engineers - Advanced Optimizations # Přihláška na kurz:

Počítačové kurzy a semináře - grafika, databáze, programování, web & internet, office, GIS

Téma kurzů nebo školení:
  • MAIL RSS Počítačové a IT kurzy
  • MAIL RSS Programování

    Typ kurzu/školení: Kurz



    Klíčová slova pro dané školení:
    advanced, apache, brapache, distribuovaný, engineers, optimizations, výpočetní



    [RSS] Nechte si posílat nové termíny kurzu Chcete vědět kdy bude další termín kurzu? - Využijte RSS a nechte si posílat každé změny a/nebo nové termíny kurzu do Vaší čtečky RSS (bez registrace)

      RSSApache Spark for Data Engineers - Advanced Optimizations [RSS] - Novinky a nové termíny kurzu

    © DataScript s.r.o. - Praha 7 :: - DataScript je autorizovaným poskytovatelem IT kurzů a certifikací. V našich školících prostorách poskytujeme řadu vysoce odborných a respektovaných IT kurzů, specializovaných technologických školení i certifikací IT specialistů, systémových administrátorů a techniků. V nabídce naší činnosti nechybí ani speciální tréninky určené ke zvýšení profesionálních dovedností a schopností odborných pracovníků. DataScript klade důraz nejen na dokonalou teoretickou přípravu a odborné znalosti, ale rovněž na jejich praktické využití a řešení konkrétních situací. DataScript je součástí koncernu Servodata. Společnost Servodata je významným Value Added Distributorem komponent a infrastruktury podnikových ICT řešení. Dlouhodobě se specializuje na distribuci ...

    Platební podmínky pro účast na kurzu


    Objednavateli bude zaslána závazná přihláška k podpisu. Poté bude účastník na školení registrován. Objednavatel uhradí částku kurzovného za výše uvedeného posluchače na základě faktury vystavené poskytovatelem.




     
    Komentáře a dotazy na školení a nebo kurz

     

     

    Hledáte náhodou nějakou práci?


    COLOURS OF DATA Marketing Automation Architect Praha Full-time
    We make data work for marketing. Colours of Data is evolving the way our clients use data to both know and communicate... with their customers in their CRM activities. We make businesses customer-centric and data-driven. Clients such as Tele2, Financial Times..., Praha 8

    ShipMonk Research Development Engineering Manager - Data Platform team at ShipMonk Praha Full-time
    with expertise both in Data and Infrastructure! Are you a data wizard ready to make waves? We need a seasoned leader to help... us elevate our data platforms, supporting our warehouse operations, business development, and finance teams..., Praha 8

    ShipMonk Research Development Data Engineer at ShipMonk Praha Full-time
    Software Engineer with both strong expertise and experience in Data! Are you a data wizard ready to make waves? We need... a seasoned data engineer to help us elevate our data platforms, supporting our warehouse operations, business development..., Praha 8

    Podobné kurzy # apache + spark + data + engineers + advanced + optimizations



  • ^
     
     
    RSS
    RSS - odběr novinek - nové kurzy, rekvalifikace a školení
    Nové kurzy/školení | Nové termíny kurzů/školení | Last-Minute | Odběr novinek na Váš mail
    skoleni-kurzy.eu

    SKOLENI-KURZY.EU



    REGIONY



    MENU



    KONTAKT


    skoleni-kurzy.eu
    2007 - 2024 © OBEC.net, sro
    Potoční 8, 617 00 Brno, CZ
    Email: info[at]skoleni-kurzy.eu
    Telefon:(+420) 775 193 488
    Fax:
    Kontakt

    +



    +




    V případě dotazu ke kurzu využijte prosím kontaktní formulář u daného konkrétního kurzu





    Školení: Adobe After Effects – základní kurz v červenci 2024 - Praha
    ^