Formation traitement de données distribuées avec Spark en Scala
Apache Spark avec Scala : traitement distribué, DataFrame, SQL et machine learning à l'échelle Big Data en Scala.
Dates des prochaines sessions
Sessions en présentiel à Paris ou à distance. Inscriptions ouvertes jusqu'à la veille du démarrage, dans la limite des places disponibles.
La formation traitement de données distribuées avec Spark en Scala vous apprend en 3 jours à exploiter Spark dans son langage natif. Vous comprenez l’architecture et le fonctionnement interne de Spark : driver, executors, partitions, DAG, shuffle, gestion mémoire. Vous développez des traitements distribués en Scala en utilisant l’écosystème Spark de manière idiomatique. Vous utilisez efficacement RDD, DataFrames et Spark SQL selon les besoins de performance et de typage. Vous optimisez les performances et la consommation de ressources : choix de partitionnement, gestion du cache, broadcast, plans d’exécution. Vous analysez et corrigez des problématiques en production : skew, OOM, lenteur, debugging avec Spark UI. Idéale pour data engineers et développeurs Scala traitant de grands volumes.
Objectifs pédagogiques
- Comprendre l'architecture et le fonctionnement interne de Spark
- Développer des traitements distribués en Scala
- Utiliser efficacement RDD, DataFrames et Spark SQL
- Optimiser les performances et la consommation de ressources
- Analyser et corriger des problématiques en production
3 jours, 21 heures de pratique
Chaque journée alterne apports théoriques courts et ateliers pratiques. Programme ajustable en intra-entreprise.
1 Architecture de Spark et programmation Scala
• Architecture et fonctionnement interne de Spark
• Driver, executors, partitions, DAG, shuffle
• Rappels de Scala pour Spark
• Développement de traitements distribués en Scala
• Premiers jobs Spark
2 RDD, DataFrames et Spark SQL
• Utilisation des RDD
• DataFrames et Datasets
• Spark SQL et requêtes structurées
• Lecture et écriture de données
• Travaux pratiques
3 Optimisation et production
• Optimisation des performances et de la consommation de ressources
• Partitionnement, cache et broadcast
• Analyse des plans d’exécution avec Spark UI
• Diagnostic et correction des problèmes en production (skew, OOM)
• Atelier de synthèse sur cluster
Profils et prérequis
Profils concernés
- Data engineer travaillant sur Spark
- Développeur Scala intervenant sur des projets data
- Architecte Big Data
Prérequis
- Bonne maîtrise de Scala
- Notions de base en SQL et en systèmes distribués
Modalités pédagogiques
- En présentiel à Paris ou à distance ou en classe virtuelle, aux mêmes horaires et avec le même formateur.
- Apports théoriques courts puis ateliers pratiques sur des jeux de données réels, corrigés en direct.
- Formateur praticien de la data en entreprise, groupe limité à 8 participants.
- Supports de cours, jeux de données et corrigés remis à chaque participant.
- Émargement à chaque demi-journée, en salle comme à distance, et certificat de réalisation en fin de formation.
Les logiciels et technologies
Les outils que vous manipulerez tout au long de la formation.
Outils d'évaluation des compétences
- Quiz et QCM à la fin de chaque module pour valider l’acquisition des connaissances théoriques.
- Mini-projets guidés (manipulation de DataFrames, visualisation) Auto-évaluation sur la compréhension et la mise en application des concepts.
- Feedback individuel : chaque participant se voit proposer un bilan de ses points forts et axes d’amélioration.
Informations pratiques
Reconnaissance, inscription et accessibilité
Reconnaissance, inscription et accessibilité
Reconnaissance
- Formation non certifiante.
- Une attestation de formation est remise à l'issue de la formation.
Inscription
- Inscription en ligne ou au 01.72.25.40.82.
- Vérification de vos objectifs et des prérequis, puis convention (entreprise) ou contrat (particulier).
- Convocation envoyée avant le démarrage.
- Inter : inscription jusqu'à la veille de la session, dans la limite des places.
- Intra : mise en place sous 3 semaines.
- OPCO : demande à déposer avant le début de la formation.
Accessibilité
- Formation accessible aux personnes en situation de handicap, en présentiel comme à distance.
- Adaptations étudiées avant l'inscription avec notre référent handicap : accessibilité de nos formations.
Une formation finançable
Selon votre situation, cette formation peut être prise en charge par un financeur. Notre équipe vous accompagne dans le montage du dossier et vous fournit devis, programme et convention.
Salarié : Plan de développement des compétences de votre entreprise, avec prise en charge possible par votre OPCO.
Indépendant, dirigeant, profession libérale : Fonds d'assurance formation de votre activité (AGEFICE, FIF PL, FAFCEA…).
Demandeur d'emploi : Aide individuelle à la formation (AIF) de France Travail, sur accord de votre conseiller.
Financement personnel : Paiement en plusieurs fois possible.
CPF : Nos formations ne sont pas certifiantes : elles ne sont pas éligibles au Compte personnel de formation.
Avis sur la formation
Comment cette note est calculée. Moyenne des notes globales attribuées par les participants de l'ensemble de nos formations dans le questionnaire de satisfaction remis en fin de session : 4,8 / 5, sessions inter et intra confondues. Tous nos indicateurs de résultats et leur méthode →
FAQ
Quelle est la durée de la formation et sous quels formats est-elle proposée ?
La formation dure 3 jours (21 heures) et se déroule en présentiel ou à distance, en groupe limité à 8 participants pour préserver l'interactivité et la pratique.
Quels sont les prérequis pour suivre cette formation ?
Pour suivre cette formation dans de bonnes conditions, il est recommandé d'avoir : Bonne maîtrise de Scala; Notions de base en SQL et en systèmes distribués.
Faut-il connaître Scala avant la formation ?
Oui, une bonne maîtrise de Scala est nécessaire, car la formation développe les traitements Spark dans le langage natif de la plateforme.
Quelle différence avec la formation Spark avec Python ?
Cette formation utilise Scala, langage natif de Spark, et s'adresse aux data engineers. La version PySpark est plus accessible aux profils data science.
Prêt à monter en compétences ?
Inscrivez-vous à l'une de nos sessions programmées, ou optez pour une formation intra sur mesure adaptée à votre équipe.
Une question ? Appelez-nous au 01.72.25.40.82
Cette formation traitement de données distribuées avec Spark en Scala vous apprend à exploiter Spark dans son langage natif. Sur 3 jours, vous découvrez l’architecture Spark, les DataFrames et Datasets, Spark SQL, ainsi que MLlib pour le machine learning à grande échelle. La formation s’appuie sur des ateliers sur cluster. Idéale pour data engineers et développeurs Scala souhaitant traiter de grands volumes de données de manière performante et structurée.