Formation Spark avec Python – utilisation de pyspark
Traitez de grands volumes avec PySpark : DataFrame Spark, SQL distribué et machine learning à l'échelle Big Data.
Dates des prochaines sessions
Sessions en présentiel à Paris ou à distance. Inscriptions ouvertes jusqu'à la veille du démarrage, dans la limite des places disponibles.
La formation Spark avec Python vous initie en 3 jours au traitement distribué de grands volumes de données via PySpark. Vous comprenez l’environnement Apache Spark : architecture, exécution distribuée, lazy evaluation, gestion de la mémoire. Vous apprenez à utiliser le package PySpark pour communiquer avec Spark depuis Python, manipulez des DataFrames distribués, et maîtrisez Spark SQL pour exécuter des requêtes à grande échelle. Vous abordez également MLlib pour le machine learning distribué sur de très grands jeux de données. La formation est jalonnée d’ateliers pratiques sur cluster, pour vous rendre opérationnel sur vos projets data engineering ou data science en environnement Big Data.
Objectifs pédagogiques
- Comprendre l'environnement Apache Spark
- Utiliser le package PySpark pour communiquer avec Spark
- Maîtriser Spark SQL
- Maîtriser MLlib
3 jours, 21 heures de pratique
Chaque journée alterne apports théoriques courts et ateliers pratiques. Programme ajustable en intra-entreprise.
1 L'environnement Spark et PySpark
• Comprendre l’environnement Apache Spark : architecture et exécution distribuée
• Notions de RDD, lazy evaluation et gestion de la mémoire
• Le package PySpark pour communiquer avec Spark depuis Python
• Manipulation de DataFrames distribués
2 Spark SQL et traitement de données à grande échelle
• Maîtrise de Spark SQL : requêtes à grande échelle
• Transformations et actions sur de grands volumes
• Lecture et écriture de données (Parquet, CSV, sources distribuées)
• Optimisation des traitements et partitionnement
3 Machine learning distribué avec MLlib
• Maîtrise de MLlib pour le machine learning distribué
• Pipelines de machine learning sur Spark
• Entraînement et évaluation de modèles sur de très grands jeux de données
• Atelier : projet complet de data science distribuée sur cluster
Profils et prérequis
Profils concernés
- Data engineer et data scientist travaillant sur de grands volumes
- Développeur Python amené à exploiter un cluster Spark
- Architecte data cadrant des projets Big Data
Prérequis
- Bonne maîtrise de Python
- Pratique de pandas
- Connaissances de base en SQL
Modalités pédagogiques
- En présentiel à Paris ou à distance ou en classe virtuelle, aux mêmes horaires et avec le même formateur.
- Apports théoriques courts puis ateliers pratiques sur des jeux de données réels, corrigés en direct.
- Formateur praticien de la data en entreprise, groupe limité à 6 participants.
- Supports de cours, jeux de données et corrigés remis à chaque participant.
- Émargement à chaque demi-journée, en salle comme à distance, et certificat de réalisation en fin de formation.
Les logiciels et technologies
Les outils que vous manipulerez tout au long de la formation.
Outils d'évaluation des compétences
- Quiz et QCM à la fin de chaque module pour valider l’acquisition des connaissances théoriques.
- Mini-projets guidés (manipulation de DataFrames, visualisation) Auto-évaluation sur la compréhension et la mise en application des concepts.
- Feedback individuel : chaque participant se voit proposer un bilan de ses points forts et axes d’amélioration.
Informations pratiques
Reconnaissance, inscription et accessibilité
Reconnaissance, inscription et accessibilité
Reconnaissance
- Formation non certifiante.
- Une attestation de formation est remise à l'issue de la formation.
Inscription
- Inscription en ligne ou au 01.72.25.40.82.
- Vérification de vos objectifs et des prérequis, puis convention (entreprise) ou contrat (particulier).
- Convocation envoyée avant le démarrage.
- Inter : inscription jusqu'à la veille de la session, dans la limite des places.
- Intra : mise en place sous 3 semaines.
- OPCO : demande à déposer avant le début de la formation.
Accessibilité
- Formation accessible aux personnes en situation de handicap, en présentiel comme à distance.
- Adaptations étudiées avant l'inscription avec notre référent handicap : accessibilité de nos formations.
Une formation finançable
Selon votre situation, cette formation peut être prise en charge par un financeur. Notre équipe vous accompagne dans le montage du dossier et vous fournit devis, programme et convention.
Salarié : Plan de développement des compétences de votre entreprise, avec prise en charge possible par votre OPCO.
Indépendant, dirigeant, profession libérale : Fonds d'assurance formation de votre activité (AGEFICE, FIF PL, FAFCEA…).
Demandeur d'emploi : Aide individuelle à la formation (AIF) de France Travail, sur accord de votre conseiller.
Financement personnel : Paiement en plusieurs fois possible.
CPF : Nos formations ne sont pas certifiantes : elles ne sont pas éligibles au Compte personnel de formation.
Avis sur la formation
Comment cette note est calculée. Moyenne des notes globales attribuées par les participants de cette formation dans le questionnaire de satisfaction remis en fin de session : 4,8 / 5, sessions inter et intra confondues. Tous nos indicateurs de résultats et leur méthode →
FAQ
Quelle est la durée de la formation et sous quels formats est-elle proposée ?
La formation dure 3 jours (21 heures) et se déroule en présentiel ou à distance, en groupe limité à 6 participants pour préserver l'interactivité et la pratique.
Quels sont les prérequis pour suivre cette formation ?
Pour suivre cette formation dans de bonnes conditions, il est recommandé d'avoir : Bonne maîtrise de Python; Pratique de pandas; Connaissances de base en SQL.
A-t-on besoin d'installer un cluster Spark ?
Non, la formation fournit un environnement Spark accessible en cloud avec PySpark et Jupyter. Il n'y a rien à installer sur le poste des participants.
Quelle est la différence avec la formation Spark avec Scala ?
Cette formation utilise Python (PySpark), plus accessible aux profils data science, tandis que la formation Spark avec Scala s'adresse aux data engineers développant dans le langage natif de Spark.
Prêt à monter en compétences ?
Inscrivez-vous à l'une de nos sessions programmées, ou optez pour une formation intra sur mesure adaptée à votre équipe.
Une question ? Appelez-nous au 01.72.25.40.82
Cette formation Spark avec Python (PySpark) vous initie au traitement distribué de grands volumes de données. Sur 3 jours, vous découvrez l’architecture Spark, manipulez des DataFrames distribués, exécutez des requêtes SQL à grande échelle et abordez le machine learning avec Spark MLlib. La formation est jalonnée d’ateliers pratiques sur cluster, pour que vous repartiez prêt à exploiter Spark dans vos projets data engineer ou data science Big Data.