Formation manipuler de grandes données avec Polars, DuckDB et Arrow
Aller au-delà de pandas : traitez de grands volumes de données en Python avec Polars, DuckDB et Arrow, sans Spark.
Dates des prochaines sessions
Sessions en présentiel à Paris ou à distance. Inscriptions ouvertes jusqu'à la veille du démarrage, dans la limite des places disponibles.
La formation Polars, DuckDB et Arrow vous permet en 2 jours d’aller au-delà de pandas pour manipuler de grands volumes de données en Python, sans recourir à une infrastructure Big Data. Vous découvrez les limites structurelles de pandas et trois technologies modernes pour les dépasser. Polars vous offre des transformations rapides et lisibles grâce à son moteur compilé et son API expressive. DuckDB permet d’exécuter des requêtes SQL analytiques performantes directement sur fichiers (Parquet, CSV, JSON). Apache Arrow assure l’interopérabilité haute performance entre ces outils. Au programme : transformations Polars, requêtes DuckDB, pipelines reproductibles, jusqu’à plusieurs dizaines de millions de lignes sur un poste standard. Pour data analysts, data scientists et développeurs Python orientés data.
Objectifs pédagogiques
- Comprendre les limites structurelles de pandas
- Manipuler efficacement de gros volumes de données sans stack Big Data
- Utiliser Polars pour des transformations rapides et lisibles
- Exploiter DuckDB pour des analyses SQL performantes sur fichiers
- Comprendre le rôle clé d'Apache Arrow dans l'écosystème moderne
- Construire des pipelines data performants et reproductibles
2 jours, 14 heures de pratique
Chaque journée alterne apports théoriques courts et ateliers pratiques. Programme ajustable en intra-entreprise.
1 Polars : le DataFrame moderne et performant
• Pourquoi dépasser pandas : limites mémoire et performance, monothread vs multithread
• Fondamentaux de Polars : DataFrame, types de données et schémas
• Lecture de données volumineuses (CSV, Parquet) et expressions Polars
• Manipulation avancée : sélection, filtrage, chaînage d’expressions
• Agrégations, groupby et jointures efficaces
• Lazy execution et optimisations automatiques (pushdown filtres et colonnes)
• Atelier : migration d’un pipeline pandas vers Polars et mesure des gains
2 DuckDB, Arrow et pipelines data modernes
• Apache Arrow : format columnar mémoire, zéro-copie, interopérabilité
• Rôle d’Arrow dans Polars, DuckDB et pandas
• DuckDB : le SQL analytique embarqué
• Requêtes SQL performantes directement sur fichiers
• Combinaison Polars / DuckDB / Arrow dans un pipeline
• Atelier : construction d’un pipeline data performant et reproductible
Profils et prérequis
Profils concernés
- Data analyst confronté à de gros volumes de données
- Data scientist cherchant à dépasser les limites de pandas
- Développeur Python orienté data
Prérequis
- Bonne maîtrise de Python pour la manipulation de données
- Expérience pratique de pandas
- Connaissances de base en SQL
Modalités pédagogiques
- En présentiel à Paris ou à distance ou en classe virtuelle, aux mêmes horaires et avec le même formateur.
- Apports théoriques courts puis ateliers pratiques sur des jeux de données réels, corrigés en direct.
- Formateur praticien de la data en entreprise, groupe limité à 8 participants.
- Supports de cours, jeux de données et corrigés remis à chaque participant.
- Émargement à chaque demi-journée, en salle comme à distance, et certificat de réalisation en fin de formation.
Les logiciels et technologies
Les outils que vous manipulerez tout au long de la formation.
Outils d'évaluation des compétences
- Quiz et QCM à la fin de chaque module pour valider l’acquisition des connaissances théoriques.
- Mini-projets guidés (manipulation de DataFrames, visualisation) Auto-évaluation sur la compréhension et la mise en application des concepts.
- Feedback individuel : chaque participant se voit proposer un bilan de ses points forts et axes d’amélioration.
Informations pratiques
Reconnaissance, inscription et accessibilité
Reconnaissance, inscription et accessibilité
Reconnaissance
- Formation non certifiante.
- Une attestation de formation est remise à l'issue de la formation.
Inscription
- Inscription en ligne ou au 01.72.25.40.82.
- Vérification de vos objectifs et des prérequis, puis convention (entreprise) ou contrat (particulier).
- Convocation envoyée avant le démarrage.
- Inter : inscription jusqu'à la veille de la session, dans la limite des places.
- Intra : mise en place sous 3 semaines.
- OPCO : demande à déposer avant le début de la formation.
Accessibilité
- Formation accessible aux personnes en situation de handicap, en présentiel comme à distance.
- Adaptations étudiées avant l'inscription avec notre référent handicap : accessibilité de nos formations.
Une formation finançable
Selon votre situation, cette formation peut être prise en charge par un financeur. Notre équipe vous accompagne dans le montage du dossier et vous fournit devis, programme et convention.
Salarié : Plan de développement des compétences de votre entreprise, avec prise en charge possible par votre OPCO.
Indépendant, dirigeant, profession libérale : Fonds d'assurance formation de votre activité (AGEFICE, FIF PL, FAFCEA…).
Demandeur d'emploi : Aide individuelle à la formation (AIF) de France Travail, sur accord de votre conseiller.
Financement personnel : Paiement en plusieurs fois possible.
CPF : Nos formations ne sont pas certifiantes : elles ne sont pas éligibles au Compte personnel de formation.
Avis sur la formation
Comment cette note est calculée. Moyenne des notes globales attribuées par les participants de l'ensemble de nos formations dans le questionnaire de satisfaction remis en fin de session : 4,8 / 5, sessions inter et intra confondues. Tous nos indicateurs de résultats et leur méthode →
FAQ
Quelle est la durée de la formation et sous quels formats est-elle proposée ?
La formation dure 2 jours (14 heures) et se déroule en présentiel ou à distance, en groupe limité à 8 participants pour préserver l'interactivité et la pratique.
Quels sont les prérequis pour suivre cette formation ?
Pour suivre cette formation dans de bonnes conditions, il est recommandé d'avoir : Bonne maîtrise de Python pour la manipulation de données; Expérience pratique de pandas; Connaissances de base en SQL.
Faut-il déjà connaître pandas pour suivre cette formation ?
Oui, une expérience pratique de pandas est recommandée car la formation s'appuie sur la comparaison avec Polars et montre comment migrer un pipeline pandas existant.
Polars remplace-t-il complètement pandas ?
Pas systématiquement. La formation vous aide justement à identifier quand Polars, DuckDB ou Arrow apportent un réel gain et quand pandas reste suffisant pour votre cas d'usage.
Prêt à monter en compétences ?
Inscrivez-vous à l'une de nos sessions programmées, ou optez pour une formation intra sur mesure adaptée à votre équipe.
Une question ? Appelez-nous au 01.72.25.40.82
Cette formation de 2 jours explore les alternatives modernes à pandas pour manipuler de grands volumes de données en Python sans recourir à une infrastructure Big Data. Vous découvrez Polars (DataFrame ultra-rapide), DuckDB (moteur SQL analytique embarqué) et Apache Arrow (format colonne universel). À travers des ateliers pratiques, vous apprenez à choisir le bon outil selon le contexte et à optimiser vos pipelines de traitement, jusqu’à plusieurs dizaines de millions de lignes sur un simple poste.