big data

Le big data, c’est quoi ?

Emmanuel Jakobowicz Mis à jour le : 11 mai 2016 méthode Laissez un commentaire

Aujourd’hui le big data est partout, l’idée derrière cet article est de clarifier un certain nombre de points que j’entends quasi quotidiennement sur le big data. Est-ce une révolution, un terme hype, une tendance lourde, un simple buzz-word ? Je dirais que c’est un peu tout à la fois et je vais vous expliquer pourquoi.

Big data (ou données massives, moins sexy pour les francophones) c’est surtout un terme qui a permis de mettre en avant comme jamais l’importance de la data dans notre quotidien. Notre quotidien professionnel bien sûr mais aussi notre vie de tous les jours et notre vie de citoyen.

La suite

spark article

Spark, boîte à outils du big data

Emmanuel Jakobowicz Mis à jour le : 20 janvier 2017 méthode 4 Comments

Si vous suivez même de loin le monde du big data, vous avez forcément entendu parler du projet Spark. Et si vous n’en avez jamais entendu parler, il est temps de le découvrir.
Dans cet article je vais vous donner les clés pour comprendre ce qu’est Spark et la façon de l’utiliser.

Quel est la relation entre Spark et Hadoop ? Est-ce un langage ? Dans quel cas est-ce utile ? Quelles sont ses composantes ?…

La suite

python en data science

Les étapes pour utiliser Python en data science

Emmanuel Jakobowicz Mis à jour le : 12 février 2016 méthode 3 Comments

Depuis quelques années, le langage python prend une ampleur tout à fait inattendue avec une utilisation de plus en plus large. En science des données, python est devenu le langage de prédilection pour le traitement et l’analyse des données. Python en data science est devenu une référence.

Grâce à un écosystème d’API extrêmement riche il permet de traiter des données de types très variées (entre autres SQL mais aussi noSQL) et de piloter des outils de traitement avancé (notamment Spark avec PySpark pour le traitement massivement parallèle de données dites big data).

Dans cet article, mon objectif est de vous présenter un processus assez standard de développement d’outil pour le traitement des données avec le langage python en introduisant les bibliothèques adaptées.

La suite

Régression PLS, une méthode pour vous ?

Emmanuel Jakobowicz Mis à jour le : 20 janvier 2017 méthode Laissez un commentaire

Vous avez déjà entendu parler de la régression PLS, des moindres carrés partiels, de la régression Partial Least Square. Ces termes désignent une méthode statistique qui a vu le jour au début des années 1980 et qui connaît aujourd’hui de nombreuses applications dans des domaines extrêmement variés.

Il ne s’agit pas ici de faire un cours sur la régression PLS mais de mettre en avant ses forces et faiblesses tout en évoquant les moyens de la mettre en oeuvre.

La suite

Quelles statistiques utiliser pour décrire une variable ?

stat4decision Mis à jour le : 9 février 2016 méthode 5 Comments

Vous avez des données avec une colonne par variable et vous voulez décrire ces données. La première étape consiste en l’utilisation de statistiques descriptives univariées vous permettant d’obtenir des informations sur chaque variable séparément. Il s’agit ici de statistique sur des échantillons , ils permettent (si l’échantillon est représentatif) d’estimer un paramètre sur la population.

La suite