Formation IA - LLM pour les développeurs

A l’issue de la formation, les participants :

• Auront des notions claires sur les étapes d’un projet de mise en place d’IA générative et sur les principaux acteurs impliqués ;
• Auront la capacité d’identifier les différents outils et complexité de chaque étape pour la réalisation d’un projet d’IA générative textuelle;
• Seront capable de faciliter la réalisation de projets IA générative  dans leur métier / département, en comprenant la raison d’être et le mode de fonctionnement ;

Durant ces journées, nous aborderons différents thèmes sous forme de modules.

Module 1 : Introduction NLP,  Deep Learning & Gen AI

• Introduction générale au NLP (Traitement automatique du langage naturel) et au Deep Learning.
• Comprendre les principes de l'IA générative.
• Exploration des cas d'utilisation de l'IA générative dans le monde réel. (Image, Son, Text, Video ..)

Module 2 : Les bases des Transformers et modèles de langage

• Introduction aux Transformers, une architecture essentielle pour les LLMs.
• Compréhension des modèles de langage et de leur structure.
  • Prompt Engineering: Comment concevoir des prompts efficaces pour interagir avec les LLMs.
  • Tokenization: Comprendre la tokenisation, le processus de division du texte en unités (tokens) compréhensibles par le modèle.
  • Attention: Exploration du mécanisme d'attention, un élément clé des LLMs.
  • Embedding: Apprentissage sur la création d'embeddings, représentations numériques de mots et de phrases.
  • Training: Comprendre le processus d'entraînement des LLMs et les données nécessaires.
  • Prediction: Comment les modèles LLMs effectuent des prédictions et génèrent du texte.

Module 3 : Boîte à outils

• Comparaison de différentes solutions, y compris OpenAI, Azure OpenAI, Cohere, PaLM, Huggingface, et d'autres solutions open-source comme Llama, Mistral, Dolly.
• Standard Python: Requests, asyncio
• LangChain & LamaIndex: Pipeline & Caching
• Base de données à vecteur: Chroma, Weaviate, FAISS

Module 4:  Cas pratique 1

Création d'un chatbot pour l'assistance client en utilisant le modèle RAG (Retrieval-Augmented Generation).

• Préparation des données.
• Prompt Engineering pour le chatbot.
• Utilisation d'une base de données à vecteur pour la recherche d'informations.
• Implémentation du chatbot
• Évaluation des performances et pistes d’améliorations possibles

Module 5 : LLMOps

• Mise en place d'un environnement opérationnel pour le modèle déployé.
• Supervision en temps réel des performances du modèle en production.
• Gestion des mises à jour, de la maintenance et de l'évolution du modèle.

Module 6 : LLMs Avancés

• RLHF
• Alignement et Finetuning à base d’instruction
• Chain of thought
• Copilots : Assistant de code 

Module 7 : Cas pratique 2

• Création d’agent autonome pour effectuer des multitâches

Profils :

• Data Scientist, Data Engineer et tout développeurs avec une appétence à la DATA
• Chargé d’étude
• Manager qui n’a pas peur de mettre les mains dans le cambouis

Prérequis :

• La connaissance de Python est obligatoire pour pouvoir suivre les cas pratiques