Évaluer un système RAG

Mesurer la pertinence, la fidélité et la fraîcheur des réponses avant de déployer.

Niveau 3 — Assistants & connaissances Assistants & connaissances 1 à 2 jours Distanciel ou présentiel

Objectifs pédagogiques

  • Définir des critères d'évaluation
  • Construire un jeu d'évaluation
  • Interpréter les résultats et corriger

Compétences visées

  • Critères d'évaluation
  • Jeux de tests
  • Amélioration continue

Programme détaillé

  1. Critères : pertinence, fidélité, couverture, fraîcheur
  2. Constitution d'un jeu de questions-références
  3. Métriques et lecture des résultats
  4. Boucle d'amélioration
  5. Atelier : plan d'évaluation

Cas pratiques

  • Évaluer un mini-RAG et proposer 3 corrections

Modalités pédagogiques

Apports techniques et ateliers de construction, analyse d'erreurs, production, transfert

Exercices

Construction progressive d'un mini-système documentaire.

Outils utilisés

Scripts d'évaluation fournis

Évaluation

Démonstration du système construit + grille.

Supports

Supports de cours et ressources distribués aux participants.

Informations pratiques

PublicProfils techniques, référents documentaires, métiers à fort volume documentaire
PrérequisNiveau 1 recommandé.
Durée indicative1 à 2 jours
FormatDistanciel ou présentiel
Participants6 à 10
SpécialitéAssistants & connaissances
NiveauAssistants & connaissances

Livrable

Mini-système RAG ou base de connaissances opérationnelle.

Adaptation possible

Adaptation aux documents et domaines de l'organisation.

Formation suivante recommandée

Concevoir un workflow IA fiable

Articulation avec Fopacademy

Articulation possible avec Fopacademy (Qualiopi).

Les actions de formation peuvent être opérées avec Fopacademy, organisme de formation certifié Qualiopi, tandis qu'Esprit Artificiel apporte l'expertise spécialisée en intelligence artificielle.

Voir une réalisation associée