CT-GenAI chapitre 4 : infrastructure de test basée sur LLM, RAG, agents et LLMOps

En bref

Le chapitre 4 du syllabus ISTQB® CT-GenAI v1.1 regarde sous le capot des outils de test qui intègrent un LLM. Comment sont-ils construits ? Comment leur donner accès aux documents de votre projet ? Que change un agent capable d'agir, et non plus seulement de répondre ? Comment adapter un modèle à votre domaine, puis l'exploiter dans la durée ? Le syllabus y consacre 110 minutes de formation.

Pas besoin d'être développeur : on vous demande de comprendre les principes et de savoir lequel répond à quel besoin, pas de les mettre en œuvre. C'est le chapitre le plus léger à l'examen, mais ses notions servent directement à évaluer un outil du marché.

Ce que l'examen attend

Le chapitre 4 compte 5 questions sur 40, pour 5 points : uniquement des questions K2 (comprendre), une par objectif.

Objectif	Niveau	Questions	Ce qu'on attend de vous
GenAI-4.1.1	K2	1	Expliquer les composants d'une infrastructure de test basée sur LLM
GenAI-4.1.2	K2	1	Résumer le fonctionnement de la Retrieval-Augmented Generation (RAG)
GenAI-4.1.3	K2	1	Expliquer le rôle des agents basés sur LLM dans l'automatisation des processus de test
GenAI-4.2.1	K2	1	Expliquer le fine-tuning d'un modèle de langage pour une tâche de test
GenAI-4.2.2	K2	1	Expliquer les LLMOps et leur rôle dans le déploiement et la gestion des LLMs

Attendez-vous à des questions formulées sous forme de situation, par exemple : « l'équipe veut que l'outil tienne compte de la dernière version des spécifications, que faut-il mettre en place ? ».

Les notions clés

L'architecture. Une infrastructure de test basée sur LLM comprend un front-end (l'interface où le testeur formule sa demande), un back-end (authentification, récupération des données, préparation du prompt, appel au LLM, post-traitement de la réponse), des sources de données (bases relationnelles pour les données structurées comme les cas de test, bases de données vectorielles pour la recherche sémantique) et le LLM lui-même, hébergé par un tiers et appelé par API ou déployé en interne. La différence avec une architecture client-serveur classique : le LLM interprète le testware et produit des réponses à partir du contexte, au lieu de suivre un script.

La RAG. La Retrieval-Augmented Generation donne au modèle accès à vos propres documents sans le réentraîner. En amont, les documents sont découpés en fragments, chaque fragment est converti en embedding et stocké dans une base de données vectorielle. Au moment de la requête, la question est encodée à son tour, les fragments les plus proches par le sens sont récupérés, puis transmis au LLM qui génère une réponse fondée sur eux. Deux temps à retenir : récupération, puis génération.

Les agents basés sur LLM. Un agent ne se contente pas de répondre : il agit en appelant des fonctions prédéfinies (les « outils »), par exemple lire un ticket, lancer une suite de tests ou créer un rapport. Il peut être autonome ou semi-autonome, et plusieurs agents spécialisés peuvent coopérer (orchestration). Ils héritent des hallucinations, erreurs de raisonnement et biais du LLM : pour les tâches critiques, le syllabus recommande des agents semi-autonomes et une vérification automatisée de leurs résultats.

Le fine-tuning. Entraîner davantage un modèle pré-entraîné (LLM ou SLM) sur un jeu de données ciblé, pour qu'il adopte le vocabulaire, le raisonnement ou le format de sortie de votre organisation. Un SLM affiné peut suffire pour une tâche précise, à moindre coût. Quatre défis : la qualité des données d'entraînement, le surajustement, l'opacité du modèle, les ressources de calcul.

Les LLMOps. L'ensemble des pratiques, outils et processus pour développer, déployer et maintenir des LLMs en production. Les décisions dépendent du mode d'usage : chatbot IA, outil de test doté de capacités d'IA générative, ou outil développé en interne. Ces modes peuvent coexister dans une même organisation.

Les pièges fréquents

• Confondre RAG et fine-tuning. La RAG apporte du contexte à chaque requête, le modèle reste inchangé. Le fine-tuning modifie le modèle par un entraînement complémentaire. Besoin de documents à jour : RAG. Besoin d'un format ou d'un vocabulaire maison : fine-tuning.
• Imaginer une recherche par mots-clés. La récupération RAG repose sur la similarité sémantique entre embeddings, pas sur la correspondance exacte des mots.
• Faire confiance à un agent parce qu'il est automatisé. Un agent qui se trompe exécute son erreur. Plus il agit seul, plus la vérification compte.
• Croire qu'il faut choisir un seul mode d'usage. Une équipe peut utiliser un chatbot pour certaines tâches et un outil interne pour d'autres, en y ajoutant RAG ou fine-tuning.

Comment le réviser

Deux à trois heures suffisent en général. Le meilleur exercice : dessinez de mémoire le schéma d'une infrastructure de test basée sur LLM, puis le parcours d'une requête RAG, étape par étape. Ensuite, pour un outil de test que vous connaissez (ou une démonstration d'éditeur), essayez d'identifier s'il utilise de la RAG, un agent, un modèle affiné, et ce que cela implique pour la vérification des résultats.

Évaluez d'abord votre niveau avec le test de niveau gratuit. Le guide de la certification replace ce chapitre dans le parcours, le guide de l'examen rappelle le format, et la formation complète compare RAG, fine-tuning et agents sur des cas de test concrets. Pour bien situer le périmètre (on utilise ces technologies pour tester, on ne les teste pas), lisez CT-GenAI ou CT-AI. Pour aller plus loin : le RAG appliqué aux tests logiciels et les agents IA dans les tests logiciels.

Questions fréquentes

Faut-il savoir mettre en place une RAG pour l'examen ?

Non. L'objectif GenAI-4.1.2 demande de résumer le principe : découpage des documents, embeddings, base de données vectorielle, récupération par similarité sémantique, puis génération. Vous devez savoir à quoi sert chaque étape et quand la RAG est utile, mais l'objectif ne porte sur aucun outil ni aucun code particulier.

Quelle différence entre un agent et un chatbot IA ?

Le chatbot IA répond à des questions dans une conversation. L'agent basé sur LLM peut agir : il appelle des outils pour interagir avec d'autres systèmes et enchaîner des tâches, de façon autonome ou semi-autonome. C'est ce qui lui permet d'automatiser une partie du processus de test, mais aussi ce qui rend ses erreurs plus coûteuses.

Pourquoi le chapitre 4 ne rapporte-t-il que 5 points ?

Parce que le syllabus vise des testeurs qui utilisent ces outils, pas des spécialistes qui les construisent : tous les objectifs sont de niveau K2. Cinq points restent précieux quand la réussite se joue à 30 sur 46, et ces notions reviennent au chapitre 5 lorsqu'il s'agit de choisir un modèle ou une approche pour une organisation de test.