CT-GenAI chapitre 3 : gérer les risques de l'IA générative dans les tests

En bref

Le chapitre 3 du syllabus ISTQB® CT-GenAI v1.1 traite de ce qui peut mal tourner quand un testeur s'appuie sur l'IA générative, et de la façon de s'en protéger. Quatre familles de risques : les défauts des sorties (hallucinations, erreurs de raisonnement, biais) et le non-déterminisme ; la confidentialité des données et la sécurité ; la consommation énergétique ; le cadre réglementaire et normatif. Le syllabus y consacre 160 minutes de formation, le deuxième volume après le chapitre 2.

C'est le chapitre qui donne au testeur son rôle de garde-fou : l'IA générative produit vite, mais c'est à vous de vérifier ce qu'elle produit et de savoir ce que vous avez le droit de lui confier.

Ce que l'examen attend

Le chapitre 3 compte 10 questions sur 40, pour 11 points : 3 questions K1, 6 questions K2 et 1 question K3 à 2 points.

Objectif	Niveau	Questions	Points	Ce qu'on attend de vous
GenAI-3.1.1	K1	1	1	Rappeler ce que sont une hallucination, une erreur de raisonnement et un biais
GenAI-3.1.2	K3	1	2	Repérer ces trois défauts dans une sortie de LLM
GenAI-3.1.3	K2	1	1	Résumer les techniques qui réduisent ces défauts
GenAI-3.1.4	K1	1	1	Rappeler comment limiter le non-déterminisme
GenAI-3.2.1	K2	1	1	Expliquer les risques de confidentialité et de sécurité
GenAI-3.2.2	K2	2	2	Donner des exemples de vulnérabilités et de vecteurs d'attaque
GenAI-3.2.3	K2	1	1	Résumer les mesures de protection
GenAI-3.3.1	K2	1	1	Expliquer ce qui fait varier la consommation d'énergie
GenAI-3.4.1	K1	1	1	Citer des réglementations, normes et cadres de bonnes pratiques

La section 3.2 (confidentialité et sécurité) pèse 4 questions : c'est la plus dense du chapitre.

Les notions clés

Trois défauts à distinguer. Une hallucination est un contenu faux ou hors sujet : un cas de test qui vérifie une règle absente de la spécification, un script qui appelle une fonction inexistante. Une erreur de raisonnement porte sur la logique : une priorisation qui contredit les règles fournies, un calcul d'effort incohérent. Un biais vient des données d'entraînement et oriente la sortie : des jeux de données de test qui ne représentent qu'un seul profil d'utilisateur, des tests non fonctionnels systématiquement oubliés.

Les détecter. Pour les hallucinations : vérification croisée avec la documentation et le comportement connu, avis d'experts du domaine, contrôles de cohérence. Pour les erreurs de raisonnement : validation logique en revue, et exécution des cas ou scripts générés. Pour les biais : vérifier que le testware généré reflète la stratégie de test et les exigences de couverture. L'effort de détection dépend du niveau de risque de la tâche.

Les réduire. Donner un contexte complet, découper avec l'enchaînement de prompts, utiliser des formats de données clairs, choisir un modèle adapté à la tâche, comparer les résultats de plusieurs modèles. Pour le non-déterminisme : baisser la température (plus de cohérence, moins de diversité) et fixer une graine aléatoire quand l'outil le permet. Aucune de ces mesures n'assure une reproductibilité totale.

Confidentialité et sécurité. Côté données : exposition involontaire d'informations sensibles, perte de contrôle sur leur usage, non-conformité au RGPD. Côté sécurité, le syllabus cite quatre vecteurs d'attaque : la manipulation du contexte (extraire des données d'entraînement), la manipulation des prompts (une entrée piégée qui détourne la sortie), la contamination des données (fausser les données d'entraînement) et la génération de code malveillant (un script qui ouvre une porte dérobée).

Se protéger. Minimisation des données, anonymisation et pseudonymisation, chiffrement et contrôle d'accès, formation des équipes, revue systématique des sorties, comparaison entre modèles, environnement d'exécution adapté au niveau de confidentialité, audits de sécurité réguliers, veille. Ces mesures se combinent, en impliquant les responsables sécurité et juridiques.

Énergie et réglementation. La consommation dépend de la complexité de la tâche et des ressources mobilisées : générer une image coûte bien plus que générer du texte, et les petits usages s'additionnent. Limiter les interactions inutiles est la première bonne pratique. Côté cadre, le syllabus cite ISO/IEC 42001:2023, ISO/IEC 23053:2022, l'EU AI Act et le NIST AI Risk Management Framework.

Les pièges fréquents

• Appeler « hallucination » toute réponse fausse. Si tous les éléments existent mais sont mal combinés ou mal ordonnés, c'est une erreur de raisonnement. L'hallucination suppose un élément inventé ou hors sujet.
• Voir le non-déterminisme comme un défaut du contenu. Deux réponses différentes au même prompt, c'est le fonctionnement normal du modèle. Fixer la graine rend une réponse reproductible, pas correcte.
• Intervertir les vecteurs d'attaque. Demandez-vous ce qui est visé : les données d'entraînement à extraire (manipulation du contexte), les données d'entraînement à fausser (contamination des données), l'entrée de la requête (manipulation des prompts) ou le code produit (génération de code malveillant).
• Mettre normes, réglementation et cadres dans le même panier. L'EU AI Act est une réglementation, les deux ISO/IEC sont des normes, le NIST AI RMF est un cadre.

Comment le réviser

Une demi-journée suffit en général, à condition de pratiquer l'objectif K3. Demandez à un chatbot des cas de test pour une user story volontairement incomplète (par exemple un formulaire de réservation de salle de réunion) et classez chaque problème trouvé : hallucination, erreur de raisonnement ou biais. Pour la section 3.2, faites-vous une fiche d'une ligne par vecteur d'attaque, avec ce qui est manipulé.

Commencez par le test de niveau gratuit pour mesurer vos acquis. Le guide de la certification donne la vue d'ensemble, le guide de l'examen précise le barème, et la formation complète détaille chaque objectif avec des exercices de détection. Pour le changement de vocabulaire « manipulation du contexte », voir ce qui change dans le syllabus v1.1. Deux articles prolongent ce chapitre : hallucinations, erreurs de raisonnement et biais en pratique, et l'IA fantôme dans les équipes QA pour les risques sur les données.

Questions fréquentes

Quelle est la question K3 du chapitre 3 ?

Elle porte sur l'objectif GenAI-3.1.2 : repérer une hallucination, une erreur de raisonnement ou un biais dans une sortie de LLM. Comme toute question K3, elle s'appuie sur une mise en situation : attendez-vous à un extrait de testware généré (cas de test, données, plan) dont il faut identifier le type de défaut. Elle vaut 2 points, soit près d'un cinquième des points du chapitre.

Faut-il connaître le détail de l'EU AI Act ou du RGPD ?

Non. GenAI-3.4.1 est un objectif K1 : il faut savoir citer les réglementations, normes et cadres mentionnés par le syllabus et les associer à leur type. Pour le RGPD, retenez qu'il ne restreint pas explicitement l'IA générative, mais impose des garde-fous sur la licéité et les finalités du traitement des données.

Les questions sur l'énergie demandent-elles des chiffres ?

Non. L'objectif GenAI-3.3.1 est de niveau K2 : il faut comprendre que la consommation dépend du type de tâche et de l'usage du modèle, et que l'effet cumulé de nombreuses requêtes n'est pas négligeable. Aucun chiffre précis n'est à mémoriser ; retenez plutôt les facteurs qui font varier la consommation.