CT-GenAI chapitre 5 : déployer l'IA générative dans une organisation de test

En bref

Le chapitre 5 du syllabus ISTQB® CT-GenAI v1.1 prend de la hauteur : une fois que les testeurs savent utiliser l'IA générative, comment l'organisation de test l'adopte-t-elle de façon maîtrisée ? Il couvre les risques de l'IA fantôme, les aspects clés d'une stratégie, les critères de choix d'un modèle, les phases d'adoption, puis la conduite du changement : compétences, montée en compétence des équipes et évolution des rôles. C'est le plus court du syllabus, avec 80 minutes de formation.

Il parle autant aux responsables des tests qu'aux testeurs : les questions portent souvent sur une décision d'organisation plutôt que sur une tâche de test.

Ce que l'examen attend

Le chapitre 5 compte 7 questions sur 40, pour 7 points : 4 questions K1 (se souvenir) et 3 questions K2 (comprendre). C'est le chapitre qui compte le plus de questions K1, donc celui où la mémorisation précise du vocabulaire rapporte le plus vite.

Objectif	Niveau	Questions	Ce qu'on attend de vous
GenAI-5.1.1	K1	1	Rappeler les risques de l'IA fantôme
GenAI-5.1.2	K2	1	Expliquer les aspects clés d'une stratégie d'IA générative pour les tests
GenAI-5.1.3	K2	1	Résumer les critères de sélection d'un LLM ou d'un SLM pour des tâches de test
GenAI-5.1.4	K1	1	Rappeler les phases d'adoption de l'IA générative
GenAI-5.2.1	K2	1	Expliquer les compétences et connaissances nécessaires aux testeurs
GenAI-5.2.2	K1	1	Rappeler les stratégies pour développer les compétences IA des équipes
GenAI-5.2.3	K1	1	Reconnaître comment évoluent les processus de test et les responsabilités

Les notions clés

L'IA fantôme. C'est l'usage d'outils d'IA non approuvés par l'organisation, par exemple un testeur qui colle des logs de production dans un assistant personnel. Le syllabus en retient trois risques : faiblesses de sécurité de l'information et de confidentialité des données, problèmes de conformité réglementaire, propriété intellectuelle floue liée à des conditions de licence peu claires. La réponse n'est pas l'interdiction, mais une stratégie et un déploiement encadrés.

La stratégie. Elle part d'objectifs de test mesurables (productivité, durée des cycles, qualité), puis choisit des modèles alignés sur ces objectifs et compatibles avec l'infrastructure existante. Elle s'appuie sur des données d'entrée de qualité et protégées, une formation des équipes, des métriques d'efficacité, et des règles d'usage : données sensibles, transparence sur ce qui a été généré, revue du testware généré avant validation.

Choisir un LLM ou un SLM. Quatre critères : les performances du modèle sur vos propres tâches de test (les benchmarks publics dédiés au test sont rares), le potentiel de fine-tuning, le coût récurrent (licences et exploitation) et la communauté et l'assistance disponibles.

Trois phases d'adoption. Découverte : sensibiliser, former, donner accès aux modèles, expérimenter. Initiation et définition de l'utilisation : identifier et prioriser les cas d'utilisation, évaluer l'outillage, développer l'expertise. Utilisation et itération : intégration complète, suivi continu, mesure de la transformation. Les phases peuvent avancer en parallèle selon les cas d'utilisation, et les craintes des équipes (sur l'emploi notamment) doivent être traitées tôt.

Les compétences. Ingénierie du prompting, compréhension des fenêtres contextuelles, méthodes de revue des sorties, connaissance des risques et des atténuations, expurgation des données sensibles avant partage, choix de modèles de taille adaptée pour limiter le coût et l'énergie. L'expertise de test et du domaine reste indispensable pour juger ce que produit le modèle.

Développer les équipes et faire évoluer les rôles. Apprentissage par la pratique sur plusieurs modèles, parcours structurés, apprentissage entre pairs, communautés de pratique et bibliothèques de canevas de prompts. Le testeur devient un spécialiste des tests assistés par l'IA, qui guide et vérifie le testware généré. Le responsable des tests intègre la stratégie et la gestion des risques liées à l'IA, la gouvernance, et pilote des équipes hybrides de personnes et d'agents.

Les pièges fréquents

• Inventer des noms de phases. « Pilote », « industrialisation » ou « généralisation » sonnent juste mais ne sont pas dans le syllabus. Retenez les trois intitulés exacts, et que la priorisation des cas d'utilisation relève de la deuxième phase.
• Réduire l'IA fantôme à un problème de sécurité. La conformité et la propriété intellectuelle font aussi partie des risques à rappeler.
• Penser qu'un modèle open source est gratuit. Sans licence à payer, il reste des coûts d'exploitation récurrents : infrastructure, maintenance, personnel.
• Attribuer au testeur les responsabilités du responsable des tests. Maintenir la bibliothèque de prompts revient au testeur ; définir la gouvernance et la stratégie de test basée sur l'IA revient au responsable des tests.

Comment le réviser

Une à deux heures suffisent, en misant sur la mémorisation active. Faites-vous une fiche avec les listes exactes : trois risques de l'IA fantôme, quatre critères de sélection, trois phases d'adoption. Puis appliquez-les à votre propre équipe : quels outils d'IA sont utilisés aujourd'hui sans cadre ? Dans quelle phase êtes-vous pour l'analyse de test, et dans laquelle pour l'automatisation ? Ce petit diagnostic d'équipe fixe le vocabulaire bien mieux qu'une relecture.

Mesurez votre niveau avec le test de niveau gratuit. Le guide de la certification récapitule les cinq chapitres, le guide de l'examen détaille le barème, et la formation complète développe chaque objectif avec des cas d'organisation. Pour un cas concret sur l'objectif GenAI-5.1.1, lisez l'IA fantôme dans les équipes QA. Si vous construisez votre parcours de QA, notre article devenir testeur logiciel donne le contexte plus large.

Questions fréquentes

Le chapitre 5 est-il réservé aux test managers ?

Non. Il concerne tous les profils, car un testeur doit savoir pourquoi l'usage d'un outil non approuvé pose problème, quelles compétences développer et comment son propre rôle évolue. Certaines questions adoptent le point de vue du responsable des tests, mais elles restent de niveau K1 ou K2 et ne demandent pas d'expérience de management.

Quelles listes faut-il connaître par cœur ?

Les trois risques de l'IA fantôme, les quatre critères de sélection d'un LLM ou d'un SLM et les trois phases d'adoption, avec leurs intitulés exacts. Ce sont des objectifs K1 ou K2 où une mauvaise réponse peut reprendre un vocabulaire de gestion de projet plausible mais absent du syllabus.

Comment le chapitre 5 se relie-t-il aux autres ?

Il réutilise presque tout ce qui précède : les métriques du chapitre 2 pour mesurer l'efficacité, les risques et la réglementation du chapitre 3 pour fixer les règles d'usage, le fine-tuning et les modes d'usage du chapitre 4 pour choisir un modèle. Le réviser en dernier permet de consolider l'ensemble.