CT-GenAI chapitre 2 : ingénierie du prompting pour des tests logiciels efficaces

En bref

Le chapitre 2 du syllabus ISTQB® CT-GenAI v1.1 est le cœur de la certification. Il couvre la façon de construire un prompt, les techniques de prompting retenues pour le test, leur application à chaque activité du processus de test, puis l'évaluation des résultats. Avec 365 minutes de formation, c'est de loin le chapitre le plus long du syllabus.

C'est aussi le plus exigeant à l'examen : il concentre 5 des 6 questions K3 (la sixième est au chapitre 3), où l'on vous place devant une situation de test et où vous devez choisir ou appliquer la bonne approche. Réciter les définitions ne suffit pas ; il faut avoir pratiqué.

Ce que l'examen attend

Le chapitre 2 compte 11 questions sur 40, pour 16 points sur 46 : 6 questions K2 à 1 point et 5 questions K3 à 2 points. À lui seul, il pèse plus du tiers du score total, alors que la réussite se joue à 30 points sur 46.

Objectif	Niveau	Questions	Points	Ce qu'on attend de vous
GenAI-2.1.1	K2	2	2	Reconnaître les six composants d'un prompt structuré dans des exemples
GenAI-2.1.2	K2	1	1	Distinguer l'enchaînement de prompts, le few-shot prompting et le méta-prompting
GenAI-2.1.3	K2	1	1	Distinguer prompt système et prompt utilisateur
GenAI-2.2.1	K3	1	2	Utiliser l'IA générative pour l'analyse de test
GenAI-2.2.2	K3	1	2	Utiliser l'IA générative pour la conception et l'implémentation des tests
GenAI-2.2.3	K3	1	2	Utiliser l'IA générative pour les tests de régression automatisés
GenAI-2.2.4	K3	1	2	Utiliser l'IA générative pour le suivi et le contrôle des tests
GenAI-2.2.5	K3	1	2	Choisir la technique de prompting adaptée à un contexte donné
GenAI-2.3.1	K2	1	1	Comprendre les métriques d'évaluation des résultats
GenAI-2.3.2	K2	1	1	Donner des exemples de techniques pour évaluer et affiner un prompt

Les cinq objectifs de la section 2.2 valent 10 points : c'est là que se fait la différence.

Les notions clés

Les six composants d'un prompt structuré. Rôle, contexte, instruction, données d'entrée, contraintes, format de sortie. Chacun répond à une question différente : qui parle, dans quelle situation, pour faire quoi, à partir de quoi, avec quelles limites, sous quelle forme. Savoir ranger un fragment de prompt dans la bonne case est un exercice classique.

Trois techniques de prompting. L'enchaînement de prompts découpe une tâche en étapes, avec une vérification de chaque résultat intermédiaire avant de passer à la suivante. Le few-shot prompting donne plusieurs exemples au modèle pour qu'il reproduise un motif (zero-shot : aucun exemple, one-shot : un seul). Le méta-prompting demande au LLM de générer ou d'améliorer le prompt lui-même, que le testeur évalue ensuite. Les trois se combinent.

Prompt système et prompt utilisateur. Le prompt système fixe le cadre pour toute la conversation (rôle, règles, ton) et reste en général invisible pour l'utilisateur. Le prompt utilisateur change à chaque échange. Le modèle tient compte des deux ensemble.

L'IA générative dans le processus de test. En analyse de test : repérer les défauts de la base de test, dériver et prioriser des conditions de test, analyser la couverture, suggérer des techniques de test. En conception et implémentation : cas de test, données synthétiques, scripts automatisés, ordonnancement de l'exécution. En régression : scripts dirigés par mots-clés, analyse d'impact, tests auto-réparateurs, rapports. En suivi et contrôle : analyse des métriques, aide à la replanification, rapports de clôture, tableaux de bord.

Choisir la technique. Tâche complexe où chaque étape doit être vérifiée : enchaînement de prompts. Tâche répétitive ou format de sortie imposé : few-shot. Tâche nouvelle ou prompt difficile à formuler : méta-prompting.

Évaluer et affiner. Sept métriques : exactitude, précision, rappel, pertinence et adéquation contextuelle, diversité, taux de réussite des exécutions, efficience temporelle. Cinq techniques d'affinage : modification itérative, tests A/B de prompts, analyse des résultats, intégration du retour des utilisateurs, ajustement de la longueur et du niveau de détail. Comme le LLM est non déterministe, une mesure isolée ne prouve rien.

Les pièges fréquents

• Confondre une conversation longue et un enchaînement de prompts. Dix messages d'affilée ne font pas un enchaînement. Ce qui compte, c'est le découpage volontaire en sous-tâches et le contrôle de chaque sortie intermédiaire.
• Attribuer le méta-prompting au testeur. Si c'est vous qui réécrivez votre prompt après un mauvais résultat, c'est de la modification itérative. Le méta-prompting, c'est le modèle qui produit ou améliore le prompt.
• Choisir la technique « la plus avancée ». Dans les questions K3, la bonne réponse est celle qui correspond aux caractéristiques de la tâche (précision, répétition, nouveauté), pas celle qui paraît la plus sophistiquée.
• Mélanger exactitude et précision. L'exactitude mesure la justesse globale par rapport à une référence ; la précision mesure la justesse par rapport à un objectif donné.

Comment le réviser

Prévoyez la plus grosse part de votre temps de révision sur ce chapitre, et surtout de la pratique. Prenez une user story de votre projet (anonymisée) et rédigez un prompt avec les six composants. Puis traitez la même user story trois fois : avec un enchaînement de prompts (ambiguïtés, puis conditions de test, puis contrôle de couverture), avec deux exemples few-shot, puis en demandant au modèle de vous proposer le prompt. Comparez les résultats avec deux ou trois métriques choisies à l'avance.

Faites d'abord le test de niveau gratuit pour voir où vous en êtes. Le guide de la certification situe ce chapitre dans l'ensemble, et le guide de l'examen explique comment sont notées les questions K3 à 2 points. La formation complète consacre plusieurs leçons à ce chapitre, avec des exercices par activité de test. Pour aller plus loin sur la structure, lisez notre article sur le prompt structuré pour les testeurs. Chaque technique a aussi son article pratique : enchaînement de prompts, few-shot prompting pour Gherkin et méta-prompting, ainsi qu'une méthode complète pour générer des cas de test avec l'IA.

Questions fréquentes

Combien de questions K3 y a-t-il au chapitre 2 ?

Cinq, une par objectif de la section 2.2 (GenAI-2.2.1 à GenAI-2.2.5), chacune valant 2 points. Elles décrivent une situation de test concrète et vous demandent de choisir la meilleure façon d'utiliser l'IA générative ou la technique de prompting la plus adaptée. Ces cinq questions représentent 10 des 16 points du chapitre.

Faut-il connaître d'autres techniques que les trois du syllabus ?

Non. Le syllabus retient l'enchaînement de prompts, le few-shot prompting et le méta-prompting comme techniques principales pour le test, et précise la différence entre zero-shot, one-shot et few-shot. D'autres techniques existent dans la littérature, mais l'examen porte sur celles-ci et sur la façon de les choisir selon la tâche.

Les métriques d'évaluation demandent-elles des calculs ?

Non, les objectifs de la section 2.3 sont de niveau K2. On attend que vous compreniez ce que mesure chaque métrique et que vous sachiez reconnaître laquelle correspond à une situation décrite, par exemple la part de scripts générés qui s'exécutent sans erreur (taux de réussite des exécutions). Aucune formule n'est à appliquer.