CT-GenAI chapitre 1 : introduction à l'IA générative pour les tests logiciels

En bref

Le chapitre 1 du syllabus ISTQB® CT-GenAI (« Tester avec l'IA générative », v1.1) pose le vocabulaire de tout le reste. Il répond à trois questions : d'où vient l'IA générative, comment un grand modèle de langage (LLM) produit une réponse, et de quelles façons un testeur peut s'en servir au quotidien. Le syllabus lui consacre 100 minutes de formation, soit le deuxième plus petit volume horaire après le chapitre 5.

C'est un chapitre de compréhension, pas de pratique : aucune question K3, mais des notions qui reviennent partout ailleurs. Si la fenêtre contextuelle ou le non-déterminisme restent flous, les questions des chapitres 2 et 3 deviennent beaucoup plus difficiles. Un chapitre « facile » en apparence, donc, qui mérite d'être maîtrisé tôt.

Ce que l'examen attend

Le chapitre 1 représente 7 questions sur 40, pour 7 points (1 point par question) : 1 question K1 (se souvenir) et 6 questions K2 (comprendre).

Objectif	Niveau	Questions	Ce qu'on attend de vous
GenAI-1.1.1	K1	1	Situer l'IA symbolique, le machine learning classique, le deep learning et l'IA générative les uns par rapport aux autres
GenAI-1.1.2	K2	2	Expliquer comment fonctionne un LLM : tokenisation, embeddings, modèle Transformer, fenêtre contextuelle, non-déterminisme, différence LLM / SLM
GenAI-1.1.3	K2	1	Distinguer un LLM de fondation, un LLM adapté aux instructions et un LLM de raisonnement
GenAI-1.1.4	K2	1	Comprendre ce qu'apporte un LLM multimodal (texte et image) à une tâche de test
GenAI-1.2.1	K2	1	Donner des exemples de capacités des LLMs utiles au test
GenAI-1.2.2	K2	1	Comparer les chatbots IA et les applications de test basées sur LLM

Notez que GenAI-1.1.2 pèse deux questions à lui seul : c'est l'objectif le plus rentable du chapitre.

Les notions clés

Le panorama de l'IA. L'IA symbolique raisonne avec des règles explicites. Le machine learning classique apprend à partir de données, mais quelqu'un doit choisir les variables utiles (les features). Le deep learning, à base de réseaux neuronaux, découvre lui-même ces variables dans des données volumineuses. L'IA générative s'appuie sur le deep learning pour produire du contenu nouveau. Son intérêt pour le test : des modèles pré-entraînés, utilisables tout de suite, sans phase d'entraînement de votre côté.

Ce qui se passe dans un LLM. Le texte est découpé en tokens, chaque token est converti en vecteur (embedding) qui encode son sens et ses relations avec les autres, puis le modèle Transformer prédit le token suivant, encore et encore. Le résultat est statistiquement plausible, ce qui ne veut pas dire correct. Deux conséquences pratiques : la fenêtre contextuelle, mesurée en tokens, limite ce que le modèle peut prendre en compte en une fois (un long journal d'exécution peut la dépasser), et le non-déterminisme fait qu'un même prompt peut donner deux réponses différentes.

Trois familles de LLM. Le LLM de fondation est généraliste. Le LLM adapté aux instructions en dérive, affiné pour suivre des consignes. Le LLM de raisonnement va plus loin avec des capacités d'inférence en plusieurs étapes, utiles pour les tâches à forte charge cognitive. En test, on utilise surtout les deux derniers, selon la complexité de la tâche. Les SLM (petits modèles de langage) sont des versions compactes, plus légères à faire tourner.

Le multimodal. Un LLM multimodal traite plusieurs types de données, par exemple une capture d'écran et une user story. Les modèles de vision en sont un sous-ensemble. Usage typique en test : comparer une maquette d'écran et les règles écrites pour repérer les écarts.

Ce qu'un LLM sait faire pour un testeur. Analyser et améliorer des exigences, aider à créer des cas de test, proposer des résultats attendus (oracles), générer des données de test, soutenir l'automatisation, analyser des résultats de test, rédiger du testware comme des plans ou des rapports.

Deux modes d'interaction. Le chatbot IA : une conversation, des réponses immédiates, idéal pour explorer ou clarifier. L'application de test basée sur LLM : le modèle est appelé par API depuis un outil, pour des tâches bien définies et répétables, à plus grande échelle. Dans les deux cas, la qualité du prompt reste déterminante.

Les pièges fréquents

• Assimiler un token à un mot. Un token peut être un caractère, un morceau de mot ou un mot entier. Les limites de contexte et les coûts se comptent en tokens, pas en mots.
• Croire qu'une réponse fluide est une réponse juste. Le modèle produit la suite la plus probable. Une formulation assurée ne dit rien de l'exactitude du contenu (voir notre article sur les hallucinations de l'IA dans les tests).
• Choisir systématiquement le modèle le plus puissant. Un LLM de raisonnement n'apporte rien pour reformater un tableau, et une grande fenêtre contextuelle augmente le temps de calcul.
• Opposer chatbot et application. Ce sont deux modes complémentaires, pas deux niveaux de maturité. Une équipe peut utiliser les deux en même temps.

Comment le réviser

Comptez une à deux heures. Commencez par lire la section 1.1 du syllabus en reformulant chaque notion avec vos mots, puis faites l'exercice le plus utile du chapitre : passez un même texte (une user story de votre projet, anonymisée) dans un compteur de tokens et observez le découpage. Ensuite, posez deux fois la même question à un chatbot et comparez les réponses : vous venez de voir le non-déterminisme en action.

Pour situer votre niveau avant d'aller plus loin, faites le test de niveau gratuit (10 questions, 5 minutes). Le guide de la certification CT-GenAI présente les cinq chapitres, et le guide de l'examen détaille le format et le barème. Si vous voulez une progression structurée avec exercices, la formation complète reprend chaque objectif en profondeur.

Deux lectures complémentaires : la différence entre CT-GenAI et CT-AI, pour être sûr de préparer la bonne certification, et ce qui change dans le syllabus v1.1.

Questions fréquentes

Faut-il savoir programmer pour le chapitre 1 ?

Non. Le chapitre 1 demande de comprendre des mécanismes, pas de les implémenter. Vous devez savoir expliquer ce qu'est un token, un embedding ou une fenêtre contextuelle, et pourquoi cela compte pour une tâche de test, mais les objectifs du chapitre ne demandent ni d'écrire du code ni de faire des calculs.

Les questions sur les familles d'IA sont-elles techniques ?

Elles restent au niveau des définitions. GenAI-1.1.1 est un objectif K1 : il s'agit de reconnaître ce qui caractérise chaque famille (règles explicites, variables choisies par l'humain, réseaux neuronaux, génération de contenu). Le piège vient plutôt des formulations proches entre machine learning classique et deep learning, d'où l'intérêt de retenir qui choisit les variables.

Pourquoi le chapitre 1 est-il important s'il ne rapporte que 7 points ?

Parce que ses notions sont réutilisées partout. Le non-déterminisme explique les techniques d'atténuation du chapitre 3, la fenêtre contextuelle et les embeddings reviennent avec le RAG au chapitre 4, et les deux modes d'interaction structurent les choix d'outillage du chapitre 5. Bien maîtriser ce chapitre rend les autres plus faciles à comprendre.