ISTQB® Testing with Generative AI, avec certification CT-GenAI

Les fondations de l’IA : distinction entre IA symbolique, Machine Learning classique, Deep Learning et GenAI.
Fonctionnement des LLM : tokenisation, embeddings et fenêtres de contexte.
Typologie des modèles : LLM de fondation, « Instruction-Tuned » et modèles de raisonnement.
Modèles multimodaux : traitement combiné du texte et des images pour le test.
Cas d’usage : Chatbots IA vs Applications de test propulsées par LLM.

Structure d’un prompt efficace : Rôle, Contexte, Instruction, Données d’entrée, Contraintes, Format de sortie.
Techniques avancées :
Prompt Chaining (enchaînement de prompts).
Few-shot prompting (apprentissage par l’exemple).
Meta prompting et distinction System/User prompts.
Applications pratiques aux activités de test :
Analyse de test : génération de critères d’acceptation à partir de User Stories ou Wireframes.
Conception de test : création de cas de tests fonctionnels et scénarios Gherkin.
Automatisation : génération et réparation de scripts de test, données synthétiques.
Monitoring : analyse de rapports de tests et métriques.
Évaluation et affinement : Métriques de qualité des réponses IA et itération des prompts.

Qualité des réponses : Détection et mitigation des hallucinations, erreurs de raisonnement et biais.
Comportement non-déterministe : Comprendre la variabilité des résultats des LLM.
Sécurité et Confidentialité : Risques d’exposition de données, attaques par injection de prompt et stratégies de protection (anonymisation, RGPD).
Impact Environnemental : Consommation énergétique et empreinte carbone des requêtes IA.
Réglementations : Aperçu de l’AI Act et des standards ISO/IEC pertinents.

Architecture des systèmes de test basés sur l’IA.
RAG (Retrieval-Augmented Generation) : Améliorer la précision en connectant l’IA à la documentation technique interne.
Agents IA : Rôle des agents autonomes et semi-autonomes dans l’exécution des tests.
Opérationnalisation : Notions de Fine-Tuning (affinement de modèles) et LLMOps pour le test.

Roadmap d’adoption : phases de découverte, initiation et utilisation à l’échelle.
Risques du « Shadow AI » (utilisation non contrôlée).
Sélection des modèles : Critères de choix entre LLM commerciaux, Open Source ou SLM (Small Language Models).
Gestion du changement : Évolution des compétences et des rôles au sein des équipes de test.