Analyser les résultats
Remontée des résultats d'un plan d'exécution
Lors de l'utilisation de l'API de publication des résultats de test, une nouvelle suite automatisée est créée dans le plan de test. Cet objet possède un statut et fournit des détails pour chaque test exécuté (statut, durée, pièces jointes, etc.).
Depuis l'ancre Suites automatisées d'une itération ou d'une suite de test, vous pouvez consulter la liste des suites automatisées.
Pour chaque suite automatisée, les informations suivantes sont disponibles :
- date de création ;
- statut de la suite automatisée (« Succès », « Échec », « Annulé », « Bloqué », « Ignoré ») ;
- détails contenant la liste des exécutions de la suite ;
- utilisateur ayant publié les tests automatisés ;
- nombre total d'exécutions ;
- nombre d'exécutions avec un statut « Succès » ;
- nombre d'exécutions avec un statut « Échec » ;
- nombre d'exécutions avec un autre statut (« Bloqué », « Annulé », « À exécuter », ou « Ignoré ») ;
Statut d'exécution des exécutions et des suites automatisées
Le tableau suivant décrit les statuts disponibles et leurs cas d'utilisation typiques.
| Statut SquashTM | Couleur | Exécution | Suite automatisée |
|---|---|---|---|
| À exécuter |  |
L'élément du plan de test fait partie d'une suite automatisée qui a été lancée, mais le script automatisé correspondant n'a pas encore démarré. | - |
| Succès |  |
L'élément a été exécuté et son résultat (tel que rapporté par le framework de test) est « Succès ». | Tous les éléments de la suite automatisée ont été exécutés et ont un statut « Succès » ou « Ignoré ». |
| Échec |  |
L'élément a été exécuté et son résultat (tel que rapporté par le framework de test) est « Échec ». | Tous les éléments de la suite ont été exécutés, aucun n'a un statut « Bloqué », et au moins un a un statut « Échec ». |
| Bloqué |  |
L'élément n'a pas pu être exécuté ou ses résultats n'ont pas pu être analysés : le test n'existe pas, une bibliothèque/dépendance est manquante, etc. | Tous les éléments ont été exécutés, au moins un a un statut « Bloqué ». |
| Ignoré |  |
L'élément n'a pas été exécuté ou a un statut « Ignoré ». | Tous les éléments de la suite ont été exécutés et ont un statut « Ignoré ». |
| Annulé |  |
L'élément ne sera jamais lancé car il a été interrompu volontairement. | La suite automatisée a été interrompue avant que tous les éléments ne soient exécutés. |
Consulter une exécution automatisée et ses rapports d'exécution
Depuis le plan d'exécution
Vous pouvez consulter une exécution et ses rapports à partir du plan d'exécution.
La page de consultation de l'exécution s'affiche en cliquant sur le sous-menu Historique des exécutions puis sur le numéro de l'exécution.
Depuis la page de consultation d'exécution, les champs personnalisés et les temps d'exécution sont visibles, et les rapports d'exécution peuvent être téléchargés dans le bloc des pièces jointes.
Depuis une suite automatisée
Il est possible de consulter les détails d'une exécution et ses rapports à partir d'une suite automatisée.
Vous pouvez afficher les rapports d'exécution en cliquant sur le bouton 
.
Ils sont organisés par cas de test afin d'en faciliter la lecture.
Vous pouvez consulter les journaux d'exécution de la suite automatisée en cliquant sur le bouton 
.
Assertions en erreurs
Info
Cette fonctionnalité est disponible avec les licences SquashTM Premium 👑 et SquashTM Ultimate 💎, via le plugin SquashTM Premium.
Les assertions en erreur permettent de fournir une analyse technique sur un échec de test, typiquement des messages d'erreur ou des traces de pile tels qu'ils apparaissent dans les rapports de résultats de test.
Pour une exécution donnée, si la même assertion en erreur apparaît plusieurs fois dans le rapport de test, une seule occurrence sera prise en compte et rapportée.
Une assertion est liée à un élément du plan de test, et lorsqu'une nouvelle exécution automatisée est créée, si le statut est « Échec » pour la même assertion (même texte), l'assertion est automatiquement rattachée à cette exécution.
Les assertions peuvent être consultées :
- Sur la page d'une exécution automatisée :
- Dans la fenêtre contextuelle des détails des suites automatisées :
Lorsqu'un ITPI est supprimé, toutes les assertions en erreur qui y sont liées sont également supprimés.
Signaler ou lier une anomalie à une assertion en erreur
Si un outil de suivi des anomalies (bug tracker) est lié au projet, vous pouvez :
- Signaler une nouvelle anomalie liée à l'assertion ;
- Associer une anomalie existante dans le bug tracker à une assertion ;
- Consulter la liste des anomalies associées à une assertion en erreur.
Lorsqu'une anomalie est liée à une assertion en erreur, elle est également liée à l'exécution où l'action a été effectuée, ainsi qu'à toutes les exécutions suivantes comportant la même assertion.
Lorsqu'une anomalie est dissociée d'une assertion en erreur :
- Les exécutions portant l'assertion en erreur restent liées à l'anomalie.
- Les exécutions futures portant la même assertion ne seront plus liées à l'anomalie.
Visualiser les statuts d'exécution des étapes de test BDD
Vous pouvez visualiser les statuts d'exécution des étapes d'un test BDD directement depuis l'ancre Scénario d'exécution d'une exécution.
Avertissement
Le statut d'exécution des étapes de test ne sera pas mis à jour et restera « Prêt » s'il n'est pas fourni dans l'appel de l'API REST.
Comparer les statuts d'exécution
Avertissement
La comparaison des statuts d'exécution est une fonctionnalité disponible avec la licence SquashTM Premium et le plugin SquashTM Premium.
Il est possible de comparer les statuts d'exécution détaillés des éléments du plan de test provenant de plusieurs suites automatisées.
Pour comparer, sélectionnez au moins deux suites automatisées, puis cliquez sur l'icône 
.
La fenêtre contextuelle de comparaison des suites automatisées contient un tableau avec une ligne par élément du plan de test et une colonne par suite automatisée.
Les suites sont triées selon l'ordre de sélection, et les colonnes peuvent être filtrées et triées par statut d'exécution.
