Aller au contenu

Analyser les résultats

Statut d'exécution des exécutions et suites automatisées

Statut Squash Couleur Exécution Suite automatisée
À exécuter Statut 'À exécuter' L'ITPI fait partie d'une suite automatisée qui a été lancée, mais le script automatisé correspondant n'a pas encore été démarré. -
En cours Statut 'En cours' - La suite automatisée a été lancée.
Succès Statut 'Succès' L'ITPI a été exécutée et son résultat (tel que rapporté par le framework de test) est 'succès'. Toutes les ITPIs de la suite automatisée ont été exécutées et ont un statut 'succès' ou 'ignoré'.
Échec Statut 'Échec' L'ITPI a été exécutée et son résultat (tel que rapporté par le framework de test) est 'échec'. Toutes les ITPIs de la suite automatisée ont été exécutées, aucune ITPI n'a un statut 'bloqué', au moins une ITPI a un statut 'échec'.
Bloqué Statut 'Bloqué' L'ITPI n'a pas pu être exécutée ou ses résultats n'ont pas pu être analysés : le test n'existe pas, une bibliothèque/dépendance/… est manquante, le rapport Surefire n'a pas été généré… Toutes les ITPIs de la suite automatisée ont été exécutées, au moins une ITPI a un statut 'bloqué'.
Ignoré (skipped)* Statut 'Ignoré' L'ITPI n'a pas été exécutée ou a un statut 'ignoré' (par exemple, elle a été marquée dans le code du test automatisée comme ne devant pas être exécuté). Toutes les ITPIs de la suite automatisée ont été exécutées et ont un statut 'ignoré'.
Annulé Statut 'Annulé' L'ITPI ne sera jamais lancée car le workflow de l'orchestrateur a été volontairement interrompu par un utilisateur entre-temps. La suite automatisée a été annulée avant que toutes les ITPIs de la suite automatisée n'aient été exécutées.

* Le statut 'Ignoré' n'existe que pour Cucumber et Robot Framework pour l'instant.

Les suites automatisées Squash Orchestrator

Depuis l'ancre Suites automatisées d'une itération ou d'une suite de tests, il est possible de consulter la liste des suites automatisées.

Pour chaque suite automatisée, les informations suivantes sont disponibles :

  • date de création ;
  • statut de la suite automatisée ('Succès', 'Échec', 'Annulé', 'Bloqué', 'En cours', 'Ignoré') ;
  • détails contenant la liste des exécutions de la suite, ainsi que les rapports d'exécutions ;
  • rapport global et log d'exécution ;
  • utilisateur ayant lancé les tests automatisés ;
  • nature de l'entité depuis laquelle a été lancée la suite (Itération ou Suite) ;
  • date de modification ;
  • nombre total d'exécutions ;
  • nombre d'exécutions ayant un statut 'Succès' ;
  • nombre d'exécutions ayant un statut 'Échec' ;
  • nombre d'exécutions ayant un autre statut ('Bloqué', 'Annulé', 'À exécuter' ou 'Ignoré') ;
  • tags d'environnements d'exécution utilisés lors du lancement des tests ;
  • variables d'environnements utilisées lors du lancement des tests.

Consulter l'historique des suites automatisées

Consulter l'historique des suites automatisées

Nettoyage des suites automatisées

Un administrateur, chef de projet ou testeur référent peut :

  • supprimer une ou plusieurs suites automatisées, en cliquant sur le bouton Supprimer ;
  • nettoyer partiellement (seules les pièces jointes associées aux exécutions ayant un statut 'Succès' seront supprimées) en cliquant sur le bouton Nettoyer, puis en sélectionnant "Nettoyage partiel" ;
  • nettoyer complètement (les pièces jointes de toutes les exécutions seront supprimées) une ou plusieurs suites automatisées, en cliquant sur le bouton Nettoyer, puis en selectionnant "Nettoyage complet" ;
  • arrêter une suite automatisée lancée depuis squash TM ayant un status 'En cours', en cliquant sur le bouton Arrêter.

Un testeur avancé peut arrêter les suites automatisées qu'il a lancées, mais pas celles lancées par d'autres utilisateurs.

Info

La suppression et le nettoyage des pièces jointes ne concernent que les suites automatisées terminées. Celles ayant un statut 'En cours' seront ignorées.

Sélectionner des suites automatisées

Consulter une exécution automatisée et ses rapports d’exécution

Depuis le plan d'exécution

Il est possible de consulter une exécution et ses rapports depuis le plan d'exécution.

La page de consultation de l'exécution s'affiche en cliquant sur le sous-menu Historique des exécutions, puis sur le numéro de l'exécution.

Consulter l'historique des exécutions

Depuis la page de consultation de l'exécution, les tags et les variables d'environnement utilisés sont visibles et les rapports d'exécution sont téléchargeables dans le bloc pièce jointe.

Consulter les rapports d'exécution

Depuis une suite automatisée

Il est possible de consulter le détail d'une exécution et ses rapports depuis la suite automatisée.

Consulter les rapports d'exécution

La consultation des rapports d'exécutions se fait en cliquant sur le bouton Détails d'une suite automatisée. Ceux-ci sont organisés par cas de test afin d'en faciliter la lecture.

Consulter les rapports d'exécution / Pop-up

La consultation des logs de l'exécution de la suite automatisée se fait en cliquant sur le bouton Rapports d'une suite automatisée.

Consulter les rapports d'exécution

Consulter les statuts d'exécution des pas de tests BDD

Info

Cette fonctionnalité requiert Squash Orchestrator 4.11.0 (livraison 2024-05) ou supérieur pour fonctionner.

Il est possible de consulter les statuts d'exécution des pas de tests d'une exécution de test BDD Robot Framework ou Cucumber directement depuis l'ancre Scénario d'exécution d'une exécution.

Consulter les statuts d'exécution des pas de tests BDD

Attention

Les statuts d'exécution des pas de tests ne seront pas mis à jour et resteront "À exécuter" si le nombre de pas de tests dans Squash diffère de celui du rapport XML de l'exécution (par exemple, s'il manque des pas de tests dans le rapport XML).

Les équivalences entre les statuts des pas de tests et les statuts Squash sont les suivantes :

Statut Squash Cucumber Robot Framework
Succès passed PASS
Échec failed FAIL
Ignoré skipped SKIP
Non exécuté - NOT RUN

Comparer les statuts d'exécution

Attention

La comparaison des statuts d'exécution est une fonctionnalité disponible avec la licence Premium de Squash et le plugin Squash TM Premium.

Il est possible de comparer le détail des statuts d'exécution des ITPIs de plusieurs suites automatisées.

La comparaison s'effectue en sélectionnant au moins deux suites automatisées, puis en cliquant sur l'icône Comparaison des suites automatisées.

Sélectionner au moins deux suites automatisées

La pop-up de comparaison des suites automatisées contient un tableau avec une ligne par ITPI et une colonne par suite automatisée. Les suites sont triées par ordre de sélection et les colonnes peuvent être filtrées et triées par statut d'exécution.

Pop-up de comparaison des suites automatisées