Analyser les résultats
Observation des logs d'exécution en temps réel
Attention
La visualisation des logs d'exécution en temps réel depuis l'interface de SquashTM est une fonctionnalité disponible uniquement avec une licence Premium ou Ultimate de SquashTM, ainsi que le plugin SquashTM Premium.
Prérequis
Pour que la visualisation des logs en temps réel fonctionne, SquashTM doit pouvoir appeler l'endpoint /workflows/{workflow_id}/logs (GET) du service Observer de SquashTM Orchestrator.
Il est possible de visualiser les logs des workflows en temps réel pour les tests automatisés exécutés depuis l'interface de SquashTM, en cliquant sur l'icône 
associée à une suite automatisée.
Pour une suite automatisée comportant un seul workflow, la fenêtre de visualisation des logs s'ouvre automatiquement :
Pour une suite automatisée contenant plusieurs workflows, un menu s'affiche avec la liste des workflows disponibles, vous offrant la possibilité de sélectionner celui dont vous voulez visualiser les logs :
Configuration du format des logs
Il est possible de paramétrer le format des logs d'exécution via la configuration additionnelle du workflow.
Pour plus d'informations sur les différents formats disponibles et leur configuration, consultez la documentation sur le format des logs d'exécution de l'OpenTestFactory.
Remontée des résultats d'un plan d'exécution
Durant l'exécution d'un plan de test (depuis SquashTM ou depuis un pipeline CI/CD) :
-
Une nouvelle exécution est créée pour chaque item de plan d'exécution (voir le glossaire SquashTM) au fur et à mesure de l'exécution de chaque test. Elle a un statut correspondant au résultat du test automatisé.
Les rapports d'exécution et les attachements du test automatisé sont disponibles depuis l'onglet Suites automatisées. -
Pour les licences SquashTM Premium 👑 et SquashTM Ultimate 💎, les assertions en erreur sont également disponibles.
- Quand tous les tests de la suite automatisée ont été exécutés, le statut de celle-ci est mis à jour.
Un rapport HTML (executionreport.html) et les logs de SquashTM Orchestrator (executionlog.txt) correspondant à l'ensemble des tests exécutés sont disponibles depuis l'onglet Suites automatisées.
Obsolescence des rapports Allure
Depuis la livraison 2024-03, SquashTM Orchestrator peut générer un rapport HTML offrant un aperçu complet des tests d'un workflow. Il s'agit d'une fonctionnalité redondante avec les rapports Allure, mais ceux de l'orchestrateur sont plus polyvalents et pourront être encore étendus à l'avenir. En conséquence, avec la livraison 2025-10, la génération de rapports Allure n'est plus prise en charge.
Les rapports et attachements des différentes exécutions sont également accessibles depuis l'écran Exécution (ils sont présents dans les pièces jointes).
Statut d'exécution des exécutions et suites automatisées
| Statut SquashTM | Couleur | Exécution | Suite automatisée |
|---|---|---|---|
| À exécuter |  |
L'item de plan d'exécution fait partie d'une suite automatisée qui a été lancée, mais le script automatisé correspondant n'a pas encore été démarré. | - |
| En cours |  |
L'item est en cours d'exécution. | La suite automatisée a été lancée. |
| Succès |  |
L'item a été exécuté et son résultat (tel que rapporté par le framework de test) est "succès". | Tous les items de la suite automatisée ont été exécutés et ont un statut "succès" ou "ignoré". |
| Échec |  |
L'item a été exécuté et son résultat (tel que rapporté par le framework de test) est "échec". | Tous les items de la suite automatisée ont été exécutés, aucun item n'a un statut "bloqué", au moins un item a un statut "échec". |
| Bloqué |  |
L'item n'a pas pu être exécuté ou ses résultats n'ont pas pu être analysés : le test n'existe pas, une bibliothèque/dépendance/… est manquante, le rapport Surefire n'a pas été généré… | Tous les items de la suite automatisée ont été exécutés, au moins un item a un statut "bloqué". |
| Ignoré (skipped)* |  |
L'item n'a pas été exécuté ou a un statut "ignoré" (par exemple, il a été marqué dans le code du test automatisée comme ne devant pas être exécuté). | Tous les items de la suite automatisée ont été exécutés et ont un statut "ignoré". |
| Annulé |  |
L'item ne sera jamais lancé car le workflow de l'orchestrateur a été volontairement interrompu par un utilisateur entre-temps. | La suite automatisée a été annulée avant que tous les items de la suite automatisée n'aient été exécutées. |
* Le statut "Ignoré" n'existe que pour Cucumber et Robot Framework pour l'instant.
Les suites automatisées SquashTM Orchestrator
Depuis l'ancre Suites automatisées d'une itération ou d'une suite de tests, il est possible de consulter la liste des suites automatisées.
Pour chaque suite automatisée, les informations suivantes sont disponibles :
- date de création ;
- statut de la suite automatisée ("Succès", "Échec", "Annulé", "Bloqué", "En cours", "Ignoré") ;
- détails contenant la liste des exécutions de la suite, ainsi que les rapports d'exécutions ;
- rapport global et log d'exécution ;
- utilisateur ayant lancé les tests automatisés ;
- nature de l'entité depuis laquelle a été lancée la suite (Itération ou Suite) ;
- date de modification ;
- nombre total d'exécutions ;
- nombre d'exécutions ayant un statut "Succès" ;
- nombre d'exécutions ayant un statut "Échec" ;
- nombre d'exécutions ayant un autre statut ("Bloqué", "Annulé", "À exécuter" ou "Ignoré") ;
- tags d'environnements d'exécution utilisés lors du lancement des tests ;
- variables d'environnements utilisées lors du lancement des tests.
Consulter une exécution automatisée et ses rapports d'exécution
Depuis le plan d'exécution
Il est possible de consulter une exécution et ses rapports depuis le plan d'exécution.
La page de consultation de l'exécution s'affiche en cliquant sur le sous-menu Historique des exécutions, puis sur le numéro de l'exécution.
Depuis la page de consultation de l'exécution, les tags, les variables d'environnement utilisées, ainsi que les temps d'exécution sont visibles, et les rapports d'exécution sont téléchargeables dans le bloc des pièces jointes.
Depuis une suite automatisée
Il est possible de consulter le détail d'une exécution et ses rapports depuis la suite automatisée.
La consultation des rapports d'exécutions se fait en cliquant sur le bouton 
. Ceux-ci sont organisés par cas de test afin d'en faciliter la lecture.
La consultation des logs de l'exécution de la suite automatisée se fait en cliquant sur le bouton 
.
Assertions en erreurs
Info
Cette fonctionnalité est disponible pour les licences SquashTM Premium 👑 et SquashTM Ultimate 💎, avec le plugin SquashTM Premium.
UFT
La remontée des assertions en erreur n'est actuellement pas supportée dans les tests exécutés avec UFT.
Pour les tests automatisés exécutés avec SquashTM Orchestrator ayant un statut "Échec", les assertions en erreur sont disponibles dans SquashTM. Ces assertions, extraites des rapports de test, sont transmises par l'orchestrateur et sont paramétrables pour les rapports au format Surefire. Pour une exécution, si une même assertion en erreur apparaît plusieurs fois dans le rapport de test, seule une occurrence de l'assertion en erreur sera prise en compte et rapportée.
Une assertion en erreur est liée à une ITPI, et lorsqu'une nouvelle exécution automatisée est créée, si le statut est "Échec" pour la même assertion en erreur (même texte), l'assertion est automatiquement rattachée à cette exécution.
Les assertions en erreur sont visibles :
- sur la page d'une exécution automatisée ;
- depuis la pop-up de détail des suites automatisées.
Lorsqu'une ITPI est supprimée, toutes les assertions en erreur liées à cette ITPI sont également supprimées.
Déclarer ou lier une anomalie à une assertion en erreur
Si un bugtracker est rattaché au projet, il est possible de :
- Déclarer une nouvelle anomalie liée à l'assertion en erreur ;
- Rattacher une anomalie existante dans le bugtracker à une assertion en erreur ;
- Visualiser la liste des anomalies associées à une assertion en échec ;
Lorsqu'une anomalie est rattachée à une assertion en erreur, elle est également liée à l'exécution où l'action a été réalisée, ainsi qu'à toutes les exécutions ultérieures ayant la même assertion en erreur.
Lorsqu'une anomalie est détachée d'une assertion en erreur :
- Les exécutions porteuses de l'assertion en erreur sont toujours rattachées à l'anomalie.
- Les futures exécutions porteuses de l'assertion ne seront pas attachées à l'anomalie.
Indicateurs d'exécution
Info
Cette fonctionnalité est disponible pour les licences SquashTM Premium 👑 et SquashTM Ultimate 💎, avec le plugin SquashTM Premium.
UFT
Le calcul automatique d'indicateur pour UFT n'est pas pris en charge. L'indicateur peut être utilisé en mode manuel.
Trois types d'indicateurs ont été ajoutés afin d'accélérer la phase d'analyse :
| Indicateur | Icon | Description |
|---|---|---|
| À analyser |  |
Un test en échec dont la cause d'échec est inconnue sera indiqué comme 'à analyser' contrairement à un test ayant déjà une anomalie liée. |
| Instable |  |
Un test oscillant régulièrement entre succès et échec sans anomalie liée sera indiqué comme 'instable'. |
| Corrigé |  |
Un test en succès dont l'exécution précédente était en échec mais avec au moins une anomalie liée, sera indiqué comme 'corrigé'. |
Ces indicateurs permettent de mettre rapidement en évidence qu'une action est nécessaire, que ce soit une création d'anomalie, une maintenance de script, une clôture d'anomalie, etc.
Il ne peut y avoir qu'un seul indicateur actif au maximum à chaque exécution. Les indicateurs peuvent être activés ou désactivés par un clic manuel.
Indicateur 'À analyser'
L'indicateur 'À analyser' est activé automatiquement si un test a un statut 'échec' et qu'aucune anomalie n'est liée à l'assertion en erreur. Dans le cas de plusieurs assertions en erreur dans un test, si au moins une assertion est sans anomalie liée, l'indicateur sera activé. Si toutes les assertions en erreur sont liées à des anomalies, l'indicateur est désactivé. Si une anomalie liée est supprimée ou si une action marque l'analyse comme incomplète, l'indicateur sera réactivé.
Indicateur 'Instable'
L'indicateur 'Instable' est activé automatiquement si un test échoue ou réussit au moins deux fois de manière alternée sur les dix dernières exécutions, et qu'aucune anomalie n'est liée aux assertions en erreur concernées.
Indicateur 'Corrigé'
L'indicateur 'Corrigé' est activé automatiquement si un test a un statut 'succès' lors de sa dernière exécution, mais était en 'échec' à l'exécution précédente avec une anomalie liée à au moins une des assertions en erreur.
Filtres d'indicateurs
Les filtres permettent d'afficher les exécutions avec les indicateurs sélectionnés.
Consulter les statuts d'exécution des pas de tests BDD
Info
Cette fonctionnalité requiert SquashTM Orchestrator 4.11.0 (livraison 2024-05) ou supérieur pour fonctionner.
Il est possible de consulter les statuts d'exécution des pas de tests d'une exécution de test BDD Robot Framework ou Cucumber directement depuis l'ancre Scénario d'exécution d'une exécution.
Attention
Les statuts d'exécution des pas de tests ne seront pas mis à jour et resteront "À exécuter" si le nombre de pas de tests dans SquashTM diffère de celui du rapport XML de l'exécution (par exemple, s'il manque des pas de tests dans le rapport XML).
Les équivalences entre les statuts des pas de tests et les statuts SquashTM sont les suivantes :
| Statut SquashTM | Cucumber | Robot Framework |
|---|---|---|
| Succès | passed | PASS |
| Échec | failed | FAIL |
| Ignoré | skipped | SKIP |
| Non exécuté | - | NOT RUN |
Comparer les statuts d'exécution
Attention
La comparaison des statuts d'exécution est une fonctionnalité disponible avec la licence Premium de SquashTM et le plugin SquashTM Premium.
Il est possible de comparer le détail des statuts d'exécution des items de plan d'exécution de plusieurs suites automatisées.
La comparaison s'effectue en sélectionnant au moins deux suites automatisées, puis en cliquant sur l'icône 
.
La pop-up de comparaison des suites automatisées contient un tableau avec une ligne par item et une colonne par suite automatisée. Les suites sont triées par ordre de sélection et les colonnes peuvent être filtrées et triées par statut d'exécution.
