Import des résultats de tests issus de pipelines

SquashTM vous donne la possibilité d'importer les résultats des tests automatisés exécutés dans un pipeline CI/CD.

Ceci se fait via un appel API (voir le détail), qui créera une nouvelle suite automatisée liée à l'itération visée.

Prérequis

Afin de pouvoir importer les résultats de tests, il est nécessaire qu'une itération existe dans SquashTM et que son plan d'exécution soit complété avec les tests dont les résultats vont être importés.

Il est également nécessaire que ces tests possèdent une référence de test automatisé unique (parmi celles du plan d'exécution de l'itération).

Toutes ces étapes sont faisables via les API si besoin :

• Création de cas de test : requête sur le POST /test-cases en renseignant le champ automated_test_reference ;
• Création d'une campagne : requête sur le POST /campaigns ;
• Création d'une itération : requête sur le POST /campaigns/{campaign_id}/iterations ;
• Ajout de tests à une itération : requête sur le POST /iterations/{iteration_id}/test-plan.

Pour plus d'informations sur ces requêtes, voir la documentation de l'API, accessible dans SquashTM.

Mapping entre les informations

Les résultats seront réintégrés dans SquashTM en faisant correspondre la référence de test automatisé renseignée dans la requête API avec celle du test présent dans le plan d'exécution de l'itération choisie.
Si certains cas de tests possèdent des jeux de données, le mapping se fera sur la combinaison des champs référence de test automatisé et nom du jeu de données associé à l'ITPI.

Les informations pouvant actuellement être remontées sont :

• le statut du test ;
• la durée d'exécution du test ;
• les messages des assertions en erreur ;
• les pièces jointes des exécutions ;
• les champs personnalisés des exécutions.

Il est également possible de rajouter des pièces jointes au niveau de la suite de tests.
Le statut de la suite de tests sera auto-calculé à partir des résultats des tests, mais il est tout de même possible de surcharger la valeur si besoin.

Documentation du point d'API

POST /import/results/{iteration_id}

🔸 Path parameter

🔸 Request body

Remarque : Il existe deux types de champs obligatoires :
- 🔴 : Champs dont l'absence entraîne le rejet complet de l'import.
- 🟡 : Champs dont l'absence ou une valeur invalide entraîne le rejet de leur objet courant, mais pas de l'import complet.

Content-Type : application/json
Authentication : Bearer token

Exemple :

{
  "automated_test_suite": {
    "attachments": [
      {
        "name": "report.html",
        "content": "Contenu encodé en base64 ici..."
      }
    ]
  },
  "tests": [
    {
      "reference": "testSuite.testClass.testRef1",
      "dataset_name": "admin_dataset",
      "status": "FAILURE",
      "duration": 35000,
      "failure_details": ["1 n'est pas égal à 2"],
      "attachments": [
        {
          "name": "screenshot.png",
          "content": "Contenu encodé en base64 ici..."
        }
      ],
      "test_steps": [
        {
          "status": "SUCCESS"
        },
        {
          "status": "FAILURE",
          "attachments": [
            {
              "name": "step_screenshot.png",
              "content": "Base64-encoded content here..."
            }
          ]
        }
      ],
      "custom_fields" : [ {
        "code" : "NUMERIC",
        "value" : 200
      }, {
        "code" : "TEXT",
        "value" : "description"
      }, {
        "code" : "CHECKBOX",
        "value" : "true"
      }, {
        "code" : "TAGS_RELATED",
        "value" : ["tag1", "tag2"]
      } ]
    }
  ]
}

🔸 Réponses

{
  "iteration_id": 1234,
  "tests": [
    {
      "test_case_id": null,
      "reference": "testSuite.testClass.testRef1",
      "error": "No test found with this reference."
    }
  ]
}

{
  "fieldValidationErrors": [
    {
      "objectName": "post-execution-result-import",
      "fieldName": "tests[0].reference",
      "fieldValue": null,
      "errorMessage": "The reference attribute is required"
    }
  ] 
}