Consulter les statistiques de l'intelligence artificielle

Les statistiques liées à l'intelligence artificielle sont accessibles depuis le sous-menu Statistiques de l'espace Administration, en cliquant sur l'ancre Intelligence artificielle . Cette ancre regroupe les statistiques relatives aux différents usages de l'IA dans SquashTM ; elle ne comporte pour l'instant qu'un seul onglet, dédié à la génération de cas de test, mais d'autres pourront s'y ajouter à l'avenir.

Génération de cas de test

L'onglet Génération de cas de test recense chaque génération réalisée sur l'instance. Une génération correspond à un envoi de requête à l'IA, qu'il aboutisse ou non.

La table est triée par défaut sur la Date dans l'ordre décroissant, la génération la plus récente apparaissant en première ligne. Les colonnes affichées, les options de tri et de filtre sont personnalisables ; les filtres appliqués à la table sont également répercutés sur les cartes de synthèse.

Cartes de synthèse

Les cartes affichées en haut de l'onglet fournissent une vue d'ensemble chiffrée. Leurs valeurs sont recalculées en fonction des filtres appliqués à la table ; en l'absence de filtre, elles portent sur l'ensemble des générations de l'instance.

Elles sont regroupées en deux sections :

• Activité :
  • Générations : nombre total de générations ;
  • Suggérés : nombre de cas de test suggérés par l'IA ;
  • Acceptés : nombre de cas de test effectivement conservés par les testeurs ;
  • Taux d'acceptation : proportion de cas de test acceptés parmi les suggérés ;
  • Échec : nombre de générations en échec ;
• Consommation de tokens :
  • Tokens en entrée : total des tokens transmis au serveur d'IA ;
  • Tokens en sortie : total des tokens produits par le serveur d'IA ;
  • Tokens totaux : somme des tokens en entrée et en sortie.

Colonnes de la table

Colonnes par défaut

Les colonnes affichées par défaut sont les suivantes :

• la Date d'envoi de la demande de génération ;
• le Projet depuis lequel la génération a été lancée : lien cliquable permettant d'accéder à la page de consultation du projet ;
• l'Utilisateur ayant lancé la génération ;
• l'Ensemble de prompts utilisé : lien cliquable permettant d'accéder à la page de consultation de l'ensemble de prompts ;
• le Prompt utilisé pour la génération ;
• le Format des cas de test générés ;
• les Suggérés : nombre de cas de test suggérés par l'IA ;
• les Acceptés : nombre de cas de test effectivement conservés par le testeur, ce champ restant vide tant qu'aucun cas de test n'a été enregistré ;
• les Tokens en entrée : nombre de tokens transmis au serveur d'IA (prompt, exigence source, documents, exigences et cas de test en contexte) ;
• les Tokens en sortie : nombre de tokens produits par le serveur d'IA dans sa réponse ;
• les Tokens totaux : somme des tokens en entrée et en sortie ;
• le Statut de la génération, qui indique "Succès" lorsque l'IA a renvoyé une réponse valide, ou "Échec" en cas de configuration invalide ou d'erreur du serveur d'IA.

Personnaliser les colonnes

Le bouton [Sélectionner les colonnes] , situé au-dessus de la table, permet d'afficher ou de masquer des colonnes. La configuration est enregistrée pour chaque utilisateur.

En plus des colonnes affichées par défaut, les colonnes suivantes peuvent être ajoutées :

• le Modèle d'IA utilisé ;
• le Fournisseur de l'IA ;
• la Date de réponse de l'IA ;
• la Raison de fin renvoyée par l'IA ;
• le Total de pas suggérés sur l'ensemble des cas de test générés ;
• la Longueur du message utilisateur ;
• le Nombre de documents en contexte ;
• le Nombre d'exigences en contexte ;
• le Nombre de cas de test en contexte.

Exporter les statistiques

Le bouton [Exporter les statistiques] , situé au-dessus de la table, permet d'exporter les générations au format Excel (.xlsx). L'export tient compte des filtres et du tri appliqués, et contient les colonnes actuellement affichées dans la table. Pour exporter une donnée supplémentaire (modèle, fournisseur, compteurs de contexte…), il faut d'abord l'afficher via le bouton [Sélectionner les colonnes].

Pour aller plus loin

• Générer des cas de test : le parcours utilisateur qui alimente ce tableau.
• Gérer les ensembles de prompts : les ensembles de prompts et prompts référencés dans les colonnes du tableau.