Il existe plusieurs framework de reporting de test pour différents langages de programmation.
Malheureusement, seuls quelques-uns d’entre eux peuvent fournir une bonne représentation des outputs d’exécution des tests.
Allure est un outil de rapport de test open-source et multi-langage léger et flexible qui affiche non seulement une représentation très concise de ce qui a été testé dans un formulaire de rapport Web soigné, mais il permet aussi à tous ceux qui participent au processus de développement (Product owner, Développeur, Testeur), d’extraire le maximum d’informations utiles de l’exécution quotidienne des tests.
Allure, comment ça marche ?
Allure est basé sur les résultats standard de xUnit mais ajoute des données supplémentaires. Tout rapport est généré en deux étapes.
Première étape :
Pendant l’exécution du test, une petite bibliothèque appelée "adapter" attachée au framework de test sauvegarde les informations sur les tests exécutés dans des fichiers XML. Les adaptateurs sont aussi fournis pour les frameworks de tests populaires comme Java, PHP, Ruby, Python, Scala , JavaScript et C#.
Deuxième étape :
Lors de la génération du rapport, les fichiers XML sont transformés en rapport HTML. Cela peut être fait avec un outil en ligne de commande, un plugin pour CI ou encore, un outil de compilation.
Du point de vue dev/qa, les rapports Allure raccourcissent le cycle de vie des bugs courants.
Les tests KO peuvent être classés entre bug et les tests cassés. Aussi, les logs, les steps, les fixtures ainsi que les intégrations avec les systèmes de gestion des tests et systèmes de suivi des bugs peuvent être configurés. Les développeurs et testeurs responsables auront toutes les informations à portée de main.
Du point de vue gestion de projet, Allure fournit une vue d’ensemble claire des caractéristiques couvertes par les tests, des endroits où les défauts sont regroupés et de la façon dont la chronologie
Affichage et présentation
→ La page "Overview" présente les statistiques d’exécution des tests avec une liste de paramètres de test. La section de droite contient les principaux bugs regroupés par message d'erreur.
→ La page "Defects" donne une liste détaillée des anomalies révélées lors de l’exécution du test. Allure nous permet de distinguer les bugs du produit qui correspondent à des tests échoués et les bugs de test qui correspondent à des tests cassés.
→ La page "xUnit" affiche les statistiques en xUnit. Il est possible d'afficher les statistiques de test pour chaque suite de test et des informations détaillées pour chaque cas de test.
→ La page "Behaviors" regroupe les données de test en termes de BDD (Feature, Epic, story). Il est facilement possible de voir quelles fonctionnalités et quelle Stroy ont des problèmes.
→ La page "Graph" aide à estimer visuellement les résultats des tests.
→ La page "Timeline" indique à quel moment chaque cas de test a commencé son exécution, et combien de temps il a duré.
Comment installer Allure ?
Il est possible d'installer Allure de deux façons, par ligne de commande ou manuellement.
Pour une installation en ligne de commande Windows, il faut au préalable télécharger et installer Scoop en lançant la commande PowerShell :
(New-Object System.Net.WebClient).DownloadString('https://get.scoop.sh')
Pour installer Allure, il faut exécuter la commande suivante :
scoop install allure
Comment générer un rapport allure ?
Pour générer un rapport, il faut exécuter la commande :
allure serve /home/path/to/project/target/surefire-reports/
Une fois la commande exécutée, le rapport html est généré.
Il est possible d'accéder au détail du test case à partir de la page overview après avoir sélectionné et cliqué sur les tests individuels. Cette page contient généralement beaucoup de données individuelles liées au cas de test : étapes exécutées pendant le test, temps, pièces jointes, étiquettes de catégorisation de test, descriptions et liens.
Allure et Jenkins
Il est possible de configurer Allure avec Jenkins, pour se faire, il faut :
- Installer le plugin Allure sous Jenkins > Manage Jenkins > Manage Plugin
- Sous Jenkins > Manage Jenkins > Global Tool Configuration il faut installer la ligne de commande Allure
- Dans chaque projet, définissez le chemin vers le répertoire allure-results.
Il ne vous reste plus qu'à lancer un job Jenkins une fois le fichier zip de l'installation téléchargé. Les lignes de commande Allure installées, un lien Allure report apparait sur la page des builds.
