Comparatif solutions de test

Dans le cadre d'un stage en 2009 j’avais déjà eut l'occasion de faire des recherches sur les différentes solutions de tests pour des applications web.

Le résumé de mes recherches se résumait alors au tableau ci-dessous. Je ne sais pas s'il est toujours d'actualité, mais je pense qu'il donne déjà bien les grandes lignes des fonctionnalités des différents outils.

JMeter de Apache :

• Prise en main  un peu plus longue que la moyenne mais facile d'utilisation.
• puissant
• gratuit
• scripts pouvant être enregistrés et facilement adaptables
• wrapper ANT, permettant d'exécuter des séries de tests et de générer des rapports HTML
• autant d'users que l'on veut en fonction de ce que la machine supporte
• key monitors donne de fausses informations ou ne marche pas.

OpenSTA :

• pas mal de bugs
• pas de module d'analyse des résultats
• langage pas très instructif
• il faut pas mal de macro excel pour s'en sortir.
• pour des tests relativement "simples" il a un très bon rapport qualité/prix
• fonctionne pas sur des applications fonctionnant en https
• tout à fait utilisable pour des tests "classiques" en HTTP

LoaderRunner :

• Très puissant (sans doute le meilleur du marché)
• très bon pour windows, moins pour unix
• prix très puissant également.
• nombre d'utilisateurs limité en fonction du prix qu'on y met.

HTTPUnit :

• Fonctionne bien
• simple mais les tests doivent être écrits par un développeur (comparé a un autre comme JMeter)
• permet d’automatiser le test de votre code au niveau Web pour vérifier le comportement du code JavaScript et du navigateur

Qaload :

• facile d'utilisation
• plus pratique que la moyenne des autres outils dans ce domaine.
• nombre d'utilisateurs possible en fonction de la licence achetée (apparemment, coté prix de licence, le bas de gamme commence avec 5 zéros -> à confirmer)

WebLoad :

• prix modéré
• simplicité de scripting (c'est plus ou moins du javascript avec module de capture)
• richesse de restitution
• open source
• pas beaucoup plus d'informations

Selenium :

• 3 éléments (Core : sur le même serveur que l'appli, IDE : extension firefox, remote Control : serveur)
• enregistrement des simulations
• exécution des simulations automatisée
• n'est pas fait pour tester des applis non-web : client lourd, service web, etc..., et n'est pas fait pour des tests de performance.
• soucis avec AJAX et avec des sites avec beaucoup de javascript
• ne sait pas gérer plusieurs fenêtres d'un navigateur (pop up)

The grinder :

• même caractéristiques que JMeter en gros
• UI qui montre clairement ce qui se passe
• basé sur des scripts Jython