AMTSO : vers des standards pour les tests sécurité

...]Réunis au sein de l'Anti-Malware Testing Standards Organization (AMTSO), une quarantaine d'éditeurs spécialisés dans la sécurité informatique annoncent cette semaine la création d'une charte censée régir les conditions dans lesquelles sont testés les logiciels comme les antivirus ou les anti-spywares, de façon à ce que les études comparatives soient basées sur un référentiel et des protocoles standardisés. Les membres de l'AMSTO, au nombre desquels on trouve des éditeurs comme BitDefender, F-Secure, Kaspersky Lab, McAfee, Microsoft, Sophos, Symantec ou Trend Micro, dénoncent donc un certain manque de cohérence dans les différents tests effectués par la presse spécialisée ou les cabinets d'analyse.

' A mesure que les solutions de sécurité deviennent de plus en plus complexes, la plupart des tests actuels ne permettent pas d'évaluer correctement l'efficacité d'un produit, conduisant à des évaluations parfois incomplètes, erronées ou trompeuses ', explique l'AMTSO, qui ' souhaite promulguer des standards universels et des guides de bonne conduite pour les tests de solutions de sécurité '.

' Les tests traditionnels deviennent de moins en moins pertinents dans la mesure où ils ne parviennent pas à prendre en compte les dernières technologies intégrées aux solutions de sécurité ', ajoute Stuart Taylor de Sophos, l'un des éditeurs appartenant à l'AMSTO. L'organisation ambitionne donc de mettre en place des procédures de test standardisées, amenées à évoluer en fonction de l'émergence de nouvelles catégories de menaces informatiques, ainsi que de fournir des outils et des ressources facilitant le test des logiciels de sécurité.

En voilà une nouvelle qu'elle est bonne,,

Outils auquel les éditeurs de logicels auront tout à coeur de s'adapter comme les actuels benchmark.... Éditer quelques recommandations, ok, mais standardiser des tests de sécurité, qui sont, par nature, polymorphes, c'est juste idiot

@+, Mat
Edité le 05/02/2008 à 12:59

Super... Comme ça si ils testent tous leur logiciels de la même manière ce sera encore plus facile de les contourner...

a MAT et coconico :

non : le principe etant d'appliquer les meme tests donc d'en augmenter le nombre la pertinence et l'evolutivite.

ainsi au lieu d'en avoir 1 qui test 3 methode et de dire 100% de reussite et 1 autre qui en test 3 autres et qui dit 100 % de reussite aussi, ils en testeront 6 (ce sont des chiffres arbitraire pour l'exemple) et verront si ils passent les tests des autres.

de plus si l'un des editeurs trouve une nouvelle menace, il rajoutera un test a la methode et donc tous seront en mesure de savoir si ils sont operationnels ou non.

donc BRAVO!!!

en esperant qu'ils ne s'entendent pas sur les resultats. mais l'initiative est louable.
Edité le 05/02/2008 à 13:13

Comme pour les carte graphique cela signifie que ces " bench " auront autant de valeur que ceux de 3d mark pour departagé ATI et nvidia , on se souviendra des geforce FX qui donné des score honorable sur 3Dmark mais dans les jeux des catastrophes ...

Meme si il est evident que un encadrement donnerai plus de valeur aux resultats actuelles

Avoir un stndart de test de sécurité, n'est-ce pas s'exposer davantage? les personnes malintentionnées n'ayant plus qu'à tester si leur "malwares" passe ou non le test avant de le lacher dans la nature, ou de le modifier jusqu'à ce qu'il passe le test ?

Rien n'obligera les médias de suivre leurs tests sans aller au dela. La presse aura toujours un esprit critique, et heureusement. Maintenant, si ils peuvent donner des "trucs" pour mieux tester, ça ne peut qu'être bon.

si l'homogénéisation des tests (et leur adaptations aux évolutions) permet d'améliorer l'efficacité des moteurs de scan, il y a tout à gagner.

pour moi aussi, une standardisation, c'est aller vers des comparatifs pipés et pas du tout vers une réelle efficacité.

surtout qu'un antivirus doit etre bon contre les futurs virus et comme personne ne les connait, le vrai combat est contre quelque chose de pas standard.

Comme d'autres je pense que c'est une idée stupide :
Si tout le monde se conforme a une procédure de test standardisé ça va finir en concours de qui à la plus grosse au "sécu mark" et le jour (toujours rapidement atteint) où un petit malin utilisera une technique de fonctionnement différente pour sa saleté il fera mouche et on aura droit à un carnage en règle.

Se palucher devant les jolis graphismes de sa CG c'est une chose mais là on parle de sécurité de ses données et dans ce cas là c'est justement dans la diversité des moyens de contrôle qu'est la vraie sécurité (c'est toujours plus difficile de prendre en défaut plusieurs softs très différents qu'un seul ou que plusieurs quasi identiques)

En fait, ce que je crois, c'est que les éditeurs de logiciels de sécurité vont tout simplement demander aux organismes tels que ICSA Labs ou av-comparatives (et tous les autres), ainsi qu'à la presse informatique, de faire des tests "intelligents".

Je m'explique : depuis l'apparition de menaces dites "polymorphes" et qui sont classées selon les éditeurs soit dans la catégorie "virus", soit dans la catégorie "spyware", alors que d'autres encore considèrent que c'est au pare-feu à contrer ces attaques, les tests d'anti-virus sans le pare-feu du même éditeur ne veulent plus dire grand chose. Par exemple, il y a deux ans, un internaute avait annoncé sur internet qu'un virus dont j'ai oublié le nom n'était pas détecté par l'anti-virus de Kaspersky. La réponse de cet éditeur a été : "c'est vrai que notre anti-virus ne détecte pas cette attaque, mais notre pare-feu oui, et sans mise à jour, car pour nous cette menace n'est pas un virus mais une attaque de pirate" ; et cette anécdote n'est qu'un exemple parmi d'autres qui prouve qu'il est plus pertinant de tester des suites de sécurité que des anti-virus seuls (c'est probablement la raison pour laquelle tous les éditeurs de logiciels de sécurité payants tel qu'ESET, ou gratuits tel que Comodo, se sont lancés dans le développement de suites de sécurité au lieu de proposer soit un anti-virus, soit un pare-feu tout seul).

Bref, pour moi, le mieux c'est d'avoir une suite pour la protection en temps réel, et un ou deux anti-virus/logiciels espions (sans protection en temps réel) pour compléter l'analyse à la demande ; et l'avantage de ces tests, s'ils sont bien ce que je crois, c'est que l'on pourra savoir avec préçision quelle suite offre la meilleure protection globale.

Enfin un comparatif de sécurité vraiment fiable.

Mat a écrit:
Outils auquel les éditeurs de logicels auront tout à coeur de s'adapter comme les actuels benchmark.... Éditer quelques recommandations, ok, mais standardiser des tests de sécurité, qui sont, par nature, polymorphes, c'est juste idiot

@+, Mat

En même temps c'est pas forcément plus idiot qu'utiliser une base virale d'un logiciel anti-virus pour tester différents antivirus et décréter que le meilleur est celui qui s'appuie sur la base de test...

Au delà de ce fait, la technique classique d'utiliser une base virale de plus de 10000 virus est clairement limitée. On va ensuite comparer les logiciels en annonçant qu'un premier en bloque 8000 qu'un deuxième en bloque 9000. Mais si le premier logiciel ne tourne que sous xp ou vista, la détection de virus exploitant des failles de 3.x ou 95 ou 98 peut avoir été jugée par l'éditeur comme inutile. Résultat le premier bloque peut-être 8000 virus qui peuvent toucher xp ou vista, le deuxième bloque peut-être seulement 7500 virus qui peuvent affecter xp et 1500 "inutiles". Pourtant, on annoncera que la détection du second est supérieure à celle du premier...
:neutre: Comme quoi, il y a bien des choses à standardiser dans les critères de comparaison...

---

pascal16 a écrit:
pour moi aussi, une standardisation, c'est aller vers des comparatifs pipés et pas du tout vers une réelle efficacité.
.

C'est le cas aujourd'hui...
Edité le 06/02/2008 à 00:25

"Si mon logciel est nul, c'est parce qu'il n'est pas testé comme il faut"