Bing vs Google : un professeur de Yale met en doute les études de Microsoft

Microsoft entend défendre les résultats de son étude « Bing It On » mettant en évidence les résultats de de son moteur de recherche face à ceux de Google.

En septembre 2012, Microsoft lançait un défi aux internautes afin qu'ils mesurent véritablement les performances de son moteur de recherche face à celui de Google pour une requête donnée. La firme de Redmond avait conçu une application Web dotée d'un écran scindé en deux et présentant côte à côte les résultats des deux moteurs de recherche. Pour une personne non technophile, il était alors relativement difficile de dissocier la page de Google de celle de Bing, d'autant que le dispositif plaçait au hasard à gauche ou droite les réponses formulées par Google et Microsoft.

Après avoir testé ce mécanisme pendant un mois, Microsoft expliquait qu'au travers des résultats basés sur 1000 participants, Bing s'était avéré deux fois plus pertinent que Google. Pour Microsoft, l'objectif était de casser les habitudes des gens se rendant systématiquement sur Google.com pour effectuer une requête. Cependant, Ian Ayres, un professeur de droit de l'université de Yale, lève plusieurs doute sur la véracité de cette étude utilisée depuis comme outil publicitaire.

L'homme explique tout d'abord que l'échantillon de 1000 participants ne peut être représentatif de l'ensemble des internautes et souligne que la presse ayant rapporté cette étude mettait en doute les résultats et les affirmations de l'équipe de Bing. En outre Microsoft n'a pas publié les détails du rapport. Enfin, il estime que Microsoft a soufflé aux participants certains termes spécifiquement indexés sur Bing.



M. Ayres explique avoir ouvert un nouveau projet sur Amazon Mechanical Turk, une plateforme permettant à une société de reverser une compensation financière aux internautes acceptant de se prêter à des études en ligne. Entre le 23 janvier et le 1er mars, l'étude (PDF) du professeur avait rassemblé 1000 participants. Après avoir collecté les résultats des internautes sur différents types de termes, il estime que Google obtient une majorité de votes entre 55-57% contre 35-39% pour Bing.

Sur son blog officiel, l'équipe de Bing Microsoft affirme qu'un échantillon de 1000 personnes est suffisant pour ce type d'étude et souligne que les tests du professeur articulés sur un nombre similaire de participants serait donc tout autant réfutables. Microsoft ajoute que les résultats de "Bing It On" n'ont pas été enregistrés dans leur globalité et ne sont pas les fruits d'un test conduit dans un environnement contrôlé. Microsoft ajoute que les participants n'ont pas donné leur consentement sur la publication de chacune de leurs requêtes. Enfin, concernant d'éventuels termes spécifiquement mieux référencés dans Bing pour la mise en œuvre des tests, Matt Wallaert, spécialiste de la psychologie du comportement au sein de Bing, affirme que des termes relatifs à l'actualité récente seraient alors peut-être tout simplement mieux référencés que sur Google.