Twitter se rappelle ce que vous avez fait depuis votre inscription

Twitter indexe désormais l'ensemble des tweets publiés depuis le début du service en 2006. Grâce à son moteur de recherche, il est possible de retrouver n'importe quelle publication.

Le site de micro-blogging parachève une entreprise qui lui tenait à cœur depuis 2012. Twitter annonce être parvenu à indexer l'ensemble des tweets publiés depuis ses débuts en 2006. En plus du tri par mot clé, hashtag, comptes utilisateur, ou lieu, le moteur de recherche avancé du site propose désormais de filtrer les résultats par date. Il est donc possible de retrouver n'importe quel tweet, du premier au dernier, et en temps réel.

Twitter a annoncé la nouvelle sur son blog, en détaillant avec une relative précision les procédés employés. Et la tâche était rude. L'entreprise a du repenser son outil de recherche et sa méthode d'indexation afin de parvenir à répertorier environ 500 milliards de tweets, auxquels s'ajoutent 500 millions de nouvelles publications chaque jour.

« L'ambition d'indexer tous les tweets ne s'est pas concrétisée en un trimestre », écrit Twitter. L'entreprise avait répertorié quelques 2 milliards de messages en 2012. Elle avait également développé un index en temps réel, contenant environ une semaine de publications. Le site a repris une partie du code de ce dernier, mais le répertoire complet allait être 100 fois plus volumineux.

Ainsi, il a fallu changer la manière dont le système fonctionnait. L'ancienne version ne s'occupait que d'un tweet à la fois, or la nouvelle traite des grappes d'une journée de publications. Ces segments de données sont ensuite réunis en paquets grâce à un constructeur d'index, avant d'être découpés et répertoriés dans un tableur en 2d par Earlybird, la technologie qui permet la recherche de tweets en temps réel. Enfin, une interface a été conçue pour masquer les partitions et rendre une réponse simple à l'utilisateur final.



Google, Apple, ainsi que le congrès américain s'intéressent également à l'indexation des tweets. En 2010, le moteur de recherche avait réalisé une chronologie permettant de revoir ce que les utilisateurs disaient publiquement d'un événement. De son côté, le congrès cherchait simplement à conserver les publications ayant une valeur historique. Quant à Apple, ses intentions ne sont pas encore claires, mais la rumeur pointe plutôt vers l'ajout de nouvelles fonctionnalités basées sur l'analyse de tweets.

En fournissant un tel outil de recherche avancée, Twitter va beaucoup plus loin. N'importe quel utilisateur pourra connaître l'historique complet des publications relatives à un thème, une personne, un événement ou même un lieu.