Twitter a annoncé la nouvelle sur son blog, en détaillant avec une relative précision les procédés employés. Et la tâche était rude. L'entreprise a du repenser son outil de recherche et sa méthode d'indexation afin de parvenir à répertorier environ 500 milliards de tweets, auxquels s'ajoutent 500 millions de nouvelles publications chaque jour.
« L'ambition d'indexer tous les tweets ne s'est pas concrétisée en un trimestre », écrit Twitter. L'entreprise avait répertorié quelques 2 milliards de messages en 2012. Elle avait également développé un index en temps réel, contenant environ une semaine de publications. Le site a repris une partie du code de ce dernier, mais le répertoire complet allait être 100 fois plus volumineux.
Ainsi, il a fallu changer la manière dont le système fonctionnait. L'ancienne version ne s'occupait que d'un tweet à la fois, or la nouvelle traite des grappes d'une journée de publications. Ces segments de données sont ensuite réunis en paquets grâce à un constructeur d'index, avant d'être découpés et répertoriés dans un tableur en 2d par Earlybird, la technologie qui permet la recherche de tweets en temps réel. Enfin, une interface a été conçue pour masquer les partitions et rendre une réponse simple à l'utilisateur final.
Google, Apple, ainsi que le congrès américain s'intéressent également à l'indexation des tweets. En 2010, le moteur de recherche avait réalisé une chronologie permettant de revoir ce que les utilisateurs disaient publiquement d'un événement. De son côté, le congrès cherchait simplement à conserver les publications ayant une valeur historique. Quant à Apple, ses intentions ne sont pas encore claires, mais la rumeur pointe plutôt vers l'ajout de nouvelles fonctionnalités basées sur l'analyse de tweets.
En fournissant un tel outil de recherche avancée, Twitter va beaucoup plus loin. N'importe quel utilisateur pourra connaître l'historique complet des publications relatives à un thème, une personne, un événement ou même un lieu.
