Twitter indexe désormais l'ensemble des tweets publiés depuis le début du service en 2006. Grâce à son moteur de recherche, il est possible de retrouver n'importe quelle publication.
Le site de micro-blogging parachève une entreprise qui lui tenait à cœur depuis 2012. Twitter annonce être parvenu à indexer l'ensemble des tweets publiés depuis ses débuts en 2006. En plus du tri par mot clé, hashtag, comptes utilisateur, ou lieu, le moteur de recherche avancé du site propose désormais de filtrer les résultats par date. Il est donc possible de retrouver n'importe quel tweet, du premier au dernier, et en temps réel.
Twitter a annoncé la nouvelle sur son blog, en détaillant avec une relative précision les procédés employés. Et la tâche était rude. L'entreprise a du repenser son outil de recherche et sa méthode d'indexation afin de parvenir à répertorier environ 500 milliards de tweets, auxquels s'ajoutent 500 millions de nouvelles publications chaque jour.
« L'ambition d'indexer tous les tweets ne s'est pas concrétisée en un trimestre », écrit Twitter. L'entreprise avait répertorié quelques 2 milliards de messages en 2012. Elle avait également développé un index en temps réel, contenant environ une semaine de publications. Le site a repris une partie du code de ce dernier, mais le répertoire complet allait être 100 fois plus volumineux.
Ainsi, il a fallu changer la manière dont le système fonctionnait. L'ancienne version ne s'occupait que d'un tweet à la fois, or la nouvelle traite des grappes d'une journée de publications. Ces segments de données sont ensuite réunis en paquets grâce à un constructeur d'index, avant d'être découpés et répertoriés dans un tableur en 2d par Earlybird, la technologie qui permet la recherche de tweets en temps réel. Enfin, une interface a été conçue pour masquer les partitions et rendre une réponse simple à l'utilisateur final.
En fournissant un tel outil de recherche avancée, Twitter va beaucoup plus loin. N'importe quel utilisateur pourra connaître l'historique complet des publications relatives à un thème, une personne, un événement ou même un lieu.
Rejoignez la communauté des passionnés de nouvelles technologies. Venez partager votre passion et débattre de l’actualité avec nos membres qui s’entraident et partagent leur expertise quotidiennement.