Le framework Java Hadoop, spécialement conçu pour l'usage intensif des données dans une infrastructure de cloud computing, fut largement développé par les ingénieurs de Yahoo. Plusieurs équipes du portail font notamment usage de la technologie, par exemple pour la lutte contre le spam, le choix des actualités sur la page d'accueil en fonction de la navigation passée de l'internaute ou la pertinence des publicités retournées selon les goûts personnels des utilisateurs.
De Facebook à Apple en passant par AOL, HP, Linkedin, eBay, Amazon ou IBM, plusieurs sociétés ont adopté ce dispositif distribué en open source depuis le mois de juin 2009. En toute logique, Yahoo! a donc décidé de former une nouvelle société en partenariat avec Benchmark Capital et baptisée Hortonworks.
Précédemment vice-président de l'ingénierie au sein de l'équipe d'Hadoop chez Yahoo, Eric Baldeschwieler a été nommé à la direction de cette nouvelle entreprise. Dans un communiqué officiel il explique : « nous estimons que d'ici cinq ans la moitié des données à travers le monde seront hébergées sur des serveurs Hadoop ». L'équipe de Hortonworks est constituée des ingénieurs ayant précédemment planché sur Hadoop au sein de Yahoo! ainsi que des meilleurs contributeurs au sein du projet sur Apache.
