Hadoop? MapReduce? le CEO de Cloudera r??pond

La vidéo ci-dessous est une interview de Mike Olson le CEO de Cloudera par Robert Scobble. Cette vidéo est l'occasion pour lui de faire une présentation relativement exhaustive de Hadoop, de Map Reduce et de ce que Cloudera fait autour de cette technologie. 

Le design de cette infrastructure est venue du besoin des géants de l'internet d'indexer le web. Face à ce défi les technologies classiques de bases de données ont très vite été dépassées. Hadoop se démarque facilement des grands SGDBR, car ceux-ci sont foncièrement inadaptés pour gérer des données non structurées. Les tables sont idéales pour faire des requêtes prévisibles sur des données tabulaires. Pour des raisons économiques, les données ont été réparties sur de petits serveurs standard disposant de quelques disques locaux, agrégés entre eux par une solution logicielle. Et pour traiter ces données, les algorithmes mis en oeuvre ont tiré parti de la CPU propre à chaque serveur. C'est ainsi que le systeme de fichiers HDFS  (Hadoop Distributed File System) et Map / Reduce sont nés. En 2004 Google a écrit une première publication sur MapReduce qui fixa les grandes lignes de cette nouvelle manière de traiter les grands volumes de données.

Cette approche de traitement des données a aujourd'hui comme effet de remettre les programmeurs et les ingénieurs systèmes ensembles pour réfléchir à la meilleure manière de stocker les données. Cette souplesse permet de créer une technologie adaptée à un problème plutôt que d'adapter le problème à la technologie comme on le faisait avant.

Cloudera a construit son business sur une offre de support et de distribution packagée des outils Hadoop. Pour développer une réelle valeur autour de cet écosystème, ils ont recrutés de nombreux ingénieurs qui étaient aux origines du produit. Si vous voulez tester les outils packagés dans leur distribution, une VM est disponible. Comme le souligne Mike Olson, avec Hadoop le rythme d'innovation s'accélère de nouveau.