no way to compare when less than two revisions
Différences
Ci-dessous, les différences entre deux révisions de la page.
Prochaine révision | |||
— | informatique:bigdata [2017/10/10 14:16] – modification externe 127.0.0.1 | ||
---|---|---|---|
Ligne 1: | Ligne 1: | ||
+ | ===== Définitions ===== | ||
+ | * [[https:// | ||
+ | |||
+ | * __Hadoop HDFS__ : système de fichiers scalable et distribué ; | ||
+ | |||
+ | * __Hadoop Mapreduce__ : framework logiciel de traitement des données ; | ||
+ | |||
+ | * __YARN__ : permet la gestion de l’état du cluster et des ressources et la gestion de l’exécution des jobs ; | ||
+ | |||
+ | * __HBase__ : base de données d' | ||
+ | |||
+ | * __Hive__ : logiciel d' | ||
+ | |||
+ | * __Flume__ : framework permettant d' | ||
+ | |||
+ | * __Pig__ : logiciel d' | ||
+ | |||
+ | * __Zookeeper__ : logiciel de gestion de configuration pour systèmes distribués, | ||
+ | |||
+ | * __Mahout__ : implémentations d' | ||
+ | |||
+ | * __Sqoop__ : interface permettant de transférer des données entre les bases de données relationnelles et Hadoop ; | ||
+ | |||
+ | * __Oozie__ : utilisée pour gérer et coordonner les tâches de traitement de données à destination de Hadoop ; | ||
+ | |||
+ | * __Ambari__ : supervision et administration de clusters Hadoop | ||
+ | |||
+ | **__Schéma de synthèse__** ((http:// | ||
+ | |||
+ | {{ http:// | ||
+ | ===== Généralités ===== | ||
+ | |||
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | |||
+ | ===== Composants ===== | ||
+ | |||
+ | ==== Hive & HBase ==== | ||
+ | |||
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | ==== Flume ==== | ||
+ | |||
+ | * [[http:// | ||
+ | |||
+ | ==== Hadoop ==== | ||
+ | |||
+ | Quelques remarques : | ||
+ | |||
+ | * Hadoop is not good to process transactions due to its lack random access ; | ||
+ | |||
+ | * It is not good when the work cannot be parallelized or when there are dependencies within the data, that is, record one must be processed before record two ; | ||
+ | |||
+ | * It is not good for low latency data access ; | ||
+ | |||
+ | * Not good for processing lots of small files although there is work being done in this area, for example, IBM’s Adaptive MapReduce ; | ||
+ | |||
+ | * And it is not good for intensive calculations with little data. | ||
+ | |||
+ | * **[[informatique: | ||
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | * [[http:// | ||
+ | |||
+ | ==== Pig ==== | ||
+ | |||
+ | * [[http:// |