日々進化するHadoopの「いま」

　NTTデータ 基盤システム事業部 濱野賢一朗氏。

　NTTデータというところで仕事をしています。NTTデータ自体はもう5年くらいHadoopをやってまして、そこで27～28人くらいHadoopをやっている人がいるのですが、そのとりまとめに近いことをやっています。


　Hadoopって何なのかというと基本的には2つのコンポーネント、分散ファイルシステムの「HDFS」（Hadoop Distributed File System）、大規模分散処理フレームワークの「MapReduce」でできています。

　Hadoopの基本的なアイデアは、ひとつのハードディスクドライブで出せるスループットでは限界があるので、ハードディスクドライブを持った複数のIAサーバを分散配置すれば大規模なデータもどんと読み込めて高速にできるだろうと。

　これを支えているのが分散ファイルシステムのHDFSです。このデータを処理するときもローカリティを活かして、極力そのデータがあるサーバの中で処理するようにしています。


　また分散処理固有の問題、例えばサーバが壊れたり、ネットワークが遅延したり、部分的に処理が失敗したものを検出してリカバリするのはMapReduceフレームワークの方で解決してもらって、プログラマは考えなくていいようにしています。

次ページ >>　　マスターとスレーブに分かれるHDFS