fbpx

【和訳】Hadoopは失敗した、という分析 #BigData

この記事は1年以上前に投稿されました。情報が古い可能性がありますので、ご注意ください。

本稿は、2017年3月17日「Hadoop Has Failed Us, Tech Experts Say」の和訳し、要約したものです。

  • Datanami社によるデータベース専門家とのインタビューの結果によると、Hadoopを採用したい企業の多くは、失敗プロジェクトに終わっている、と指摘している。
  • Snowflake Computing社CEO, Bob Muglia氏によると、今までHadoopを採用してい幸せになった企業は見た事が無いし、
    今後も出てくるような気配が無い、と言い切っている。

    • すでに、Hadoopは多くの企業で使われ、大量のデータがストアされている、とされながらも、AWS S3やSparkのようなサービスや技術の普及により、Hadoopの利用形態が限定された方向に向かっているとのこと。
    • Muglia氏によると、Hadoopを本当に使いこなしているユーザはおそらく10〜20社程度しかいないだろう、と語っている。
    • パブリッククラウドの登場で、多くのオンプレミスで構築されたHadoopプロジェクトはS3のようなデータストア技術に置き換えられる運命になる。
    • Hadoopがメインストリームになっていない理由は、リアルタイムでユーザがインタラクティブに利用できるアプリには全然向かない。
  • 元Facebookで現在、Interana社を創業したBobby Johnson氏によると、FacebookでのHadoopは苦労の連続だった、と語っている。

    • 開発者のこだわりから生まれて、そこから脱却する事ができなかった技術の代表
    • データウェアハウスの生まれ変わり、と思いきや、余計ひどい結果を生んだプロジェクトが多い(特に性能面で)。
    • MapReduce, Pigの世界はOK、その上のHiveレイヤーもまだなんとかなる。さらに上の層に行くと、かなり専門的な知識とノウハウが要求される。そういうノウハウを持っている人はFacebookでも少ない。
    • Apache Kafkaに流れていったデータサイエンティストは多い。
  • Kafkaの開発者、Jay Kreps氏はKafkaについて次のように語っている。

    • KafkaはHadoopの上に作られていて、Hadoopと一緒に使うもの、と思われているがそれは全くの間違いで、スタンドアローンでちゃんと動く。
    • Kafkaを導入する際にも、Hadoopがらみのプロジェクトも一緒に引き込むべきではない。
  • DataTorrent社のように、Hadoopのベンダーであるが、使いやすさ(UX)を大きく改善しているベンダーもある。DataTorrent社の創業者、Phu Hoang氏は次のように語る。

    • 大量のデータを分散処理プラットホームで処理運用したい、というニーズを考えた時に、Hadoopが唯一の選択である事が多い。辛いけどそれしかチョイスが無いユーザは多い。
    • DataTorrent社はそういったユーザに対して、使いやすいインターフェースを上のレイヤーに構築、提供する事が仕事。
新規CTA