fbpx

SoftLayerでCloudera Solutionの構築を検証する(1/2):オーダ編 #softlayer

この記事は1年以上前に投稿されました。情報が古い可能性がありますので、ご注意ください。

今回は SoftLayer のビッグデータソリューションの1つである Cloudera Solution の構築を検証し、2回に分けて記事にしています。

  • 第1回:オーダ編

SoftLayer の ソリューションデザイナーで、Hadoop クラスタを構築するためのサーバのオーダ、プロビジョニング(サーバおよびネットワーク構成、Cloudera Manager のインストール、Cloudera デストリビューションのダウンロード)の過程を解説します。

  • 第2回:Cloudera Manager 編

SSL-VPN 経由で Cloudera Manager にログインし、Cloudera ディストリビューションの構成およびインストール、環境設定に至るまでの過程を解説します。

Cloudera Solution on SoftLayerの概要

Cloudera Solution on SoftLayerの特長

SoftLayer のビッグデータソリューションの1つである Cloudera Solution は、次のような特長があります。

  • ソリューションデザイナー

サーバ構成および Cloudera のラインセンス構成を GUI でサポートします。

  • ベアメタルサーバ

ベアメタルサーバ上に Hadoop クラスタを構築するので、仮想サーバでよく見られるパフォーマンス問題を懸念する必要がありません。

  • プロビジョニング

ソリューションデザイナーでオーダを行うと、サーバおよびネットワークの構成、Cloudera Manager のインストール、Cloudera ディストリビューションのダウンロードが行われます。
最終的にユーザは Cloudera Manager にログインできます。

  • VPN 接続

Cloudera Manager および Cloudera Agent への接続は、SSH 経由でプライベート IP アドレスに対して行います。

※Cloudera Agent(Name Node+Data Node)

  • Cloudera Manager

Cloudera manager(Standard/60days Enterprise/Enterprise)から選ぶことができます。

  • ワンストップ

サーバおよびネットワーク構成、Hadoop クラスタの構成、Cloudera Enterprise ライセンス購入、サポート(サーバ&Hadoop イシュー)などを一括で SoftLayer のマネジメントコンソール上で完結できます。

サーバおよび Cloudera の料金について

月間料金と年間料金から選ぶことができます。サーバ料金と Cloudera のライセンス料金(Enterprise Edition の場合)は別々ですが、SoftLayer の料金として一括で課金されます。

  • サーバ料金(月/年)

料金の詳細は事項のソリューションデザイナーを参照してください。

Cloudera のラインセンスについて

Cloudera は次のような料金体系になっています。

  • Cloudera Manager Standard Edition

一部の機能制限あり、サポートなし、無料

  • Cloudera Manager 60days Trial Edition

機能制限なし、サポートなし

  • Cloudera Manager Enterprise Edition

機能制限なし、サポート付き、月/年、有料
※サポート
8/5 Monthly
8/5 Annual
24/7 Monthly
24/7 Annual

Cloudera の料金体系の詳細は、www.softlayer.com/cloudera-hosting を参照してください。

Cloudera のライセンス別の機能概要

Cloudera のライセンス別の機能概要は次の通りです。

Cloudera-function

2013年9月から Standard 版もノード数の制約が解除されました。さらに監視機能が追加され、クラスタ構築や環境設定、運用に至るまで Cloudera Manager Standard 版でまかなうことができるようになりました。

Cloudera Manager の Standard 版と Enterprise 版のすべての機能比較は www.cloudera.com/content/cloudera/en/products-and-services/product-comparison.html を参照してください。

事前準備

検証シナリオ

初めに1台の Cloudera Manager Server と2台の Cloudera Agent Server の Hadoop クラスタを構築した後、もう1台の Agent Server を追加してみる、というシナリオです。

Installation-scenario

Cloudera Manager Server

Cloudera Manager は、Hadoop クラスタの構成管理および運用管理を行うことができるウェブポータルです。SoftLayer のソリューションデザイナーでは、Cloudera Manager を個別 Server にする仕様になっています。

Cloudera Agent1

今回の検証では、このサーバがネームノードおよびデータノードを兼ねている構成にしています。さらに、検証の目的で Hbase、Hive、Impala、Hue、Oozie、Sqoopなどまでインストールしています。実際の構成は Cloudera Manager で行いますので、第2回の記事で解説します。

Cloudera Agent2

HBase の Region Server、Hive の Gateway、Impala デーモンなどをインストールしています。

Cloudera Agent3

このサーバは、Hadoop クラスタの運用中のサーバ拡張を想定しています。Cloudera Manager から、一通り Hadoop クラスタの構築および環境設定を行ってから、サーバの追加オーダを行って、Cloudera Manager で Hadoop クラスタに追加し、必要なロールの指定を行います。

SSH キーペア作成

ソリューションデザイナーからのオーダ中に SSH キーペアが必要になります。PuTTYgen などでキーペアを作ってください。

ここでは PuTTYgen を利用して SSH-2 RSA キーを生成します。
PuTTYgen を起動し、[Generate]をクリックしてから、マウスをランダムに動かしてください。

Ssh-keygen-1

キー生成が終了したら、[Save Private key]をクリックし、キーを保存してください(rsa_cdh.ppk)。

Ssh-keygen-2

そしてパブリックキーをメモ張などにコピーして保存してください(rsa_cdh.pub)。

Cloudera Solution 構築手順の概要

SolftLayer 上で Cloudera Solution の構築手順は、次の3段階で実行されます。

Cloudera-solution-order-flow

Cloudera Solution Order(Solution Designer)

ユーザは、ソリュ―デザイナからドメインや Cloudera Software Edition、Version、Add-no Description、サーバの仕様と台数などを決めてオーダを提出します。

Provisioning

SoftLayerは、ユーザからのオーダを受けてサーバやネットワークを構成し、Cloudera Manager をインストールします。この過程は4時間程度かかります。

Cloudera Configuration

ユーザは、Cloudera Manager を使って Hadoop クラスタ上の各サーバに Hadoop アプリケーションのコンポーネント配置を指定(ロール指定)し、構成を行います。

Cloudera Solution Order

オーダの開始

SoftLayer のマネジメントコンソールから[Devices→Big Data→Cloudera]を選択し、Cloudera Solutions 画面の右上の[Order Cloudera Solution]をクリックしてください。

Cloudera-order-1

Redirect Warning 画面が表示されますが、そのまま[Continue]をクリックしてください。

Cloudera-order-2

ソリューションデザイン

Welcome to Solution Designer 画面が表示されます。[BEGIN]をクリックしてください。

Cloudera-order-3

Solution Designer 画面から、次にように入力してください。

Cloudera-order-4

設定

Domain Name cdh.example.jp 任意のドメイン定義。こちらのドメインは、主にプライベート VLAN 上で Hadoop クラスタのノード間で名前解決のために使われます。こちらの設定は、SoftLayer によってサーバの /etc/hosts の中に反映されます。
Software Edition Cloudera Standard Standard/Enterprise のどちらかを選択できます。
Software Version CDH4.4 with Cloudera Manager4.7 検証時点の Default(1バージョンしかありません)
Add-on Description こちらはEnterprise Edition であることが前提です。

Cloudera SMBD (BDR)

Cloudera SMCN (Navigator)

Cloudera RTD (HBase)

Cloudera RTQ (Impala)

これらはさらに追加料金が掛ります。料金の詳細は www.softlayer.com/cloudera-hosting を参照してください。

Data Center SNG01-Singapore (2014年6月24日現在)

AMS01-Amsterdam

DAL05-Dallas

DAL06-Dallas

HKG02-Hong Kong

SJC01-San Jose

SNG01-Singapore

WDC01-Washington, DC

CDH 4.4 のパッケージ構成のすべては www.cloudera.com/content/cloudera-content/cloudera-docs/CDH4/latest/CDH-Version-and-Packaging-Information/cdhvd_topic_7.html から確認できます。

Cloudera Management Server 構成

次は、[MANANGER→Edit]をクリックして Manager サーバの仕様を決めてください。このサーバに Cloudera Manager がインストールされます。
Edit Server 画面には、デフォルトで基本仕様になっていますが、システムおよびネットワークの構成の変更を行うことができます。

Cloudera-order-5

次のような構成が可能です。

General system

Cloudera-order-51

Cloudera-order-52

Cloudera-order-53

Cloudera-order-54

Networking

Cloudera-order-55

Cloudera-order-56

Cloudera-order-57

今回の検証では、Hardware 仕様は基本構成のままにしています。[OK]をクリックしてCloudera Management Serverの仕様を確定してください。

Cloudera Management Server の仕様が確定されると、SNG01-M のように、ホスト名が決まります。

Cloudera-order-6

Cloudera Agent Server 構成

Cloudera Agent Server の仕様を決めてください。次のようなサーバの追加ボターンをクリックしてください。

Cloudera-order-7

Add Server 画面から、サーバの基本仕様と台数、さらにシステムとネットワークオプションの指定が可能です。

Cloudera-order-8

今回は、デフォルトの仕様で、サーバは2台とします。

設定

Process node default Description
Select number of servers 2 40 台まで。

参考までに紹介しますが、Node パターンによってリソースのベースが変わります。次は Node 2U のベースです。

Cloudera-order-9

次は Node 4U のベースです。

Cloudera-order-10

どの Node タイプを選ぶかによって、拡張構成の RAM のサイズや HDD の数が若干変わります。

Cloudera Agent Server の指定が終わったら、[OK]をクリックして設定を確定してください。

次のようにソリューションデザイナに戻り、ホスト名と数量の表示が確認できるはずです。これで基本的なサーバ仕様と Cloudera の構成は指定できました。
次は、[COUPUTE ORDER]をクリックしてください。

Cloudera-order-11

Software Editionは、次の5種類から選択できます。Cloudera Enterprise の場合は有料です。今回は、Cloudera Standard を選択します。

Cloudera-order-11-1

Cloudera の料金の詳細は www.softlayer.com/cloudera-hosting から確認できます。

SSH キー登録

Configure SSH Access 画面に事前準備で作ったパブリックキーを貼り付けてから、[OK]をクリックしてください。

Cloudera-order-12

設定内容の検証が行われ、設定に問題がなければ、Order Summary and Billing 画面に遷移します。

Cloudera-order-13

オーダサマリと請求金額

Order Summary and Billing 画面では、サーバのオーダ内容および Cloudera の有料サービスの構成内容、そして請求額が確認できます。
次は、Cloudera Agent Server の構成内容です。

Cloudera-order-14

Host and Domain Names では、Cloudera Agent Server のホスト名とドメインを編集できます。今回は、Solution Designer によって付けられたホスト名で進めます。

Cloudera-order-14-2

次は、Cloudera Management Server の構成内容です。今回は、有料オプションを指定していませんが、有料オプションを指定した場合、この画面にサマリと請求金額が表示されます。

Cloudera-order-14-3

Cloudera Manager Server のホスト名とドメインを編集できますが、問題ないのでそのまま進めます。

Cloudera-order-14-4

最後に、I have read…Master Service Agreement と I agree to allow VALN spanning をチェックし、[Finalize Your Order]をクリックしてください。

Cloudera-order-14-5

次のように Your Receipt が表示されたら、オーダは確定され、Cloudera Solution のプロビジョニングは既に始まっています。

オーダ受付

Receipt-1

Receipt-2

さらに、SoftLayer がオーダを受理すると、次のようにオーダを出したユーザ宛に、次のようなメールが届きます。

Cloudera-order-16

なお、マネジメントコンソールの[Devices→Big Data→Cloudera]で、次のように Cloudera Solution のプロビジョニング開始が確認できます。

Cloudera-order-17

Clouddera Solution の情報は、プロビジョニングが終了してからではないと何も表示されません。

Cloudera Solution 名称変更

Cloudera-order-18

Cloudera Solution の名称は適切な名称に変更可能です。[Action→Rename Solution]をクリックしてください。

Cloudera-order-19

Rename Solution のダイヤログボックスに新しい名称を入力し、 [OK]をクリックしてください。

Cloudera-order-19-1

次のように Cloudera Solution の名称が変更されました。

Cloudera-order-20

Cloudder Solution のベアメタルサーバが起動するまでは、おおよそ4時間程度かかります。

Cloudder Solution のサーバ起動が終了すると、次のようにサーバ覧が確認できます。[my-cloudera-cluster]をクリックしてみてください。

Cloudera-order-21

オーダ内容確認

オーダしたサーバが起動すると、オーダを提出してユーザ宛にメールが届くはずです。念のためにサーバ名をクリックし、オーダ内容を確認してください。特に Hard Driveの構成は重要な確認ポイントです。

Cloudera-order-22

まとめ

このように SoftLayer のビッグデータソリューションの1つである Cloudera Solution は、ソリューションデザイナーで Cloudera Solution 構成のためのハードウェアおよびソフトウェア情報、ネットワーク構成を指定し、構成済みのベアメタルサーバを受け取ることができます。さらに次回では、Cloudera Manager に接続し、Clouderaデストリビューションのインストールおよび環境設定などを紹介します。

[関連記事]


SoftLayerでCloudera Solutionの構築を検証してみる (2/2):Cloudera Manager編

Author

モダンアーキテクチャー基盤のソリューションアーキテクトとして活動しています。

[著書]
・Amazon Cloudテクニカルガイド―EC2/S3からVPCまで徹底解析
・Amazon Elastic MapReduceテクニカルガイド ―クラウド型Hadoopで実現する大規模分散処理
・Cypherクエリー言語の事例で学ぶグラフデータベースNeo4j
・Neo4jを使うグラフ型データベース入門(共著)
・RDB技術者のためのNoSQLガイド(共著)

leeの記事一覧

新規CTA