fbpx

CL LAB

HOME > Blog > lee > SoftLayerでCloudera Solutionの構築を検証する(2/2):Cloudera Manager編 #softlayer

(Japanese text only.) SoftLayerでCloudera Solutionの構築を検証する(2/2):Cloudera Manager編 #softlayer

 ★ 11

SoftLayerでCloudera Solutionの構築を検証してみる (2/2):Cloudera Manager編-Cloudera Manager編 #softlayer

今回は、「SoftLayerでCloudera Solutionの構築を検証してみる(1/2): オーダ編」に 続き、「Cloudera Manager編」を解説させて頂きます。前回は、Cloudera Solution構築のためのサーバやClouderaのライセンスなどをSoftLayerのソリューションデザイナーを使って設計し、オーダを出しました。そして最後に、オーダ通りサーバが上がっていることまで確認しています。
今回の記事では、Cloudera Managerを使って、Clouderaデストリビューションのコンポネントをエージェントサーバにインストールし、さらにもう一台のサーバを調達し、Cloudera Manager からHadoopクラスタに追加しています。
今回の記事の中身は、実質的にCloudera Managerを使ったClouderaのインストールガイドと殆ど変りません。その点は、予めご了承願いたいと思います。但し、Cloudera Managerは、既にインストーズ済みの状態です。
なお、今回の記事は、SoftLayerでCloudera Solutionの構築過程を解説することが主な目的なのでCloudera Managerの機能の解説は割愛させて頂きます。

事前準備

SSL-VPN設定

Cloudera Managerへの接続は、SSL-VPN経由でプライベートネットワークを使用しますが、SSL-VPNを使うためには、いくつかの事前準備が必要です。
先ず、SSL-VPNの権限設定を行って下さい。[Account→Users]を選択し、VPN Access権限を確認して下さい。VPN AccessがSSL又は/SSL&PPTPになっていない場合、 [Action→Edit VPN Access]をクリックし、SSL又はSSL&PPTP-VPNを設定して下さい。

Ssl-vpn-1

SSL-VPNを使うためには、VPN Portalへ接続するためのパスワード設定が必要です。[Account→Users→Your username]をクリックして下さい。そして「Edit User Profile画面」から、VPNパスワードを入力し、[Edit User]をクリックして下さい。

Ssl-vpn-2

さらに、Java 7.xの方は、Javaコントロール・パネルへ次の2つのURLを例外サイトリストに登録して下さい。

https://control.coftlayer.com
http://10.3.28.114:5199/tightvnc-jviewer.jar 

[スタート→すべてのプログラム→Java→Configure Java→セキュリティ→サイト・リスト編集]を開いてサイトリストの追加を行って下さい。

Ssl-vpn-3

それから、SolfLayerのマネジメントコンソールから、[Support→Help→SSL VPN Login]をクリックしてSoftLayerのVPN Portalへ接続して下さい。

Ssl-vpn-4

Username Your User Account VPN Portalにログインするときのユーザ名です(仮想サーバのユーザ名ではありません)
Password ******** VPN Portalのパスワードです

正常にVPN Portalに接続すると、次のようにWindowsのタスクバーの通知領域にArray SSL VPNクライアントが表示され、「Status: Connected」と表示されます。

そしてWindowsタスクバーのインジケーターに「A」のように表示されます。

Ssl-vpn-5

[注:SSL-VPN設定失敗の場合]
もし、上記のSSL-VPN設定が失敗し、SSL-VPNクライアントが表示されない場合、VPN Portalの「Standalone SSL VPN Clinets」から専用クライアントをダウンロードしてインストールして下さい。

Ssl-vpn-6

インストール後、「Array L3 VPN Connect」を起動します。

Ssl-vpn-client-1

そして[Profile→New]を押してProfileを作成して下さい。
Ssl-vpn-client-2

Profile Name ssl-vpn 任意の名称
SPX Host or IP vpn.wdc01.softlayer.com SSL-VPN Portalのhttps://vpn.wdc01.softlayer.comの
「https://」を除いた部分です
SPX Host User Name Your User Account VPN Portalにログインするときのユーザ名です(仮想サーバのユーザ名ではありません)
SPX Host Password ******** VPN Portalのパスワードです

作成したプロファイルを選択し[Connect」をクリックし、接続します。

Ssl-vpn-client-3

VPN接続後は、Tera Term等を使用し、セキュアにプライベートネットワーク経由でサーバへ接続することが可能です。

Hadoopクラスタ構築

Cloudera Managerへのログイン情報取得

Cloudera Solution Groupのベアメタルサーバには、1台のサーバがCloudera Management Serverと構成され、Cloudera Managerがインストール済みの状態で待っています。

[Devices→Big Data→Cloudera]を選択し、Cloudera Solution名をクリックして下さい。次のようにCloudera ManagerへのURLと管理ユーザID、パスワードが確認できます。

Cloudera-cluster

Cloudera Managerへのログイン

ブラウザからCloudera Managerへ接続して下さい。

http://10.64.61.99:7180

cl
Cloudera-manager-1

Wellcome to Cloudera…

Cloudera Managerへ接続すると、「Wellcome to Cloudera…画面」が表示されます。この画面では、Clouderaの3つのライセンスパターンが表示されており、そのなかで1つを選択してインストールできます。

Clouderaライセンス毎のすべての機能比較は、次のサイトから参照できます。
http://www.cloudera.com/content/cloudera/en/products-and-services/product-comparison.html

今回は、Cloudera Enterprise Trial(60Days)を選択し、[Continue]をクリックして下さい。

Cloudera-manager-2

Restart Cloudera Manager

しばらく「Restart Cloudera Manager画面」が表示されます。数分以上持っても、次の画面に遷移しない場合はレユレッシューして下さい。

Cloudera-manager-3

Thank you choosing Cloudera Manager...

「Thank you choosing Cloudera Manager…画面」でClouderaデストリビューションの一覧を確認してから、 [Continue]をクリックして先に進んで下さい。

Cloudera-manager-4

Specify hosts for your CDH cluster installation

「Specify hosts for your CDH cluster installation」でCloudera Manager ServerをHadoopクラスタに含めて下さい。画面のテキストボックスにFQDNを書いて[Search]をクリックして下さい。

Cloudera-manager-5

次のようにClouder Manager Serverが表示されます。サーバをチェックしてから、[Currently Managed Hosts]をクリックしてください。

Cloudera-manager-6

「Currently Management Hosts」では、オーダを出したベアメタルサーバが表示されます。ここで2台のサーバをチェックし、[Continue]をクリックして下さい。

Cloudera-manager-7

Cluster Install

「Cluster Install画面」では、デフォルトの構成で[Continue]をクリックし、先に進んで下さい。直ちに、Hadoopクラスタのイントールが始まります。

Cloudera-manager-8

Use Parcels(Recommanded)
CDH-4.7.0-1.cdh4.7.0.p0.40
SOLR-1.3.0-1.cdh4.5.0.p0.9
IMPALA-1.3.1-1.impala1.3.1.p0.1172

Cloudera-manager-9
Hadoopクラスタのインストールが終了するまでは、約25分ぐらい掛っています。
Cloudera-manager-10

インストールが終了したら、[Continue]をクリックして先に進んで下さい。

Add New Hosts to Cluster

先ず、インストールが正しいか検証が行われます。

Cloudera-manager-11
最後にClouderaデストリビューションのバージョンサマリが確認出来ます。

Cloudera-manager-12

[Continue]をクリックし、次に進んで下さい。

Choose the CDH4 services that you...

「Choose the CDH4 services that you…画面」では、Hadoopクラスタの上にインストールするアプリケーションの構成を選択します。今回の記事では、なるべく広く触れてみるために「All Services」を選択しています。
そして[Inspect Role Assignment]をクリックして下さい。

Cloudera-manager-13

Inspect Role Assignment

「Inspect role assignment画面」では、Cloudera Agent Server毎のロールを指定します。各Cloudera Agent Serverには、この指定に従って必要なコンポネントがインストールされます。今回の検証では、デフォールト構成で実行しています。
ロール設定が終了したら「Choose the CDH4 service that you…画面」に戻って[Continue]をクリックして下さい。

Cloudera-manager-13-1

Database Setup

「Database Serup画面」では、Cloudera Manager及びHadoopアプリケーションのレポジトリデータベースを指定します。今回の検証では、[User Embeded Database]を選択しています。これはPostgreSQLデータベースの使用を意味します。

Cloudera-manager-14

Cloudera-manager-14-1

Cloudera-manager-14-2

[Test Connection]を実行し、データベース接続が問題ないか確認して下さい。そして [Continue]をクリックし、次に進んで下さい。

Cloudera-manager-14-3

Review configuration change

「Review configuration changes画面」では、重要なHadoopの環境パラメータの値を設定をすることができます。Hadoop環境設定は、ClouderaのHadoopデストリビューションのインストールが終了してからでも編集可能なのでデフォルトでも結構です。
但し、念のために必須パラメータ(*)及び拡張DISK上のディレクトクリ構成などは、確認をお勧めします。特にベアメタルサーバの構成に問題がある場合、必須パラメータがブランクになっている可能性があります。
一通りチェックが終ったら[Continue]をクリックして下さい。

Cloudera-manager-15

Starting your cluster services

最後に、ロール構成や環境変数に従って、環境の構成及びHadoopアプリケーションのサービス起動が行われます。

Cloudera-manager-16

Cloudera Managerでは、Hadoopアプリケーション間の依存関係を考慮しがら、サービスを起動してくれます。
環境構成とサービスの起動が終了したら、[Continue]をクリックして下さい。次のように「Congratulation!」画面が表示されます。これでHadoopアプリケーションのインストールや環境構成、サービスの起動がすべて終了しました。[Continue]をクリックして下さい。
「Cloudera manager画面」に遷移します。

Cloudera-manager-17

Cloudera Manager Console

Home

最初に見える画面は、次のようなダッシューボード画面(ホーム)です。画面の左に稼働しているサービス一覧とステータスが表示されます。ここからサービス毎の起動、停止などが出来ます。

Cloudera-extend-1

ステータスにサービス毎にエラーやワーニングがあれば表示してくれます。さらに、トレースして詳細なログを確認し、問題を解決に臨むことが出来ます。
今回の検証では、Cloudera Agent Serverを2台で開始したことで起因するワーニングが出たりしました。
例えば、次のような問題です。

 Data Nodeは3台を奨励します(HDFSのレプリケーションのデフォルト値が3ですから)
 Zookeeperの構成は最低3ノードが必要です。
 HDFS_UNDER_REPLICATED_BLOCKSのイッシュー(クリティカルエラー)も、Agent Server2台構成ではなかなか治りませんでした(Agent Serverを3台にしたところで自然消滅しました)

では、致命的な問題はない、ということが分かったところで、Agent Serverの拡張に進みます。

Hadoopクラスタの拡張

Cloudera Solution Groupへのサーバの追加

Hadoopクラスタの運用では、色んな問題でAgent Serverの追加が必要なシチュエーション発生します。今回の検証は、そのような状況を想定したものです。
既に構築しているHadoopクラスタへのAgent Serverの追加は、Cloudera Solution グループから行います。Clooudera Solution画面を開いて下さい[Devices→Big Data→Cloudera]。そして[Add Server to Solution]をクリックして下さい。

Cloudera-extend-2

ソリュションデザイン

既存のCloudera Solution Groupへの追加の場合、ソリューションデザイナーから既存の構成が確認出来ます (SNG01-M1,SNG01-P1,SNG01-P2)。Agent Serverの追加は、「Clouderaのソリューションデザイナー画面」の左下のプラス(+)をクリックして下さい。
Cloudera-extend-3

「Add Server画面」から、他のAgent Server同様のスペックを指定し、[OK]をクリックして下さい。

Cloudera-extend-4

Agent Serverの追加は、直観的に確認出来ます。[COMPLATE ORDER]をクリックし、次に進んで下さい。

Cloudera-extend-5

Order Summary and Billing

「Order Summary and Billing画面」が表示されます。この画面では、オーダ内容と金額が確認出来ます。

Cloudera-extend-6

ホスト名とドメインを確認して下さい。

Cloudera-extend-7

Cloudera-extend-8

問題なければ、[Finalize Your Order]をクリックして下さい。

Your Recript

オーダ受理の旨の画面が表示されます。

Cloudera-extend-9

この段階では、既にAgent Serverのプロビージョニングは始まっています。そしてオーダを出したユーザ宛へのメール配信も行われます。
これからベアメタルサーバが起動するまでは、前回同様4時間ぐらい掛ります。

HadoopクラスタへのAgent Serverの追加

Cloudera Solution Groupから追加オーダを出したAgent Serverは、Clouder managerから確認出来ます。Clouder Managerから[Hosts]をクリックして下さい。「All Hosts画面」の「Statusシート」から、次のように追加したAgent Serverが確認出来ます。
但し、Hadoopクラスタへの構成は、まだ出来ていない状態です(SNG01-p3/None)。

Cloudera-extend-10

[Add New Hosts to Cluster]をクリックして下さい。そして「New Hostsシート」からCloudera manager Serverを検索して下さい。

Cloudera-extend-11

次のようにCloudera manager Serverをチェックしてください。

Cloudera-extend-12

それから「Currently Managed Hostシート」をクリックして下さい。追加オーダしたCloudera
Agent Serverが表示されているはずです。ステータスの問題がないことを確認し、チェッ
クしてから、[Continue]をクリックして下さい。

Cloudera-extend-13

Hadoopクラスタへの追加構成が行われます。終了したら[Continue]をクリックして下さい。

Cloudera-extend-14
それからクラスタ構成のチェックが行われます。終了したら[Continue]をクリックし、次に進んで下さい。

Cloudera-extend-15

そして「Select Repository」では、「Matched release for the Cloudera Manager server」を選択して下さい。

Cloudera-extend-16

次は、「Provide SSH login credential」でログインユーザ及び認証証明を指定して下さい。

Cloudera-extend-17

Login to all hosts as : root
Authentfication Method : All hosts accept same private key
Private Key File:を指定して下さい。

「Choose a host template」は、「None」にして下さい。

Cloudera-extend-18

これでCloudera Solution Groupに追加したAgent ServerのHadoopクラスタへの追加は終わりました。

Cloudera-extend-19

Cloudera Managerの[Hosts]から見ると、Agent Server(SNG01-p3)のClouderaのバージョン表示が変わっているのが確認出来ます(None→CDH4)。

Cloudera-extend-20

サービスの構成

Hadoopクラスタに追加したAgent Serverのロールを決めてHadoopアプリケーションのサービスを構成する必要があります。
追加したCloudera Agent Serverには、次の3つのサービスを構成します。

  • HDFS
  • MapReduce
  • Zookeeper

今回の記事では、Hadoopアプリケーションのサービス構成についてサービスメニューからAgent Serverに対して、それぞれ個別に設定する方式を紹介します。

[HDFS設定]
[Services→hdfs1→Instances]を選択し、[Add]をクリックして下さい。

Cloudera-extend-21

「Add Role Instances mgmt1画面」が表示されます。この画面では、Cloudera Solution Group内にあるサーバ一覧が表示され、ロールの設定が可能です。SNG01-p3をHDFSサービスに追
加して下さい。他のサーバは、既に設定ずみなのでDisableになっています。

Cloudera-extend-22

HDFS:sng01-p1, sng01-p2, sng01-p3

それからdatanode(sng01-p3)をチェックし、サービスを起動して下さい[Action for Selected→Start]。

Cloudera-extend-23
HDFSサービスの起動を確認して下さい。

Cloudera-extend-24

[Zookeeper/MapReduce]
そして同様な設定をMapReduce及びZookeeperに対しても実行して下さい。設定手順は、どのサービスを選ぶかの違いがあるだけで同じです。

Zookeeper:sng01-p1, sng01-p2, sng01-p3
MapReduce TaskTracker:sng01-p1, sng01-p2, sng01-p3/

Hadoop Applicationの使用

Hue

Hueは、Hadoopアプリケーションを操作するためにWebインターフェースを提供してくれます。 [Services→Hue1]をクリックして下さい。

Cloudera-app-1

Username:admin
Password:

今回の記事では、詳細な使用方法の解説は割愛させて頂きます。

Cloudera-app-2

Teraterm/PuTTy

SSL-VPN経由でTeratermやPuTTyなどを使ってCloudera Management Server又はHadoopクラスタのネームノードへ接続し、それぞれのHadoopアプリケーションを使うことも可能です。

Cloudera-app-3

Cloudera-app-4

Last login: Thu Jun 19 22:08:15 2014 from 10.1.37.186
[root@sng01-p1 ~]#
 [root@sng01-p1 ~]# hbase shell
14/06/20 02:32:10 WARN conf.Configuration: hadoop.native.lib is deprecated. Instead, use io.native.lib.available
HBase Shell; enter 'help' for list of supported commands.
Type "exit" to leave the HBase Shell
Version 0.94.15-cdh4.7.0, rUnknown, Wed May 28 10:48:53 PDT 2014

hbase(main):001:0> quit
 [root@sng01-p1 ~]# hive
Logging initialized using configuration in jar:file:/opt/cloudera/parcels/CDH-4.7.0-1.cdh4.7.0.p0.40/lib/hive/lib/hive-common-0.10.0-cdh4.7.0.jar!/hive-log4j.properties
Hive history file=/tmp/root/hive_job_log_29d09e2d-ab90-4e74-a7a4-111ef625aa3b_105606433.txt
hive> exit; 
 [root@sng01-p1 ~]# pig
2014-06-20 02:33:06,801 [main] INFO  org.apache.pig.Main - Apache Pig version 0.11.0-cdh4.7.0 (rexported) compiled May 28 2014, 11:05:48
2014-06-20 02:33:06,802 [main] INFO  org.apache.pig.Main - Logging error messages to: /root/pig_1403249586797.log
2014-06-20 02:33:06,825 [main] INFO  org.apache.pig.impl.util.Utils - Default bootup file /root/.pigbootup not found
2014-06-20 02:33:07,098 [main] WARN  org.apache.hadoop.conf.Configuration - fs.default.name is deprecated. Instead, use fs.defaultFS
2014-06-20 02:33:07,098 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://sng01-p1.cdh.jp:8020
2014-06-20 02:33:07,717 [main] INFO  org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: sng01-p1.cdh.jp:8021
2014-06-20 02:33:07,720 [main] WARN  org.apache.hadoop.conf.Configuration - fs.default.name is deprecated. Instead, use fs.defaultFS
grunt> quit
 [root@sng01-p1 ~]# impala-shell -i localhost
Starting Impala Shell without Kerberos authentication
Connected to localhost:21000
Server version: impalad version 1.3.1-cdh4 RELEASE (build 907481bf45b248a7bb3bb077d54831a71f484e5f)
Welcome to the Impala shell. Press TAB twice to see a list of available commands.

Copyright (c) 2012 Cloudera, Inc. All rights reserved.

(Shell build version: Impala Shell v1.3.1-cdh4 (907481b) built on Wed Apr 30 14:23:48 PDT 2014)
[localhost:21000] > quit; 

Goodbye

KVM

Hadoopクラスタへの各サーバには、KVM接続も可能です。マネジメントコンソールのサーバ一覧から、[Action→KVM Console]をクリックして下さい。
各サーバには、SUPERMICROがインストールされています。こちらのログインのユーザは、rootですがパスワードはCloudera Manangerの初期パスワードを使って下さい。

Cloudera-app-5

Cloudera-app-6

Cloudera-app-7

Oozie

Apache Oozie は、ワークフローを作成し、ジョブ間での調整管理を行うことが出来ます[Services→oozie1]。

Hadoop Administraton

従来のHadoop Administartionは、ネームノードに構成されいます。

Hadoop Administration-MapReduce

http://10.64.61.95:50030

Hadoop Administration-Name Node

http://10.64.61.95:50070

まとめ

これで2回に渡ってCloudera Solution On SoftLayerを解説しました。今回の検証で、SolftLayerのソリュションデザイナーの使い方及びHadoopクラスタ構築に範囲を絞った内容になっています。本番向けの運用ためには、セキュリティやネットワーク構成などに工夫が必要でしょう。SoftLayerは、お客様のデータセンターからSoftLayerのデータセンターまでVPN又は専用線を引いてプライベートネットワーク上でCloudera Sloutionを運用することが可能です。ネットワークの構成方法やセキュリティについては、別の記事で紹介させて頂きたいと思います。
SoftLayerのCloudera Solutionを検証してみた感想を言いますと、非常にスムーズに構築することが出来たということです。実際にサーバを用意し、Cloudera Managerをインストールしてみると、いろいろ想定外の個所ではまったりします。しかし、今回の検証では、ハードウェア及びソフトウェアのとちらのトラブルもありませんでした。これは現在、SoftLayerが提供している「ベアメタルサーバ/ソリューションデザイナ/プロビージョニング/CDH4.4&Clouder Manager4.7」の検証が十分に行われている証しとも言えるでしょう。

Author

Avatar

データベースが大好きなサーバサイドのエンジニア。データモダナイゼーション基盤のアーキテクトとして活動しています。

[著書]
グラフデータベースNeo4jの他
https://www.amazon.co.jp/李昌桓/e/B004LWEKOU

leeの記事一覧

CL LAB Mail Magazine

CL LABの情報を逃さずチェックしよう!

メールアドレスを登録すると記事が投稿されるとメールで通知します。

メールアドレス: 登録

※登録後メールに記載しているリンクをクリックして認証してください。

Related post