« IBM Cloud Private 3.2 インストール RHEL編 | メイン | Watsonで遊んでみる/Text to Speech(音声合成) »

2019/06/20

IBM Cloud Pak for Data 2.1を動かしてみる

sample

みなさん、こんにちは。 IBM Cloud Private(ICP)の投稿ばかりしていましたが、今回はICP上に構成される別製品のご案内と動かすところまでを試してみます。 今回、ご紹介する製品は


IBM Cloud Pak for Data


です。 5月末に新バージョンがリリースされ、これまで IBM Cloud Private for Data と呼ばれていた製品が IBM Cloud Pak for Data にリブランドされました。


IBM Cloud Pak for Data とは何か?

IBM Cloud Pak for Data は 企業内のすべてのデータおよび分析ニーズに対する Ent to End の次世代データプラットホーム です。


なぜ必要か?

みなさん、社内や顧客の現場でAIやマシンラーニング(ML)を活用したシステムの開発の話などを聞くことが増えてきているかと思います。
しかしながら実際に進み始めるとこんな課題が出てきます。

(AIやMLに使える)データはどこにあるの?

そのデータすぐに使えるの?

もちろん、データを1から作る必要があることもありますが社内のどこかのデータベースに埋まっていることもあります。
また、仮にあったとしても使えるようになるまで担当者への確認や準備・加工が必要となり、すぐに始められないのが現状としてあります。

実際にIBMの調査ではデータから価値を引き出せている企業は 15% しかない。という結果や、実はAIやMLでの活用はプロジェクト全体で見ると2割ほどであり、残りの8割がデータの収集・探索から準備・加工までのフェーズであると言われています。

553_3


IBMとしては、AIは決して 魔法 ではなく、一つ一つしっかりと進めていく必要があり、そのアプローチを先進テクノロジーを活用して効率的に支援するためにIBM Cloud Pak for Data をリリースしています。

AI Ladder スライド

9


何ができるか?

IBM Cloud Pak for Data はコンテナーベースで稼働しており、プラットホームとしてIBM Cloud Private(ICP)を利用しています。ICP上にデータ利用者・提供者双方のニーズを合わせパッケージ化したソリューションになります。
また、下記の画像に記載はありませんが、Watson関連についてもIBM Cloud Pak for Data 上にadd-onされることが発表されていて、今後拡充されていきます。

製品の特徴としては、

  1. シングルアプリケーション
  2. エンタープライズカタログ
  3. データ仮想化とサンドボックス
  4. Add-on機能
  5. クラウドネイティブ
  6. マルチクラウド対応

があります。

16


詳細機能についてはお問い合わせいただければと思います。


動かしてみる

今回はOS上にIBM Cloud Pak for Data をインストールし、管理UIにログインできるところまでを試してみます。


system requirements

実際に動かしてみる前にシステム要件をみてみます。
https://www.ibm.com/support/knowledgecenter/ja/SSQNUZ_2.1.0/com.ibm.icpdata.doc/zen/install/reqs-ent.html

構成としては3台(3 node cluster (x86-64 cluster))もしくは6台(6+ node cluster (x86-64 cluster))での構成例が記載されています。 また、Power環境で構成することも可能です。

今回は 6+ node cluster (x86-64 cluster)で構成してみます。
また、最新バージョン2.1ではDocker用のRAW Diskについて必須の記載はないが、本環境では利用する設定で進めます。


検証環境

物理基盤で用意することが難しかったので、下記の2種類のサーバーを計6台用意します。

  • Master Server (3台)
    • HW:
    • CPU: 10vcpu
    • Memory: 20GB
    • Disk:
      • 1: 150GB (Rootに100GB)
      • 2: 500GB (Installation path)
      • 3: 200GB (Docker devicemapper)
    • NIC: 1
    • SW:
    • OS: Redhat Enterprise Linux 7.5

  • Node Server (3台)
    • HW:
    • CPU: 16vcpu
    • Memory: 64GB
    • Disk:
      • 1: 150GB (Rootに100GB)
      • 2: 500GB (Installation path)
      • 3: 500GB (Data path)
      • 4: 200GB (Docker devicemapper)
    • NIC: 1
    • SW:
    • OS: Redhat Enterprise Linux 7.5

110624


サーバー環境についてはいくつかの注意点があります。

  • 今回のスペックでは20人程度のユーザーで利用する環境を想定
  • インストーラーを実行するマスターノード(サーバー)から各サーバーへのSSH接続ができることと秘密鍵、パスワードの準備
  • SElinuxを Permissive に指定
  • [ / ]の領域は 50GB が必要となっていますが、実際に50GBでパーティションを構成すると事前チェックで容量不足となるので多めに指定
  • Installation pathとData pathで利用するDiskは XFS でマウントすること
  • Diskの I/O パフォーマンスをチェックすること (要求されたI/Oに達していなくてもインストールはできます)
  • FWは無効にする
  • インストール前にRunning a prerequisite checkを参照し、チェックを行う
  • CPUに関する設定で AVX/AVX2 instruction set must be enabled on the processor. という注意があります。利用されている機器が古い場合は AVX/AVX2に対応していることを確認する


Running a prerequisite checkを行わなくても、要件を満たしていない場合はインストール時に失敗になります。 しかしながら、そこで修正できない場合(特にSELinuxは再起動が必要)、インストールをやり直す必要があるので、必ず実施していただくことをお勧めします。


環境事前準備

IBM Cloud Pak for Data インストール前に下記の準備を行います。
1. Firewallの無効化とSELinuxの設定変更
2. SSH鍵の交換 3. Diskの確認とフォーマット
4. Disk I/O の確認
5. 時刻同期の設定


1. Firewallの無効化とSELinuxの設定変更

下記コマンドを実行して、Firewallの無効化とSELinuxの設定を permissive に変更します。

systemctl disable firewalld
systemctl stop firewalld
sed -i -e "s/SELINUX=enforcing/SELINUX=permissive/g" /etc/selinux/config


2. SSH鍵の交換

IBM Cloud Privateのインストールでも実施する作業です。同等の内容を実施します。

SSH鍵の作成

ssh-keygen -b 4096 -f ~/.ssh/id_rsa -N ""

許可された鍵のリストに追加

cat ~/.ssh/id_rsa.pub | sudo tee -a ~/.ssh/authorized_keys

各ノード間でSSH公開鍵をコピー

サンプル

ssh-copy-id -i ~/.ssh/id_rsa.pu  
<user>@<node_ip_address>
ssh-copy-id -i ~/.ssh/id_rsa.pub root@xxx.xxx.xxx.xxx
ssh-copy-id -i ~/.ssh/id_rsa.pub root@xxx.xxx.xxx.xxx

SSHの再起動

systemctl restart sshd

パスワードなしでお互いにログインできるか確認

ssh (Master or Worker IP)

SSH接続後、抜けるのを忘れずに行う

exit



3. Diskの確認とフォーマット

Diskの確認とXFSでのフォーマットを実施します。
今回の検証は環境はVMで作成しており、下記のようなDisk構成になっています。


・マスターサーバ

# fdisk -l

Disk /dev/sdc: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sdb: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sda: 161.1 GB, 161061273600 bytes, 314572800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x000b0c48

デバイス ブート      始点        終点     ブロック   Id  システム
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200   209715199   103808000   8e  Linux LVM
/dev/sda3       209715200   314572799    52428800   8e  Linux LVM

Disk /dev/mapper/rhel-root: 53.7 GB, 53687091200 bytes, 104857600 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-swap: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-home: 41.9 GB, 41871736832 bytes, 81780736 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト


# lsblk
NAME          MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda             8:0    0  150G  0 disk
├─sda1          8:1    0    1G  0 part /boot
├─sda2          8:2    0   99G  0 part
│ ├─rhel-root 253:0    0  100G  0 lvm  /
│ ├─rhel-swap 253:1    0   10G  0 lvm  [SWAP]
│ └─rhel-home 253:2    0   39G  0 lvm  /home
└─sda3          8:3    0   50G  0 part
  └─rhel-root 253:0    0  100G  0 lvm  /
sdb             8:16   0  500G  0 disk
sdc             8:32   0  200G  0 disk
sr0            11:0    1 1024M  0 rom


・ノードサーバ

# fdisk -l

Disk /dev/sda: 161.1 GB, 161061273600 bytes, 314572800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x000b8340

デバイス ブート      始点        終点     ブロック   Id  システム
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200   209715199   103808000   8e  Linux LVM
/dev/sda3       209715200   314572799    52428800   8e  Linux LVM

Disk /dev/sdd: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sdc: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sdb: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-root: 53.7 GB, 53687091200 bytes, 104857600 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-swap: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-home: 41.9 GB, 41871736832 bytes, 81780736 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト


# lsblk
NAME          MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda             8:0    0  150G  0 disk
├─sda1          8:1    0    1G  0 part /boot
├─sda2          8:2    0   99G  0 part
│ ├─rhel-root 253:0    0  100G  0 lvm  /
│ ├─rhel-swap 253:1    0   10G  0 lvm  [SWAP]
│ └─rhel-home 253:2    0   39G  0 lvm  /home
└─sda3          8:3    0   50G  0 part
  └─rhel-root 253:0    0  100G  0 lvm  /
sdb             8:16   0  500G  0 disk
sdc             8:32   0  500G  0 disk
sdd             8:48   0  200G  0 disk
sr0            11:0    1 1024M  0 rom


インストール領域のフォーマットとマウント

この設定はマスタサーバ、ノードサーバのどちらでも実施します。
今回はどちらも /dev/sdbをインストール領域としてマウントします。

・パーティションを作成

# fdisk /dev/sdb
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0x4c4f64df.

コマンド (m でヘルプ): p   ### 入力する

Disk /dev/sdb: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x4c4f64df

デバイス ブート      始点        終点     ブロック   Id  システム

コマンド (m でヘルプ): n   ### Enter
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p):    ### Enter
Using default response p
パーティション番号 (1-4, default 1):   ### Enter
最初 sector (2048-1048575999, 初期値 2048):    ### Enter
初期値 2048 を使います
Last sector, +sectors or +size{K,M,G} (2048-1048575999, 初期値 1048575999):
初期値 1048575999 を使います
Partition 1 of type Linux and of size 500 GiB is set

コマンド (m でヘルプ): w
パーティションテーブルは変更されました!

ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。


・パーティションの確認
/dev/sdb1があることを確認します。

# ls /dev/ | grep sdb
sdb
sdb1


・XFS でフォーマット

# mkfs -t xfs /dev/sdb1
meta-data=/dev/sdb1              isize=512    agcount=4, agsize=32767936 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=131071744, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=63999, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0


・マウントポイントの作成
今回は /ibm マウントします。

mkdir /ibm


・マウントを実行

mount /dev/sdb1 /ibm  


・マウントの確認

# df -T -h
ファイルシス            タイプ     サイズ   使用   残り 使用% マウント位置
/dev/mapper/rhel-root xfs        100G  1.1G   99G    2% /
devtmpfs              devtmpfs    12G     0   12G    0% /dev
tmpfs                 tmpfs       12G     0   12G    0% /dev/shm
tmpfs                 tmpfs       12G  8.9M   12G    1% /run
tmpfs                 tmpfs       12G     0   12G    0% /sys/fs/cgroup
/dev/sdb1             xfs        500G   34M  500G    1% /ibm
/dev/sda1             xfs       1014M  142M  873M   14% /boot
/dev/mapper/rhel-home xfs         39G   33M   39G    1% /home
tmpfs                 tmpfs      2.4G     0  2.4G    0% /run/user/0


データ領域のフォーマットをマウント

データ領域はノードサーバ上ののみ構成します。
手順はインストール領域に行った手順と変わりません。
利用するDisk領域は /dev/sdc です。


・パーティションを作成

# fdisk /dev/sdc
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0xbb5968dc.

コマンド (m でヘルプ): n
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p):
Using default response p
パーティション番号 (1-4, default 1):
最初 sector (2048-1048575999, 初期値 2048):
初期値 2048 を使います
Last sector, +sectors or +size{K,M,G} (2048-1048575999, 初期値 1048575999):
初期値 1048575999 を使います
Partition 1 of type Linux and of size 500 GiB is set

コマンド (m でヘルプ): w
パーティションテーブルは変更されました!

ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。


・パーティションの確認
/dev/sdc1があることを確認する

# ls /dev/ | grep sdc
sdc
sdc1


・XFS でフォーマット

# mkfs -t xfs /dev/sdc1
meta-data=/dev/sdc1              isize=512    agcount=4, agsize=32767936 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=131071744, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=63999, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0


・マウントポイントの作成
今回は /data マウントします。

mkdir /data


・マウントを実行

mount /dev/sdc1 /data  


・マウントの確認

# df -T -h
ファイルシス            タイプ     サイズ   使用   残り 使用% マウント位置
/dev/mapper/rhel-root xfs        100G  1.1G   99G    2% /
devtmpfs              devtmpfs    32G     0   32G    0% /dev
tmpfs                 tmpfs       32G     0   32G    0% /dev/shm
tmpfs                 tmpfs       32G  8.9M   32G    1% /run
tmpfs                 tmpfs       32G     0   32G    0% /sys/fs/cgroup
/dev/sdc1             xfs        500G   33M  500G    1% /data
/dev/sdb1             xfs        500G   34M  500G    1% /ibm
/dev/sda1             xfs       1014M  142M  873M   14% /boot
/dev/mapper/rhel-home xfs         39G   33M   39G    1% /home
tmpfs                 tmpfs      6.3G     0  6.3G    0% /run/user/0


Docker用の領域の確認

下記がDocker用の領域です。

・マスターサーバ

# fdisk -l

---省略---
Disk /dev/sdc: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
---省略---


・ノードサーバ

# fdisk -l

---省略---
Disk /dev/sdd: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
---省略---


4. Disk I/O の確認

ディスクのパフォーマンスの確認項目があります。本番環境ではKnowledge Centerに記載のあるDiskを超えるもしくは匹敵するものを用意する必要があります。


  1. レイテンシー

The value must be better or comparable to: 512000 bytes (512 KB) copied, 1.7917 s, 286 KB/s


・マスターサーバ

# dd if=/dev/zero of=/ibm/testfile bs=512 count=1000 oflag=dsync
1000+0 レコード入力
1000+0 レコード出力
512000 バイト (512 kB) コピーされました、 0.83867 秒、 610 kB/秒


・ノードサーバ

# dd if=/dev/zero of=/ibm/testfile bs=512 count=1000 oflag=dsync
1000+0 レコード入力
1000+0 レコード出力
512000 バイト (512 kB) コピーされました、 0.514063 秒、 996 kB/秒


  1. スループット

The value must be better or comparable to: 1073741824 bytes (1.1 GB) copied, 5.14444 s, 209 MB/s


・マスターサーバ

# dd if=/dev/zero of=/ibm/testfile bs=1G count=1 oflag=dsync
1+0 レコード入力
1+0 レコード出力
1073741824 バイト (1.1 GB) コピーされました、 3.55129 秒、 302 MB/秒


・ノードサーバ

# dd if=/dev/zero of=/ibm/testfile bs=1G count=1 oflag=dsync
1+0 レコード入力
1+0 レコード出力
1073741824 バイト (1.1 GB) コピーされました、 3.49375 秒、 307 MB/秒

テストでファイルが作成されているので忘れずに削除します。

rm -rf /ibm/testfile


5. 時刻同期の設定

時刻同期の設定を行います。
IBM Cloud Pak for Data は ntpd ではなく、chrony の利用が推奨されています。 chronyが動作していることを確認します。

# systemctl status chronyd
● chronyd.service - NTP client/server
   Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
   Active: active (running) since 月 2019-06-10 17:02:27 JST; 11min ago
     Docs: man:chronyd(8)
           man:chrony.conf(5)
  Process: 915 ExecStartPost=/usr/libexec/chrony-helper update-daemon (code=exited, status=0/SUCCESS)
  Process: 901 ExecStart=/usr/sbin/chronyd $OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 910 (chronyd)
   CGroup: /system.slice/chronyd.service
           └─910 /usr/sbin/chronyd

 6月 10 17:02:26 icp4d2-m1.icp.local systemd[1]: Starting NTP client/server...
 6月 10 17:02:26 icp4d2-m1.icp.local chronyd[910]: chronyd version 3.2 starting (+CMDMON +NTP +REFCLOCK +RTC +PRIVDROP +SCFILTER +SECHASH +SIGND +AS... +DEBUG)
 6月 10 17:02:26 icp4d2-m1.icp.local chronyd[910]: Frequency -22.831 +/- 0.743 ppm read from /var/lib/chrony/drift
 6月 10 17:02:27 icp4d2-m1.icp.local systemd[1]: Started NTP client/server.
 6月 10 17:02:32 icp4d2-m1.icp.local chronyd[910]: Selected source 133.243.238.244
 6月 10 17:03:37 icp4d2-m1.icp.local chronyd[910]: Selected source 133.243.238.164
Hint: Some lines were ellipsized, use -l to show in full.


環境事前チェック

準備した環境が適切に構成されているかチェックするためのツールが用意されています。 ツールは下記のようなことを確認します。

  • ディスクのスループットと入出力のパフォーマンス
  • 必要なポート
  • CPU/Memory/Disk
  • Firewallが無効であること
  • SELinuxがPermissiveモードとなっていること


ツールのダウンロード

Github上に最新のものが公開されているので、git が使える端末からダウンロードします。

git clone https://github.com/IBM-ICP4D/icp4d-serviceability-cli.git


ツールのコピー

SCPやSFTP等を利用して、IBM Cloud Pak for Data をインストールするVM上にコピーします。
今回は事前に /ibm/InstallationPackage/utils/ICP4D-Support-Tools/ をVM上に作成し、コピーしています。

・sample

scp -r ./icp4d-serviceability-cli/ root@xxx.xxx.xxx.xxx:/ibm/InstallationPackage/utils/ICP4D-Support-Tools/


ツールの実行

Masterサーバ、Nodeサーバそれぞれで実行します。


Masterサーバ

cd /ibm/InstallationPackage/utils/ICP4D-Support-Tools/icp4d-serviceability-cli
./icp4d_tools.sh --preinstall --type=master --install_dir=/ibm


・ERRORが出力される場合
弊社環境ではいくつかのエラーが発生しました。エラーメッセージ内に対処方法の記載がありますので、個別に対処してください。今回の環境では下記のエラーが発生しています。

# ./icp4d_tools.sh --preinstall --type=master --install_dir=/ibm

no crontab for root
##########################################################################################
Ensuring the IPv4 IP Forwarding is set to enabled
ERROR: The sysctl config has IPv4 IP forwarding set to disabled (net.ipv4.ip_forward = 0). IPv4 forwarding needs to be enabled (net.ipv4.ip_forward = 1). To enable IPv4 forwarding we recommend use of the following commands: "sysctl -w net.ipv4.ip_forward=1" or "echo 1 > /proc/sys/net/ipv4/ip_forward".
##########################################################################################
##########################################################################################
Ensuring the vm.max_map_count under sysctl is at least 262144
ERROR: The sysctl configuration for vm.max_map_count is not at least 262144. Please run the following command to set it to 262144 "sysctl -w vm.max_map_count=262144".
##########################################################################################
Finished with ERROR, please check /tmp/preInstallCheckResult


(参考)上記2点についてERROR内容に記載されている方法以外にファイルを直接編集する方法

echo -e "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
echo -e "vm.max_map_count = 262144" >> /etc/sysctl.conf
sysctl -p


・正常に終了した場合

# ./icp4d_tools.sh --preinstall --type=master --install_dir=/ibm

no crontab for root
Finished successfully! This node meets the requirement


Nodeサーバ

cd /ibm/InstallationPackage/utils/ICP4D-Support-Tools/icp4d-serviceability-cli
./icp4d_tools.sh --preinstall --type=worker --install_dir=/ibm --data_dir=/data



# cd /ibm/InstallationPackage/utils/ICP4D-Support-Tools/icp4d-serviceability-cli
# ./icp4d_tools.sh --preinstall --type=worker --install_dir=/ibm --data_dir=/data

no crontab for root
##########################################################################################
Ensuring the IPv4 IP Forwarding is set to enabled
ERROR: The sysctl config has IPv4 IP forwarding set to disabled (net.ipv4.ip_forward = 0). IPv4 forwarding needs to be enabled (net.ipv4.ip_forward = 1). To enable IPv4 forwarding we recommend use of the following commands: "sysctl -w net.ipv4.ip_forward=1" or "echo 1 > /proc/sys/net/ipv4/ip_forward".
##########################################################################################
Finished with ERROR, please check /tmp/preInstallCheckResult


・正常に終了した場合

# ./icp4d_tools.sh --preinstall --type=worker --install_dir=/ibm --data_dir=/data

no crontab for root
Finished successfully! This node meets the requirement


インストール


ファイルの準備

インストールに使用するファイルをIBM社のWebサイトからダウンロードします。
今回使用するファイルは下記になります。

  • IBM Cloud Private for Data Enterprise Edition V2.1.0 - Includes ICP (Default Install) - Linux x86 Multiplatform Multilingual
    • 部品番号: CC1YCML
    • Size: 0.5MB
    • Date posted: 29 5 2019

このファイルをダウンロード後、操作するマスターサーバの /ibm コピーします。


wgetのインストール

# yum install -y wget
読み込んだプラグイン:product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
dvd                                               | 4.3 kB  00:00:00 
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> パッケージ wget.x86_64 0:1.14-15.el7_4.1 を インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================================================================================================================
Package                            アーキテクチャー                     バージョン                                     リポジトリー                       容量
================================================================================================================================================================
インストール中:
 wget                               x86_64                               1.14-15.el7_4.1                                dvd                               547 k

 トランザクションの要約
 ================================================================================================================================================================
 インストール  1 パッケージ

 総ダウンロード容量: 547 k
 インストール容量: 2.0 M
 Downloading packages:
 警告: /media/dvd/Packages/wget-1.14-15.el7_4.1.x86_64.rpm: ヘッダー V3 RSA/SHA256 Signature、鍵 ID fd431d51: NOKEY
 wget-1.14-15.el7_4.1.x86_64.rpm の公開鍵がインストールされていません
 file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release から鍵を取得中です。
 Importing GPG key 0xFD431D51:
  Userid     : "Red Hat, Inc. (release key 2) <security@redhat.com>"
  Fingerprint: 567e 347a d004 4ade 55ba 8a5f 199e 2f91 fd43 1d51
  Package    : redhat-release-server-7.5-8.el7.x86_64 (@anaconda/7.5)
  From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 Importing GPG key 0x2FA658E0:
  Userid     : "Red Hat, Inc. (auxiliary key) <security@redhat.com>"
  Fingerprint: 43a6 e49c 4a38 f4be 9abf 2a53 4568 9c88 2fa6 58e0
  Package    : redhat-release-server-7.5-8.el7.x86_64 (@anaconda/7.5)
  From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 Running transaction check
 Running transaction test
 Transaction test succeeded
 Running transaction
   インストール中          : wget-1.14-15.el7_4.1.x86_64                                                                                                     1/1
  dvd/productid                                                                                                                            | 1.6 kB  00:00:00
   検証中                  : wget-1.14-15.el7_4.1.x86_64                                                                                                     1/1

 インストール:
   wget.x86_64 0:1.14-15.el7_4.1

 完了しました!


インストーラのダウンロード

コピーしたファイルを実行し、インストーラをダウンロードします。

cd /ibm
chmod +x ICP4D_ENT_INC_ICP_x86_V2.1.bin
./ICP4D_ENT_INC_ICP_x86_V2.1.bin


・ダウンロードを行うインターフェース

***************************************************************************************************************
*** IBM Cloud Private for Data Enterprise Edition V2.1 - Includes ICP (Default Install Image) - Linux x86 ***
***************************************************************************************************************
Ready to download 'IBM Cloud Private for Data Enterprise Edition V2.1 - Includes ICP (Default Install Image) - Linux x86'? (y/n) : y

************************************************************************
 Executing BIN File
************************************************************************
Creating directory /ibm/icp4d (make sure you have root access), starting the download.

Downloading the tarball to /icp4d_ee_2.1.0.0_x86_64.tar
Downloading...
`icp4d_ee_2.1.0.0_x86_64.tar' に保存中

100%[===================================>] 45,488,312,320 17.6MB/s 時間 30m 49s

2019-06-12 13:42:35 (23.5 MB/s) - `icp4d_ee_2.1.0.0_x86_64.tar' へ保存完了 [45488312320/45488312320]

Download completed.

BIN File ended cleanly

ダウンロードしたファイルを解凍し、実行権限を付与します。

cd /ibm/icp4d
tar -xvf icp4d_ee_2.1.0.0_x86_64.tar -C /ibm
chmod +x /ibm/installer.x86_64.466


構成ファイルの作成

今回はインストール用の構成ファイルを作成しインストールを実行します。
ここでは、構成ファイルのテンプレートを作成し、環境に合った形に編集します。


・構成ファイル作成

cd /ibm
./installer.x86_64.466 --get-conf-user

画面が遷移し、下記画面が表示されます。

The installer includes the module path '/ibm/modules'. The following packages will be installed:

    ibm-dde-0.13.14-x86_64.tar
    ibm-iisee-zen-1.0.0.tar

Press Enter to confirm and continue the installation.


The installer detected a configuration file. Do you want to use the parameters in this file for your installation? [Y/N]:

前回のバージョンまでであれば、ここで構成ファイルが作成され、インストーラの画面が閉じますが、本バージョンでは、 引き続きインストール作業の選択画面に進んでしまいます。 ここで一度 Ctrl+C を実行し、プロセスを終了させます。

構成ファイルですが、wdp.confというファイルがls -lで確認できるかと思います。

# ls -l
合計 26021944
-rwxr-xr-x. 1 root root       16611  6月 12 12:12 ICP4D_ENT_INC_ICP_x86_V2.1.bin
drwxr-xr-x. 3 root root          19  6月 11 14:18 InstallationPackage
drwx------. 2 root root          41  6月 12 13:11 icp4d
-rwxr-xr-x. 1 root root 26646443846  5月 30 08:03 installer.x86_64.466
drwxr-xr-x. 2 root root          71  5月 29 12:47 modules
-rw-r--r--. 1 root root        1818  6月 12 14:21 wdp.conf

wdp.confを開き、編集します。

####省略####
# If need to use other ssh port than 22, add the line ssh_port=xxx
virtual_ip_address_1=192.168.100.196    ## <- VIPを指定
virtual_ip_address_2=192.168.100.197    ## <- VIPを指定
ssh_port=22
user=root                               ## <- 元ファイルに無いが追記。実行するユーザーを指定
master_node_1=192.168.100.190           ## <-この先は用意したサーバーのIP、ディレクトリ、RAW Diskを追加
master_node_path_1=/ibm
master_docker_disk_1=/dev/sdc
master_node_2=192.168.100.191
master_node_path_2=/ibm
master_docker_disk_2=/dev/sdc
master_node_3=192.168.100.192
master_node_path_3=/ibm
master_docker_disk_3=/dev/sdc
worker_node_1=192.168.100.193
worker_node_path_1=/ibm
worker_node_data_1=/data
worker_docker_disk_1=/dev/sdd
worker_node_2=192.168.100.194
worker_node_path_2=/ibm
worker_node_data_2=/data
worker_docker_disk_2=/dev/sdd
worker_node_3=192.168.100.195
worker_node_path_3=/ibm
worker_node_data_3=/data
worker_docker_disk_3=/dev/sdd
#management_node_1=
#management_node_path_1=
#management_node_2=
#management_node_path_2=
#va_node_1=
#va_node_path_1=
#proxy_node_1=
#proxy_node_path_1=
#proxy_node_docker_disk_1=


インストーラの実行

インストーラを実行します。

./installer.x86_64.466


・画面が遷移します

The installer includes the module path '/ibm/modules'. The following packages will be installed:

    ibm-dde-0.13.14-x86_64.tar
    ibm-iisee-zen-1.0.0.tar

Press Enter to confirm and continue the installation.


The installer detected a configuration file. Do you want to use the parameters in this file for your installation? [Y/N]: y
Validating the information in the file...


By typing (A), you agree to the terms and conditions: http://www14.software.ibm.com/cgi-bin/weblap/lap.pl?la_formnum=&li_formnum=L-DNAA-BBCT4D&title=IBM+Cloud+Private+for+Data+Enterprise+Edition+V2.1&l=en

Type (R) if you do not agree to the terms and conditions

Please type (A) for accept or (R) for reject: a


Please type root's password for all the nodes:


・インストール完了

Running roles: PostInstall on host group: all

Task ['PostInstall'] has completed successfully
Installation was successful and took 02:56:42
Access the zen web portal using the following URL: https://192.168.100.196:31843


管理UIへのログイン

インストール完了後に表示されるURL https://192.168.100.196:31843 にWebブラウザにアクセスします

ユーザー名、パスワードは下記になります。

  • ユーザー名: admin
  • パスワード: password


IBM Cloud Pak for Data Knowledge center

https://www.ibm.com/support/knowledgecenter/SSQNUZ_current/com.ibm.icpdata.doc/zen/overview/overview.html


以上です。 IBM Cloud Pak for Data ですが、環境の事前準備をちゃんと行えば、インストールは全自動なのでお手軽に使い始めることができます。 ただ、今回の環境のスペックを見ていただくとわかる通り、環境の準備が一番大変なのでそこだけはなんとか頑張ってください。

そんなこと言っても環境の用意なんかできるかー!という方向けに弊社環境でテストしていただくと言った調整も個別にできますので、 ご希望のユーザー様は下記まで「ブログ見てIBM Cloud Pak for Data 使って(作って)みたい」とご連絡いただければと思います。

https://www.networld.co.jp/product/ibm-software/

すずきけ