« 2019年5月 | メイン | 2019年7月 »

2019年6月

2019/06/30

Watsonで遊んでみる/Text to Speech(音声合成)

■ はじめに


こんにちは、Watson技術担当の山下です。


今回は、Watson APIの Text to Speech(音声合成)を攻めてみたいと思います。テキストを簡単に音声に変換できて、SSMLで声のトーンとかをお好みにできそうです。


・Watson APIの Text to Speechの詳細は以下ご参照ください。

IBM Watson Text to Speech


・IBM Cloudのライトアカウントを取得すれば、無料でWatson AIを使うことできます。

IBM Cloud ライト・アカウント | IBM Cloud


・IBM Cloudの無料での始め方は、こちら@ayatokuraさんの記事がわかりやすいです。

「IBM Cloudをはじめました」無料ではじめられるライト・アカウント登録方法



■ 今回のイメージ


本ブログ連載は、「Watsonで VTuberを作ろう!」がテーマになりますので、 VTuberの発話にあたる音声合成部分を、「Text to Speech」で実装していきたいと思います。



Watson APIのText to Speech(音声合成)を使って、VTuberの音声発話が人間ぽっくいい感じになりそうな予感です。

早速、VTuberのおしゃべりをイメージして、遊んでみたいと思います。



■ 遊んでみる!


では、以下デモサイトにアクセスして、VTuber(?)をしゃべらせてみましょう!

Text to Speech | 音声合成のデモサイト


スクリーンショット 2019-07-01 15.11.34.png

Text to Speech | 音声合成のデモサイト

上記デモサイトで、スピーチ内容を入力して(以下セリフサンプル)、

音声変換ボタンを押せば、とりあえずしゃべりだします!

セリフサンプル
むかしむかし、あるところに、お爺さんとお婆さんとVTuberがいました



■ これから


もしかすると、ちょっと発音がいまひとつなとこあるかもしれません。

そんなときは、SSML(音声合成マークアップ言語)の出番です。


以下のようにSSMLで入力してみて、音声合成の結果を比べてみてください




Text to Speech | 音声合成のデモサイト

デモサイトで、スピーチ内容をSSML(音声合成マークアップ言語)で入力して(以下セリフサンプル)、音声変換ボタンを押します

セリフサンプル
<speak><say-as interpret-as="interjection">むかしむかし</say-as>、<prosody rate="x-fast">あるところに</prosody>お爺さんとお婆さんと<break time="1s"/><sub alias="ブイチューバァ">VTuber</sub>がいました。</speak>


音声合成は、SSMLを使ったほうが、きっといい感じになってると思います!

ぜひSSML(詳細は以下リンクの書式参照)をいろいろ試していて、お好みのスピーチにしてみましょう

音声変換 SSML


では 次回配信は来週を予定しております。

次回は、「Text to Speech(音声合成)」とは逆の流れ、「Speech to Text(音声認識)」について、VTuberを使って試してみたいと思います。

ぜひまたご覧いただけると嬉しいです!

2019/06/20

IBM Cloud Pak for Data 2.1を動かしてみる

sample

みなさん、こんにちは。 IBM Cloud Private(ICP)の投稿ばかりしていましたが、今回はICP上に構成される別製品のご案内と動かすところまでを試してみます。 今回、ご紹介する製品は


IBM Cloud Pak for Data


です。 5月末に新バージョンがリリースされ、これまで IBM Cloud Private for Data と呼ばれていた製品が IBM Cloud Pak for Data にリブランドされました。


IBM Cloud Pak for Data とは何か?

IBM Cloud Pak for Data は 企業内のすべてのデータおよび分析ニーズに対する Ent to End の次世代データプラットホーム です。


なぜ必要か?

みなさん、社内や顧客の現場でAIやマシンラーニング(ML)を活用したシステムの開発の話などを聞くことが増えてきているかと思います。
しかしながら実際に進み始めるとこんな課題が出てきます。

(AIやMLに使える)データはどこにあるの?

そのデータすぐに使えるの?

もちろん、データを1から作る必要があることもありますが社内のどこかのデータベースに埋まっていることもあります。
また、仮にあったとしても使えるようになるまで担当者への確認や準備・加工が必要となり、すぐに始められないのが現状としてあります。

実際にIBMの調査ではデータから価値を引き出せている企業は 15% しかない。という結果や、実はAIやMLでの活用はプロジェクト全体で見ると2割ほどであり、残りの8割がデータの収集・探索から準備・加工までのフェーズであると言われています。

553_3


IBMとしては、AIは決して 魔法 ではなく、一つ一つしっかりと進めていく必要があり、そのアプローチを先進テクノロジーを活用して効率的に支援するためにIBM Cloud Pak for Data をリリースしています。

AI Ladder スライド

9


何ができるか?

IBM Cloud Pak for Data はコンテナーベースで稼働しており、プラットホームとしてIBM Cloud Private(ICP)を利用しています。ICP上にデータ利用者・提供者双方のニーズを合わせパッケージ化したソリューションになります。
また、下記の画像に記載はありませんが、Watson関連についてもIBM Cloud Pak for Data 上にadd-onされることが発表されていて、今後拡充されていきます。

製品の特徴としては、

  1. シングルアプリケーション
  2. エンタープライズカタログ
  3. データ仮想化とサンドボックス
  4. Add-on機能
  5. クラウドネイティブ
  6. マルチクラウド対応

があります。

16


詳細機能についてはお問い合わせいただければと思います。


動かしてみる

今回はOS上にIBM Cloud Pak for Data をインストールし、管理UIにログインできるところまでを試してみます。


system requirements

実際に動かしてみる前にシステム要件をみてみます。
https://www.ibm.com/support/knowledgecenter/ja/SSQNUZ_2.1.0/com.ibm.icpdata.doc/zen/install/reqs-ent.html

構成としては3台(3 node cluster (x86-64 cluster))もしくは6台(6+ node cluster (x86-64 cluster))での構成例が記載されています。 また、Power環境で構成することも可能です。

今回は 6+ node cluster (x86-64 cluster)で構成してみます。
また、最新バージョン2.1ではDocker用のRAW Diskについて必須の記載はないが、本環境では利用する設定で進めます。


検証環境

物理基盤で用意することが難しかったので、下記の2種類のサーバーを計6台用意します。

  • Master Server (3台)
    • HW:
    • CPU: 10vcpu
    • Memory: 20GB
    • Disk:
      • 1: 150GB (Rootに100GB)
      • 2: 500GB (Installation path)
      • 3: 200GB (Docker devicemapper)
    • NIC: 1
    • SW:
    • OS: Redhat Enterprise Linux 7.5

  • Node Server (3台)
    • HW:
    • CPU: 16vcpu
    • Memory: 64GB
    • Disk:
      • 1: 150GB (Rootに100GB)
      • 2: 500GB (Installation path)
      • 3: 500GB (Data path)
      • 4: 200GB (Docker devicemapper)
    • NIC: 1
    • SW:
    • OS: Redhat Enterprise Linux 7.5

110624


サーバー環境についてはいくつかの注意点があります。

  • 今回のスペックでは20人程度のユーザーで利用する環境を想定
  • インストーラーを実行するマスターノード(サーバー)から各サーバーへのSSH接続ができることと秘密鍵、パスワードの準備
  • SElinuxを Permissive に指定
  • [ / ]の領域は 50GB が必要となっていますが、実際に50GBでパーティションを構成すると事前チェックで容量不足となるので多めに指定
  • Installation pathとData pathで利用するDiskは XFS でマウントすること
  • Diskの I/O パフォーマンスをチェックすること (要求されたI/Oに達していなくてもインストールはできます)
  • FWは無効にする
  • インストール前にRunning a prerequisite checkを参照し、チェックを行う
  • CPUに関する設定で AVX/AVX2 instruction set must be enabled on the processor. という注意があります。利用されている機器が古い場合は AVX/AVX2に対応していることを確認する


Running a prerequisite checkを行わなくても、要件を満たしていない場合はインストール時に失敗になります。 しかしながら、そこで修正できない場合(特にSELinuxは再起動が必要)、インストールをやり直す必要があるので、必ず実施していただくことをお勧めします。


環境事前準備

IBM Cloud Pak for Data インストール前に下記の準備を行います。
1. Firewallの無効化とSELinuxの設定変更
2. SSH鍵の交換 3. Diskの確認とフォーマット
4. Disk I/O の確認
5. 時刻同期の設定


1. Firewallの無効化とSELinuxの設定変更

下記コマンドを実行して、Firewallの無効化とSELinuxの設定を permissive に変更します。

systemctl disable firewalld
systemctl stop firewalld
sed -i -e "s/SELINUX=enforcing/SELINUX=permissive/g" /etc/selinux/config


2. SSH鍵の交換

IBM Cloud Privateのインストールでも実施する作業です。同等の内容を実施します。

SSH鍵の作成

ssh-keygen -b 4096 -f ~/.ssh/id_rsa -N ""

許可された鍵のリストに追加

cat ~/.ssh/id_rsa.pub | sudo tee -a ~/.ssh/authorized_keys

各ノード間でSSH公開鍵をコピー

サンプル

ssh-copy-id -i ~/.ssh/id_rsa.pu  
<user>@<node_ip_address>
ssh-copy-id -i ~/.ssh/id_rsa.pub root@xxx.xxx.xxx.xxx
ssh-copy-id -i ~/.ssh/id_rsa.pub root@xxx.xxx.xxx.xxx

SSHの再起動

systemctl restart sshd

パスワードなしでお互いにログインできるか確認

ssh (Master or Worker IP)

SSH接続後、抜けるのを忘れずに行う

exit



3. Diskの確認とフォーマット

Diskの確認とXFSでのフォーマットを実施します。
今回の検証は環境はVMで作成しており、下記のようなDisk構成になっています。


・マスターサーバ

# fdisk -l

Disk /dev/sdc: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sdb: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sda: 161.1 GB, 161061273600 bytes, 314572800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x000b0c48

デバイス ブート      始点        終点     ブロック   Id  システム
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200   209715199   103808000   8e  Linux LVM
/dev/sda3       209715200   314572799    52428800   8e  Linux LVM

Disk /dev/mapper/rhel-root: 53.7 GB, 53687091200 bytes, 104857600 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-swap: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-home: 41.9 GB, 41871736832 bytes, 81780736 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト


# lsblk
NAME          MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda             8:0    0  150G  0 disk
├─sda1          8:1    0    1G  0 part /boot
├─sda2          8:2    0   99G  0 part
│ ├─rhel-root 253:0    0  100G  0 lvm  /
│ ├─rhel-swap 253:1    0   10G  0 lvm  [SWAP]
│ └─rhel-home 253:2    0   39G  0 lvm  /home
└─sda3          8:3    0   50G  0 part
  └─rhel-root 253:0    0  100G  0 lvm  /
sdb             8:16   0  500G  0 disk
sdc             8:32   0  200G  0 disk
sr0            11:0    1 1024M  0 rom


・ノードサーバ

# fdisk -l

Disk /dev/sda: 161.1 GB, 161061273600 bytes, 314572800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x000b8340

デバイス ブート      始点        終点     ブロック   Id  システム
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200   209715199   103808000   8e  Linux LVM
/dev/sda3       209715200   314572799    52428800   8e  Linux LVM

Disk /dev/sdd: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sdc: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sdb: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-root: 53.7 GB, 53687091200 bytes, 104857600 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-swap: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-home: 41.9 GB, 41871736832 bytes, 81780736 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト


# lsblk
NAME          MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda             8:0    0  150G  0 disk
├─sda1          8:1    0    1G  0 part /boot
├─sda2          8:2    0   99G  0 part
│ ├─rhel-root 253:0    0  100G  0 lvm  /
│ ├─rhel-swap 253:1    0   10G  0 lvm  [SWAP]
│ └─rhel-home 253:2    0   39G  0 lvm  /home
└─sda3          8:3    0   50G  0 part
  └─rhel-root 253:0    0  100G  0 lvm  /
sdb             8:16   0  500G  0 disk
sdc             8:32   0  500G  0 disk
sdd             8:48   0  200G  0 disk
sr0            11:0    1 1024M  0 rom


インストール領域のフォーマットとマウント

この設定はマスタサーバ、ノードサーバのどちらでも実施します。
今回はどちらも /dev/sdbをインストール領域としてマウントします。

・パーティションを作成

# fdisk /dev/sdb
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0x4c4f64df.

コマンド (m でヘルプ): p   ### 入力する

Disk /dev/sdb: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x4c4f64df

デバイス ブート      始点        終点     ブロック   Id  システム

コマンド (m でヘルプ): n   ### Enter
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p):    ### Enter
Using default response p
パーティション番号 (1-4, default 1):   ### Enter
最初 sector (2048-1048575999, 初期値 2048):    ### Enter
初期値 2048 を使います
Last sector, +sectors or +size{K,M,G} (2048-1048575999, 初期値 1048575999):
初期値 1048575999 を使います
Partition 1 of type Linux and of size 500 GiB is set

コマンド (m でヘルプ): w
パーティションテーブルは変更されました!

ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。


・パーティションの確認
/dev/sdb1があることを確認します。

# ls /dev/ | grep sdb
sdb
sdb1


・XFS でフォーマット

# mkfs -t xfs /dev/sdb1
meta-data=/dev/sdb1              isize=512    agcount=4, agsize=32767936 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=131071744, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=63999, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0


・マウントポイントの作成
今回は /ibm マウントします。

mkdir /ibm


・マウントを実行

mount /dev/sdb1 /ibm  


・マウントの確認

# df -T -h
ファイルシス            タイプ     サイズ   使用   残り 使用% マウント位置
/dev/mapper/rhel-root xfs        100G  1.1G   99G    2% /
devtmpfs              devtmpfs    12G     0   12G    0% /dev
tmpfs                 tmpfs       12G     0   12G    0% /dev/shm
tmpfs                 tmpfs       12G  8.9M   12G    1% /run
tmpfs                 tmpfs       12G     0   12G    0% /sys/fs/cgroup
/dev/sdb1             xfs        500G   34M  500G    1% /ibm
/dev/sda1             xfs       1014M  142M  873M   14% /boot
/dev/mapper/rhel-home xfs         39G   33M   39G    1% /home
tmpfs                 tmpfs      2.4G     0  2.4G    0% /run/user/0


データ領域のフォーマットをマウント

データ領域はノードサーバ上ののみ構成します。
手順はインストール領域に行った手順と変わりません。
利用するDisk領域は /dev/sdc です。


・パーティションを作成

# fdisk /dev/sdc
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0xbb5968dc.

コマンド (m でヘルプ): n
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p):
Using default response p
パーティション番号 (1-4, default 1):
最初 sector (2048-1048575999, 初期値 2048):
初期値 2048 を使います
Last sector, +sectors or +size{K,M,G} (2048-1048575999, 初期値 1048575999):
初期値 1048575999 を使います
Partition 1 of type Linux and of size 500 GiB is set

コマンド (m でヘルプ): w
パーティションテーブルは変更されました!

ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。


・パーティションの確認
/dev/sdc1があることを確認する

# ls /dev/ | grep sdc
sdc
sdc1


・XFS でフォーマット

# mkfs -t xfs /dev/sdc1
meta-data=/dev/sdc1              isize=512    agcount=4, agsize=32767936 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=131071744, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=63999, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0


・マウントポイントの作成
今回は /data マウントします。

mkdir /data


・マウントを実行

mount /dev/sdc1 /data  


・マウントの確認

# df -T -h
ファイルシス            タイプ     サイズ   使用   残り 使用% マウント位置
/dev/mapper/rhel-root xfs        100G  1.1G   99G    2% /
devtmpfs              devtmpfs    32G     0   32G    0% /dev
tmpfs                 tmpfs       32G     0   32G    0% /dev/shm
tmpfs                 tmpfs       32G  8.9M   32G    1% /run
tmpfs                 tmpfs       32G     0   32G    0% /sys/fs/cgroup
/dev/sdc1             xfs        500G   33M  500G    1% /data
/dev/sdb1             xfs        500G   34M  500G    1% /ibm
/dev/sda1             xfs       1014M  142M  873M   14% /boot
/dev/mapper/rhel-home xfs         39G   33M   39G    1% /home
tmpfs                 tmpfs      6.3G     0  6.3G    0% /run/user/0


Docker用の領域の確認

下記がDocker用の領域です。

・マスターサーバ

# fdisk -l

---省略---
Disk /dev/sdc: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
---省略---


・ノードサーバ

# fdisk -l

---省略---
Disk /dev/sdd: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
---省略---


4. Disk I/O の確認

ディスクのパフォーマンスの確認項目があります。本番環境ではKnowledge Centerに記載のあるDiskを超えるもしくは匹敵するものを用意する必要があります。


  1. レイテンシー

The value must be better or comparable to: 512000 bytes (512 KB) copied, 1.7917 s, 286 KB/s


・マスターサーバ

# dd if=/dev/zero of=/ibm/testfile bs=512 count=1000 oflag=dsync
1000+0 レコード入力
1000+0 レコード出力
512000 バイト (512 kB) コピーされました、 0.83867 秒、 610 kB/秒


・ノードサーバ

# dd if=/dev/zero of=/ibm/testfile bs=512 count=1000 oflag=dsync
1000+0 レコード入力
1000+0 レコード出力
512000 バイト (512 kB) コピーされました、 0.514063 秒、 996 kB/秒


  1. スループット

The value must be better or comparable to: 1073741824 bytes (1.1 GB) copied, 5.14444 s, 209 MB/s


・マスターサーバ

# dd if=/dev/zero of=/ibm/testfile bs=1G count=1 oflag=dsync
1+0 レコード入力
1+0 レコード出力
1073741824 バイト (1.1 GB) コピーされました、 3.55129 秒、 302 MB/秒


・ノードサーバ

# dd if=/dev/zero of=/ibm/testfile bs=1G count=1 oflag=dsync
1+0 レコード入力
1+0 レコード出力
1073741824 バイト (1.1 GB) コピーされました、 3.49375 秒、 307 MB/秒

テストでファイルが作成されているので忘れずに削除します。

rm -rf /ibm/testfile


5. 時刻同期の設定

時刻同期の設定を行います。
IBM Cloud Pak for Data は ntpd ではなく、chrony の利用が推奨されています。 chronyが動作していることを確認します。

# systemctl status chronyd
● chronyd.service - NTP client/server
   Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
   Active: active (running) since 月 2019-06-10 17:02:27 JST; 11min ago
     Docs: man:chronyd(8)
           man:chrony.conf(5)
  Process: 915 ExecStartPost=/usr/libexec/chrony-helper update-daemon (code=exited, status=0/SUCCESS)
  Process: 901 ExecStart=/usr/sbin/chronyd $OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 910 (chronyd)
   CGroup: /system.slice/chronyd.service
           └─910 /usr/sbin/chronyd

 6月 10 17:02:26 icp4d2-m1.icp.local systemd[1]: Starting NTP client/server...
 6月 10 17:02:26 icp4d2-m1.icp.local chronyd[910]: chronyd version 3.2 starting (+CMDMON +NTP +REFCLOCK +RTC +PRIVDROP +SCFILTER +SECHASH +SIGND +AS... +DEBUG)
 6月 10 17:02:26 icp4d2-m1.icp.local chronyd[910]: Frequency -22.831 +/- 0.743 ppm read from /var/lib/chrony/drift
 6月 10 17:02:27 icp4d2-m1.icp.local systemd[1]: Started NTP client/server.
 6月 10 17:02:32 icp4d2-m1.icp.local chronyd[910]: Selected source 133.243.238.244
 6月 10 17:03:37 icp4d2-m1.icp.local chronyd[910]: Selected source 133.243.238.164
Hint: Some lines were ellipsized, use -l to show in full.


環境事前チェック

準備した環境が適切に構成されているかチェックするためのツールが用意されています。 ツールは下記のようなことを確認します。

  • ディスクのスループットと入出力のパフォーマンス
  • 必要なポート
  • CPU/Memory/Disk
  • Firewallが無効であること
  • SELinuxがPermissiveモードとなっていること


ツールのダウンロード

Github上に最新のものが公開されているので、git が使える端末からダウンロードします。

git clone https://github.com/IBM-ICP4D/icp4d-serviceability-cli.git


ツールのコピー

SCPやSFTP等を利用して、IBM Cloud Pak for Data をインストールするVM上にコピーします。
今回は事前に /ibm/InstallationPackage/utils/ICP4D-Support-Tools/ をVM上に作成し、コピーしています。

・sample

scp -r ./icp4d-serviceability-cli/ root@xxx.xxx.xxx.xxx:/ibm/InstallationPackage/utils/ICP4D-Support-Tools/


ツールの実行

Masterサーバ、Nodeサーバそれぞれで実行します。


Masterサーバ

cd /ibm/InstallationPackage/utils/ICP4D-Support-Tools/icp4d-serviceability-cli
./icp4d_tools.sh --preinstall --type=master --install_dir=/ibm


・ERRORが出力される場合
弊社環境ではいくつかのエラーが発生しました。エラーメッセージ内に対処方法の記載がありますので、個別に対処してください。今回の環境では下記のエラーが発生しています。

# ./icp4d_tools.sh --preinstall --type=master --install_dir=/ibm

no crontab for root
##########################################################################################
Ensuring the IPv4 IP Forwarding is set to enabled
ERROR: The sysctl config has IPv4 IP forwarding set to disabled (net.ipv4.ip_forward = 0). IPv4 forwarding needs to be enabled (net.ipv4.ip_forward = 1). To enable IPv4 forwarding we recommend use of the following commands: "sysctl -w net.ipv4.ip_forward=1" or "echo 1 > /proc/sys/net/ipv4/ip_forward".
##########################################################################################
##########################################################################################
Ensuring the vm.max_map_count under sysctl is at least 262144
ERROR: The sysctl configuration for vm.max_map_count is not at least 262144. Please run the following command to set it to 262144 "sysctl -w vm.max_map_count=262144".
##########################################################################################
Finished with ERROR, please check /tmp/preInstallCheckResult


(参考)上記2点についてERROR内容に記載されている方法以外にファイルを直接編集する方法

echo -e "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
echo -e "vm.max_map_count = 262144" >> /etc/sysctl.conf
sysctl -p


・正常に終了した場合

# ./icp4d_tools.sh --preinstall --type=master --install_dir=/ibm

no crontab for root
Finished successfully! This node meets the requirement


Nodeサーバ

cd /ibm/InstallationPackage/utils/ICP4D-Support-Tools/icp4d-serviceability-cli
./icp4d_tools.sh --preinstall --type=worker --install_dir=/ibm --data_dir=/data



# cd /ibm/InstallationPackage/utils/ICP4D-Support-Tools/icp4d-serviceability-cli
# ./icp4d_tools.sh --preinstall --type=worker --install_dir=/ibm --data_dir=/data

no crontab for root
##########################################################################################
Ensuring the IPv4 IP Forwarding is set to enabled
ERROR: The sysctl config has IPv4 IP forwarding set to disabled (net.ipv4.ip_forward = 0). IPv4 forwarding needs to be enabled (net.ipv4.ip_forward = 1). To enable IPv4 forwarding we recommend use of the following commands: "sysctl -w net.ipv4.ip_forward=1" or "echo 1 > /proc/sys/net/ipv4/ip_forward".
##########################################################################################
Finished with ERROR, please check /tmp/preInstallCheckResult


・正常に終了した場合

# ./icp4d_tools.sh --preinstall --type=worker --install_dir=/ibm --data_dir=/data

no crontab for root
Finished successfully! This node meets the requirement


インストール


ファイルの準備

インストールに使用するファイルをIBM社のWebサイトからダウンロードします。
今回使用するファイルは下記になります。

  • IBM Cloud Private for Data Enterprise Edition V2.1.0 - Includes ICP (Default Install) - Linux x86 Multiplatform Multilingual
    • 部品番号: CC1YCML
    • Size: 0.5MB
    • Date posted: 29 5 2019

このファイルをダウンロード後、操作するマスターサーバの /ibm コピーします。


wgetのインストール

# yum install -y wget
読み込んだプラグイン:product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
dvd                                               | 4.3 kB  00:00:00 
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> パッケージ wget.x86_64 0:1.14-15.el7_4.1 を インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================================================================================================================
Package                            アーキテクチャー                     バージョン                                     リポジトリー                       容量
================================================================================================================================================================
インストール中:
 wget                               x86_64                               1.14-15.el7_4.1                                dvd                               547 k

 トランザクションの要約
 ================================================================================================================================================================
 インストール  1 パッケージ

 総ダウンロード容量: 547 k
 インストール容量: 2.0 M
 Downloading packages:
 警告: /media/dvd/Packages/wget-1.14-15.el7_4.1.x86_64.rpm: ヘッダー V3 RSA/SHA256 Signature、鍵 ID fd431d51: NOKEY
 wget-1.14-15.el7_4.1.x86_64.rpm の公開鍵がインストールされていません
 file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release から鍵を取得中です。
 Importing GPG key 0xFD431D51:
  Userid     : "Red Hat, Inc. (release key 2) <security@redhat.com>"
  Fingerprint: 567e 347a d004 4ade 55ba 8a5f 199e 2f91 fd43 1d51
  Package    : redhat-release-server-7.5-8.el7.x86_64 (@anaconda/7.5)
  From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 Importing GPG key 0x2FA658E0:
  Userid     : "Red Hat, Inc. (auxiliary key) <security@redhat.com>"
  Fingerprint: 43a6 e49c 4a38 f4be 9abf 2a53 4568 9c88 2fa6 58e0
  Package    : redhat-release-server-7.5-8.el7.x86_64 (@anaconda/7.5)
  From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 Running transaction check
 Running transaction test
 Transaction test succeeded
 Running transaction
   インストール中          : wget-1.14-15.el7_4.1.x86_64                                                                                                     1/1
  dvd/productid                                                                                                                            | 1.6 kB  00:00:00
   検証中                  : wget-1.14-15.el7_4.1.x86_64                                                                                                     1/1

 インストール:
   wget.x86_64 0:1.14-15.el7_4.1

 完了しました!


インストーラのダウンロード

コピーしたファイルを実行し、インストーラをダウンロードします。

cd /ibm
chmod +x ICP4D_ENT_INC_ICP_x86_V2.1.bin
./ICP4D_ENT_INC_ICP_x86_V2.1.bin


・ダウンロードを行うインターフェース

***************************************************************************************************************
*** IBM Cloud Private for Data Enterprise Edition V2.1 - Includes ICP (Default Install Image) - Linux x86 ***
***************************************************************************************************************
Ready to download 'IBM Cloud Private for Data Enterprise Edition V2.1 - Includes ICP (Default Install Image) - Linux x86'? (y/n) : y

************************************************************************
 Executing BIN File
************************************************************************
Creating directory /ibm/icp4d (make sure you have root access), starting the download.

Downloading the tarball to /icp4d_ee_2.1.0.0_x86_64.tar
Downloading...
`icp4d_ee_2.1.0.0_x86_64.tar' に保存中

100%[===================================>] 45,488,312,320 17.6MB/s 時間 30m 49s

2019-06-12 13:42:35 (23.5 MB/s) - `icp4d_ee_2.1.0.0_x86_64.tar' へ保存完了 [45488312320/45488312320]

Download completed.

BIN File ended cleanly

ダウンロードしたファイルを解凍し、実行権限を付与します。

cd /ibm/icp4d
tar -xvf icp4d_ee_2.1.0.0_x86_64.tar -C /ibm
chmod +x /ibm/installer.x86_64.466


構成ファイルの作成

今回はインストール用の構成ファイルを作成しインストールを実行します。
ここでは、構成ファイルのテンプレートを作成し、環境に合った形に編集します。


・構成ファイル作成

cd /ibm
./installer.x86_64.466 --get-conf-user

画面が遷移し、下記画面が表示されます。

The installer includes the module path '/ibm/modules'. The following packages will be installed:

    ibm-dde-0.13.14-x86_64.tar
    ibm-iisee-zen-1.0.0.tar

Press Enter to confirm and continue the installation.


The installer detected a configuration file. Do you want to use the parameters in this file for your installation? [Y/N]:

前回のバージョンまでであれば、ここで構成ファイルが作成され、インストーラの画面が閉じますが、本バージョンでは、 引き続きインストール作業の選択画面に進んでしまいます。 ここで一度 Ctrl+C を実行し、プロセスを終了させます。

構成ファイルですが、wdp.confというファイルがls -lで確認できるかと思います。

# ls -l
合計 26021944
-rwxr-xr-x. 1 root root       16611  6月 12 12:12 ICP4D_ENT_INC_ICP_x86_V2.1.bin
drwxr-xr-x. 3 root root          19  6月 11 14:18 InstallationPackage
drwx------. 2 root root          41  6月 12 13:11 icp4d
-rwxr-xr-x. 1 root root 26646443846  5月 30 08:03 installer.x86_64.466
drwxr-xr-x. 2 root root          71  5月 29 12:47 modules
-rw-r--r--. 1 root root        1818  6月 12 14:21 wdp.conf

wdp.confを開き、編集します。

####省略####
# If need to use other ssh port than 22, add the line ssh_port=xxx
virtual_ip_address_1=192.168.100.196    ## <- VIPを指定
virtual_ip_address_2=192.168.100.197    ## <- VIPを指定
ssh_port=22
user=root                               ## <- 元ファイルに無いが追記。実行するユーザーを指定
master_node_1=192.168.100.190           ## <-この先は用意したサーバーのIP、ディレクトリ、RAW Diskを追加
master_node_path_1=/ibm
master_docker_disk_1=/dev/sdc
master_node_2=192.168.100.191
master_node_path_2=/ibm
master_docker_disk_2=/dev/sdc
master_node_3=192.168.100.192
master_node_path_3=/ibm
master_docker_disk_3=/dev/sdc
worker_node_1=192.168.100.193
worker_node_path_1=/ibm
worker_node_data_1=/data
worker_docker_disk_1=/dev/sdd
worker_node_2=192.168.100.194
worker_node_path_2=/ibm
worker_node_data_2=/data
worker_docker_disk_2=/dev/sdd
worker_node_3=192.168.100.195
worker_node_path_3=/ibm
worker_node_data_3=/data
worker_docker_disk_3=/dev/sdd
#management_node_1=
#management_node_path_1=
#management_node_2=
#management_node_path_2=
#va_node_1=
#va_node_path_1=
#proxy_node_1=
#proxy_node_path_1=
#proxy_node_docker_disk_1=


インストーラの実行

インストーラを実行します。

./installer.x86_64.466


・画面が遷移します

The installer includes the module path '/ibm/modules'. The following packages will be installed:

    ibm-dde-0.13.14-x86_64.tar
    ibm-iisee-zen-1.0.0.tar

Press Enter to confirm and continue the installation.


The installer detected a configuration file. Do you want to use the parameters in this file for your installation? [Y/N]: y
Validating the information in the file...


By typing (A), you agree to the terms and conditions: http://www14.software.ibm.com/cgi-bin/weblap/lap.pl?la_formnum=&li_formnum=L-DNAA-BBCT4D&title=IBM+Cloud+Private+for+Data+Enterprise+Edition+V2.1&l=en

Type (R) if you do not agree to the terms and conditions

Please type (A) for accept or (R) for reject: a


Please type root's password for all the nodes:


・インストール完了

Running roles: PostInstall on host group: all

Task ['PostInstall'] has completed successfully
Installation was successful and took 02:56:42
Access the zen web portal using the following URL: https://192.168.100.196:31843


管理UIへのログイン

インストール完了後に表示されるURL https://192.168.100.196:31843 にWebブラウザにアクセスします

ユーザー名、パスワードは下記になります。

  • ユーザー名: admin
  • パスワード: password


IBM Cloud Pak for Data Knowledge center

https://www.ibm.com/support/knowledgecenter/SSQNUZ_current/com.ibm.icpdata.doc/zen/overview/overview.html


以上です。 IBM Cloud Pak for Data ですが、環境の事前準備をちゃんと行えば、インストールは全自動なのでお手軽に使い始めることができます。 ただ、今回の環境のスペックを見ていただくとわかる通り、環境の準備が一番大変なのでそこだけはなんとか頑張ってください。

そんなこと言っても環境の用意なんかできるかー!という方向けに弊社環境でテストしていただくと言った調整も個別にできますので、 ご希望のユーザー様は下記まで「ブログ見てIBM Cloud Pak for Data 使って(作って)みたい」とご連絡いただければと思います。

https://www.networld.co.jp/product/ibm-software/

すずきけ

2019/06/18

IBM Cloud Private 3.2 インストール RHEL編

みなさん、こんにちは。 これまでIBM Cloud Privateについてインストール含めいくつか投稿してきましたが 先日、IBM Cloud Private 3.2 (ICP3.2)がリリースされましたので、少し構成を変えてインストール手順をご紹介したいと思います。

ICP3.2では、これまで別にインストールが必要であったMultiCloud Managerを一緒にインストールすることができるようになりました。 今回は、1台のVM上にICPとMCMを同時にインストールし、管理対象として作成済みの別のICP環境が登録できるところまでをご紹介します。


リソース

サーバーリソースやインストーラの準備をします。

サーバー

今回は1台のサーバーに全コンポーネントを構成します。

CPU: 24core
Memory: 32GB
Disk: 500GB
NIC: 1
OS: Redhat Enterprise Linux 7.6

Diskは下記のように構成しています。

    # lsblk
    NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
    sda 8:0 0 500G 0 disk
    ├─sda1 8:1 0 1G 0 part /boot
    └─sda2 8:2 0 499G 0 part
    ├─rhel_icp--mcm--32-root 253:0 0 450G 0 lvm /
     ├─rhel_icp--mcm--32-swap 253:1 0 15.8G 0 lvm [SWAP]      └─rhel_icp--mcm--32-home 253:2 0 33.2G 0 lvm /home


インストーラ

IBM社のWebサイトからインストーラをダウンロードし、対象のサーバーにコピーします。 今回は /root/ にコピーします。

  • IBM Cloud Private 3.2 for Linux (x86_64) Docker English

    • 部品番号: CC1W1EN
    • Size: 10,201MB
    • Date posted: 31 5 2019
  • IBM Cloud Private 3.2 Docker for Linux (x86_64) English

    • 部品番号: CC1W6EN
    • Size: 111MB
    • Date posted: 31 5 2019


準備

インストールの実行前にサーバーの準備、確認を行います。

利用ポートの空き状況確認

Knowledge Center
下記のコマンドを実行し、ポートが開いて利用可能か確認します。

ss -tnlp | awk '{print $4}'| egrep -w "<port_numbers>"

ポートが使用されていない場合、何も出力されません。
本環境では、FWを停止しています。

systemctl disable firewalld
systemctl stop firewalld


/etc/hosts に各ノードの情報を追記

Knowledge Center

全てのノードのIPアドレスとホスト名を各ノードの /etc/hosts に追記します。

Sample

127.0.0.1       localhost
# 127.0.1.1     <host_name>
# The following lines are desirable for IPv6 capable hosts
#::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
<master_node_IP_address> <master_node_host_name>
<worker_node_1_IP_address> <worker_node_1_host_name>
<worker_node_2_IP_address> <worker_node_2_IP_host_name>
<proxy_node_IP_address> <proxy_node_host_name>


今回の環境

# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
# 127.0.0.1   icp-mcm-32.icp.local
# ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.180  icp-mcm-32.icp.local


今回の環境は全てを1台でまかなうため、1台のエントリのみを追記しています。


Pythonのインストール確認

Knowledge Center

Pythonが必要になるので、インストールされていることを確認します。

python --version


時刻の同期

Knowledge Center

複数のノードで構成する場合は時刻を同期する必要があります。
手順上はNTPでの同期が可能となっていますが、今回は Chrony で構成されていることを確認します。

# systemctl status chronyd
● chronyd.service - NTP client/server
   Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
   Active: active (running) since 金 2019-06-14 12:11:53 JST; 2 days ago
     Docs: man:chronyd(8)
           man:chrony.conf(5)
 Main PID: 7010 (chronyd)
    Tasks: 1
   Memory: 76.0K
   CGroup: /system.slice/chronyd.service
           └─7010 /usr/sbin/chronyd

 6月 14 12:11:53 icp-mcm-32.icp.local systemd[1]: Starting NTP client/server...
 6月 14 12:11:53 icp-mcm-32.icp.local chronyd[7010]: chronyd version 3.2 starting (+CMDMON +NTP +REFCLOCK +RTC +PRIVDROP +SCFILTER +SECHASH +SIGND +... +DEBUG)
 6月 14 12:11:53 icp-mcm-32.icp.local chronyd[7010]: Frequency -22.606 +/- 0.053 ppm read from /var/lib/chrony/drift
 6月 14 12:11:53 icp-mcm-32.icp.local systemd[1]: Started NTP client/server.
 6月 14 12:11:59 icp-mcm-32.icp.local chronyd[7010]: Selected source 133.243.238.163
 6月 14 12:12:00 icp-mcm-32.icp.local chronyd[7010]: Selected source 133.243.238.244
 6月 17 00:39:45 icp-mcm-32.icp.local chronyd[7010]: Selected source 133.243.238.163
Hint: Some lines were ellipsized, use -l to show in full.


Dockerのインストール

Knowledge Center

Dockerを事前にインストールします。インストールに使用するファイルは事前にダウンロードし用意したファイルです。

  • IBM Cloud Private 3.2 Docker for Linux (x86_64) English
    • 部品番号: CC1W6EN
    • Size: 111MB
    • Date posted: 31 5 2019

複数台で構成する場合は事前(手動)インストール、自動的にインストールどちらでも構成は可能です。
詳細はKnowledge Centerをご確認ください。

今回は1台構成ですので、事前に手動でインストールします。

cd /root/
./icp-docker-18.06.2_x86_64.bin --install
systemctl enable docker
systemctl start docker


ICPインストール

ICPをインストールする手順です。

Docker Imageファイルの読み込み

Knowledge Center

ここでは事前にダウンロード、コピーした下記のファイルを使います。

  • IBM Cloud Private 3.2 for Linux (x86_64) Docker English
    • 部品番号: CC1W1EN  
    • Size: 10,201MB  
    • Date posted: 31 5 2019  

下記コマンドを実行してファイルを読み込みます。

cd /root/
tar xf ibm-cloud-private-x86_64-3.2.0.tar.gz -O | sudo docker load

※時間がかかります

ファイルを確認します。

# docker images
REPOSITORY                                      TAG                              IMAGE ID            CREATED             SIZE
ibmcom/icp-inception-amd64                      3.2.0-ee                         7bfbda77de25        3 weeks ago         1.07GB
ibmcom/mcm-api-amd64                            3.2.0                            31d264fa970c        3 weeks ago         148MB
ibmcom/mcm-klusterlet-amd64                     3.2.0                            31612377c197        3 weeks ago         293MB
ibmcom/icp-management-ingress-amd64             2.3.0                            44a21aa4ae07        3 weeks ago         561MB
ibmcom/icp-platform-header-amd64                3.2.0                            923bb12c5d41        3 weeks ago         399MB
ibmcom/icp-catalog-ui-amd64                     3.2.0                            8f05cbf2a670        3 weeks ago         268MB
ibmcom/mcm-ui-amd64                             3.2.0                            4738b8251378        3 weeks ago         368MB
ibmcom/mcm-ui-api-amd64                         3.2.0                            1b4c073e1bac        3 weeks ago         184MB
ibmcom/iam-policy-administration-amd64          3.2.0                            391d5a92f6e5        3 weeks ago         609MB
ibmcom/icp-web-terminal-amd64                   3.2.0                            f95426f58aff        3 weeks ago         832MB
ibmcom/icp-platform-api-amd64                   3.2.0                            22a9cf0ddb02        3 weeks ago         1.22GB
ibmcom/deployable-amd64                         3.2.0                            c98849d9e5b6        4 weeks ago         115MB
ibmcom/mcm-application-amd64                    3.2.0                            edb19fe8ace8        4 weeks ago         109MB
ibmcom/icp-platform-ui-amd64                    3.2.0                            84ecfd6c527e        4 weeks ago         322MB
ibmcom/iam-policy-decision-amd64                3.2.0                            8593f2a0f0ce        4 weeks ago         90.7MB
ibmcom/mcm-service-registry-amd64               3.2.0                            33e5253e5d11        4 weeks ago         106MB
ibmcom/grc-ui-amd64                             3.2.0                            586b76295743        4 weeks ago         315MB
ibmcom/minio-mc-amd64                           RELEASE.2019-04-03T17-59-57Z.1   f1f85cc957ab        4 weeks ago         261MB
ibmcom/minio-amd64                              RELEASE.2019-04-09T01-22-30Z.1   8a377ffc548d        4 weeks ago         289MB
ibmcom/icp-identity-manager-amd64               3.2.0                            ac62afda0220        4 weeks ago         229MB
ibmcom/mcm-compliance-amd64                     3.2.0                            c0a88760dcf8        4 weeks ago         460MB
ibmcom/icp-platform-auth-amd64                  3.2.0                            d2a5d45be251        4 weeks ago         804MB
ibmcom/search-collector-amd64                   3.2.0                            d0d43548ce0a        4 weeks ago         120MB
ibmcom/logging-pki-init-amd64                   2.2.0-f3                         963ccf877a15        4 weeks ago         645MB
ibmcom/mcm-operator-amd64                       3.2.0                            81d90af8d5e3        4 weeks ago         134MB
ibmcom/mcm-controller-amd64                     3.2.0                            138c701353d4        4 weeks ago         112MB
ibmcom/icp-redisgraph-amd64                     1.0.14                           06906ccb90e8        5 weeks ago         222MB
ibmcom/search-aggregator-amd64                  3.2.0                            2483f86b6645        5 weeks ago         118MB
ibmcom/draino-amd64                             0.1.1                            8c09acc5306f        5 weeks ago         44.9MB
ibmcom/node-problem-detector-amd64              v0.5.1                           ccd6e755b1f7        5 weeks ago         126MB
ibmcom/kubectl-amd64                            v1.13.5                          0e095c9d19b1        5 weeks ago         259MB
ibmcom/default-http-backend-amd64               1.5.1                            ac9ad2ce402e        5 weeks ago         209MB
ibmcom/metrics-server-amd64                     v0.3.1.1                         981d9944c685        5 weeks ago         243MB
ibmcom/coredns-amd64                            1.2.6                            41ba56a038f2        5 weeks ago         259MB
ibmcom/icp-identity-provider-amd64              3.2.0                            a945ed82b550        5 weeks ago         260MB
ibmcom/ma-file-annotator-amd64                  3.2.0                            1e9378e5e939        5 weeks ago         849MB
ibmcom/sas-base-amd64                           3.2.0                            5426af184cc8        5 weeks ago         849MB
ibmcom/ibmcloud-image-enforcement-amd64         0.2.1                            c02d293faf3e        5 weeks ago         244MB
ibmcom/mcm-weave-scope-amd64                    3.2.0                            ccd605b03abe        5 weeks ago         139MB
ibmcom/icp-mongodb-exporter-amd64               3.2.0                            103d5b1ea1a2        5 weeks ago         366MB
ibmcom/icp-initcontainer-amd64                  1.0.0-f3                         9c80451d2053        5 weeks ago         204MB
ibmcom/icp-memcached-amd64                      1.5.12-icp                       351e255d7fa0        5 weeks ago         264MB
ibmcom/system-healthcheck-service-amd64         3.2.0                            f53bb7444bdd        5 weeks ago         122MB
ibmcom/curl-amd64                               4.2.0-f3                         db09cc8e9b7f        5 weeks ago         221MB
ibmcom/icp-helm-repo-amd64                      3.2.0                            32452b7888f0        5 weeks ago         262MB
ibmcom/icp-iam-onboarding-amd64                 3.2.0                            168c7ba73f74        5 weeks ago         386MB
ibmcom/velero-amd64                             v0.11.0                          5479556ad928        5 weeks ago         142MB
ibmcom/icp-secret-watcher-amd64                 3.2.0                            b700909d1c73        5 weeks ago         116MB
ibmcom/hyperkube-amd64                          v1.13.5-ee                       6ef65d9fca2d        5 weeks ago         628MB
ibmcom/reg-crawler-amd64                        3.2.0                            c7de11520b33        5 weeks ago         1.04GB
ibmcom/live-crawler-amd64                       3.2.0                            ba9e1a80de72        5 weeks ago         1.01GB
ibmcom/weave-collector-amd64                    3.2.0                            3fbffe321d27        5 weeks ago         108MB
ibmcom/grc-ui-api-amd64                         3.2.0                            9451e4fe0b9b        5 weeks ago         181MB
ibmcom/nvidia-device-plugin-amd64               1.3                              606e62095e10        5 weeks ago         136MB
ibmcom/icp-image-manager-amd64                  2.2.5                            fd074bbc8a32        5 weeks ago         152MB
ibmcom/icp-cert-manager-webhook-amd64           0.7.0                            b946908a521f        5 weeks ago         150MB
ibmcom/icp-cert-manager-controller-amd64        0.7.0                            71eab1e42b7a        5 weeks ago         198MB
ibmcom/icp-cert-manager-cainjector-amd64        0.7.0                            f542781230d5        5 weeks ago         138MB
ibmcom/icp-cert-manager-acmesolver-amd64        0.7.0                            9822ff84189b        5 weeks ago         110MB
ibmcom/icp-filebeat-amd64                       5.5.1-f3                         dd16476aa50d        5 weeks ago         380MB
ibmcom/dashboard-controller-amd64               v1.1.0                           d703d855e8bf        6 weeks ago         35.7MB
ibmcom/kmsplugin-amd64                          3.2.0                            2507e10a11bb        6 weeks ago         95.5MB
ibmcom/fluentd-amd64                            v1.4.1-icp                       6f1b729a957a        6 weeks ago         309MB
ibmcom/icp-mongodb-install-amd64                3.2.0                            928fcedd0008        6 weeks ago         19.9MB
ibmcom/elasticsearch-plugin-searchguard-amd64   2.0.0-f3                         4ff0e0c66702        6 weeks ago         331MB
ibmcom/alert-rule-controller-amd64              v1.1.0                           f1af965b76a4        6 weeks ago         134MB
ibmcom/grafana-amd64                            5.2.0-f3                         d93651ccf931        6 weeks ago         336MB
ibmcom/searchguard-init-amd64                   2.0.1-f3                         68147bcc08e4        6 weeks ago         557MB
ibmcom/logstash-liveness-probe-amd64            1.0.2-f3                         05b31dea80e8        6 weeks ago         70.5MB
ibmcom/icp-logstash-amd64                       5.5.1-f3                         37ca0b7d27a2        6 weeks ago         902MB
ibmcom/icp-kibana-amd64                         5.5.1-f3                         c9dc59849690        6 weeks ago         745MB
ibmcom/indices-cleaner-amd64                    1.1.0-f3                         49468000f7fe        6 weeks ago         338MB
ibmcom/icp-elasticsearch-amd64                  5.5.1-f3                         a153c7759945        6 weeks ago         621MB
ibmcom/tiller-amd64                             v2.12.3-icp-3.2.0                1178f59455bb        6 weeks ago         154MB
ibmcom/icp-helm-rudder-amd64                    3.2.0                            eb81962c0b1c        6 weeks ago         110MB
ibmcom/icp-helm-api-amd64                       3.2.0                            401f30a6d7f2        6 weeks ago         205MB
ibmcom/metering-ui-amd64                        3.2.0                            04fac400e98d        6 weeks ago         441MB
ibmcom/metering-data-manager-amd64              3.2.0                            c415a2ddad5f        6 weeks ago         215MB
ibmcom/kms-pep-amd64                            3.2.0                            7aaeb5363df6        6 weeks ago         121MB
ibmcom/kms-onboarding-amd64                     3.2.0                            75a9d249a30a        6 weeks ago         136MB
ibmcom/kms-lifecycle-amd64                      3.2.0                            d0cdac0f6132        6 weeks ago         122MB
ibmcom/kms-persistence-amd64                    3.2.0                            c720b5c2b0df        6 weeks ago         125MB
ibmcom/kms-crypto-amd64                         3.2.0                            4a4e268b04e0        6 weeks ago         121MB
ibmcom/kms-api-amd64                            3.2.0                            8603ca2db4b4        6 weeks ago         120MB
ibmcom/icp-audit-service-amd64                  3.2.0                            e06a726497c3        6 weeks ago         204MB
ibmcom/ma-mcm-controller-amd64                  3.2.0                            823342b3a4be        6 weeks ago         40.2MB
ibmcom/registry-amd64                           2.6.2.4                          e3f692eb854c        6 weeks ago         284MB
ibmcom/process-ma-hf-amd64                      3.2.0                            0e7f2c73560d        6 weeks ago         689MB
ibmcom/ma-file-wl-gen-amd64                     3.2.0                            bdbf4fa13cd7        6 weeks ago         1.22GB
ibmcom/rootkit-annotator-amd64                  3.2.0                            af01468d8f7b        6 weeks ago         599MB
ibmcom/cos-indexer-amd64                        3.2.0                            5fd1ccffe5d8        6 weeks ago         907MB
ibmcom/usncrawler-amd64                         3.2.0                            45abd51f0903        6 weeks ago         162MB
ibmcom/secure-config-annotator-amd64            3.2.0                            6315ff6e5746        6 weeks ago         786MB
ibmcom/password-annotator-amd64                 3.2.0                            b9541d6c7720        6 weeks ago         658MB
ibmcom/compliance-annotator-amd64               3.2.0                            310b5e5a2797        6 weeks ago         725MB
ibmcom/vulnerability-annotator-amd64            3.2.0                            ed1a6b44e411        6 weeks ago         744MB
ibmcom/config-parser-amd64                      3.2.0                            bcb42091c7de        6 weeks ago         692MB
ibmcom/py-generic-indexer-amd64                 3.2.0                            d93faf78e54c        6 weeks ago         706MB
ibmcom/icp-audit-service-nr-amd64               3.2.0                            4e16f0bc598e        6 weeks ago         411MB
ibmcom/istio-proxyv2-amd64                      1.0.2.3                          c7870313c9d0        7 weeks ago         386MB
ibmcom/istio-proxy_init-amd64                   1.0.2.2                          6da5ea9248b7        8 weeks ago         122MB
ibmcom/istio-pilot-amd64                        1.0.2.2                          7cef95b2543b        8 weeks ago         290MB
ibmcom/istio-grafana-amd64                      1.0.2.2                          a8cf54903a32        2 months ago        284MB
ibmcom/kafka-amd64                              0.10.0.4                         7dcdd6710c8a        2 months ago        1.69GB
ibmcom/icp-storage-util-amd64                   3.2.0                            39f6d07ea4f0        2 months ago        100MB
ibmcom/nginx-ingress-controller-amd64           0.23.0                           c885a0010dfc        2 months ago        652MB
ibmcom/gluster-amd64                            v4.1.5.1                         c4e893bb3081        3 months ago        363MB
ibmcom/heketi-amd64                             v8.0.0.1                         13127dc55ac9        3 months ago        285MB
ibmcom/prometheus-amd64                         v2.8.0                           f57ed0abd85c        3 months ago        109MB
ibmcom/icp-mongodb-amd64                        4.0.6                            a3abd47e8d61        3 months ago        394MB
ibmcom/k8szk-amd64                              v5                               3158387c8090        3 months ago        711MB
ibmcom/calico-node-amd64                        v3.5.2                           c90e4b49722e        3 months ago        72.7MB
ibmcom/calico-cni-amd64                         v3.5.2                           1c5756b05a3a        3 months ago        83.6MB
ibmcom/calico-ctl-amd64                         v3.5.2                           11a8f7d2a6ab        3 months ago        39.8MB
ibmcom/calico-kube-controllers-amd64            v3.5.2                           9abd28f0ab06        3 months ago        50.5MB
ibmcom/service-catalog-service-catalog-amd64    v0.1.40-icp                      a7d502ea2470        4 months ago        48.3MB
ibmcom/kiali-amd64                              v0.8.0.1                         597f59b8441c        5 months ago        300MB
ibmcom/etcd-amd64                               3.2.24                           33bdcac177c2        8 months ago        220MB
ibmcom/jaegertracing-all-in-one-amd64           1.7                              7ad5d345bd8a        9 months ago        42.5MB
ibmcom/istio-galley-amd64                       1.0.2                            b8cfc0e19a91        9 months ago        65.8MB
ibmcom/istio-citadel-amd64                      1.0.2                            ca4050c9fed3        9 months ago        50.7MB
ibmcom/istio-mixer-amd64                        1.0.2                            d559bdcd7a88        9 months ago        64.5MB
ibmcom/istio-servicegraph-amd64                 1.0.2                            c36167d0817c        9 months ago        11.2MB
ibmcom/istio-sidecar_injector-amd64             1.0.2                            77e6870301bb        9 months ago        45.3MB
ibmcom/icp-vip-manager-amd64                    1.1                              a947d99712bc        9 months ago        23.6MB
ibmcom/keepalived-amd64                         1.2.24                           afe8d43fd5cf        9 months ago        4.75MB
ibmcom/ucarp-amd64                              1.5.2                            9e92ac65e1fe        9 months ago        7.84MB
ibmcom/statsd-amd64                             0.7.2.1                          63abfe933c79        9 months ago        1.23GB
ibmcom/cert-manager-amd64                       v0.3.1                           b8418de4aa2e        11 months ago       51.8MB
ibmcom/alertmanager-amd64                       v0.15.0-f3                       24ad3756845c        11 months ago       36.1MB
ibmcom/node-exporter-amd64                      v0.16.0-f3                       188af75e2de0        13 months ago       22.9MB
ibmcom/k8s-prometheus-adapter-amd64             v0.2.1.1                         4a3ba29699fa        14 months ago       52.1MB
ibmcom/kube-state-metrics-amd64                 v1.3.0-f3                        62a2d8cf4b55        14 months ago       35.6MB
ibmcom/configmap-reload-amd64                   v0.2.2-f3                        7a344aad0fdb        16 months ago       22.4MB
ibmcom/collectd-exporter-amd64                  v0.4.0-f3                        98678887c9cb        17 months ago       13.7MB
ibmcom/prom-statsd-exporter-amd64               v0.6.0                           304735eab4e4        17 months ago       14.1MB
ibmcom/elasticsearch-exporter-amd64             1.0.2-f3                         d767dc6ccfb2        17 months ago       9.2MB
ibmcom/pause-amd64                              3.1                              da86e6ba6ca1        18 months ago       742kB


インストールディレクトリの作成

Knowledge Center

Knowledge Centerと同様に下記のディレクトリを作成し、移動します。

mkdir /opt/ibm-cloud-private-3.2.0;  
cd /opt/ibm-cloud-private-3.2.0  


設定ファイルを抽出

Knowledge Center

Docker Imageから設定ファイルを抽出します。

sudo docker run -v $(pwd):/data -e LICENSE=accept \
ibmcom/icp-inception-amd64:3.2.0-ee \
cp -r cluster /data


クラスターノード間でSSHキーを共有する

Knowledge Center Knowledge Center

ブートノードからクラスタ内の全てのノードに接続するためにSSHキーを共有します。
SSHキーを使う方法以外にパスワード認証を使用することも可能です。

本環境では1台構成のため、下記のコマンドを実行します。

ssh-keygen -b 4096 -f ~/.ssh/id_rsa -N ""
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.100.180
cp ~/.ssh/id_rsa ./cluster/ssh_key


各クラスターノードの情報を /cluster/hosts に追記

Knowledge Center

Knowledge Centerの内容を参考にICPを構成するノードの情報を追記します。
本環境は1台で全てを構成するの下記のようになります。


vi /opt/ibm-cloud-private-3.2.0/cluster/hosts

[master]
192.168.100.180

[worker]
192.168.100.180

[proxy]
192.168.100.180

#[management]
#4.4.4.4

#[va]
#5.5.5.5


ファイルの移動

Knowledge Center

事前にダウンロード、コピーした下記のファイルを使います。


- IBM Cloud Private 3.2 for Linux (x86_64) Docker English
- 部品番号: CC1W1EN - Size: 10,201MB - Date posted: 31 5 2019

このファイルを //cluster/imagesに移動します。


mkdir -p mkdir -p /opt/ibm-cloud-private-3.2.0/cluster/images/ 
mv /root/ibm-cloud-private-x86_64-3.2.0.tar.gz /opt/ibm-cloud-private-3.2.0/cluster/images/


クラスターのカスタマイズ

Knowledge Center config.yaml を編集し、クラスタをカスタマイズします。
編集対象のファイルは /opt/ibm-cloud-private-3.2.0/cluster/config.yaml です。 各設定はファイルの中身のみ記載します。


パスワード規則の無効化

Knowledge Center

デフォルトではパスワードの複雑性の規則が設定されているので無効化します。


## 省略 ##

## Advanced Settings
default_admin_user: admin
# default_admin_password:
# ansible_user: <username>
# ansible_become: true
# ansible_become_password: <password>
## Add password rule
password_rules:
 - '(.*)'

## 省略 ##


デフォルトパスワードの指定

Knowledge Center

デフォルトログインユーザー admin のパスワードを指定します。
指定するパスワードは admin です。


 ## 省略 ##

 ## Advanced Settings
default_admin_user: admin
# default_admin_password:
default_admin_password: admin  ##追記
# ansible_user: <username>
# ansible_become: true
# ansible_become_password: <password>
## Add password rule
password_rules:
- '(.*)'

 ## 省略 ##


Multicloud Manager の有効化

Knowledge Center

ICP3.2からMulticloud Managerが含まれる形で構成され、有効化するだけで利用可能となりました。
今回はICPインストール時に Multicloud Manager を有効化する設定を行います。

## 省略 ##

## Clean metrics indices in Elasticsearch older than this number of days
# metrics_max_age: 1

## Clean application log indices in Elasticsearch older than this number of days
# logs_maxage: 1

## Set to false if user wants to install the full functionality of IBM Multicloud Manager hub
# single_cluster_mode: true
## 追記ここから
single_cluster_mode: false  

multicluster-hub:
 etcd:
   persistence: true
   localPath: /var/lib/etcd-mcm
## 追記ここまで

## Istio addons security Settings
## If user wants to configure Istio addons securty settings

## 省略 ##


Multicloud Manager用の etcd ディレクトリを作成します。
Management Nodeが複数ある場合は全てのノード上で作成します。
本環境は1台構成ですので、1台に作成します。


mkdir -p /var/lib/etcd-mcm


ICPをManaged Clusterとして登録

Knowledge Center

ICPをインストールする際にMulticloud Manager配下(管理対象)として登録することもできるようになりました。
今回はICPは1クラスター(且つ1台構成)ですので、自分自身を管理するように構成します。

multicluster-endpointを有効にします。

## 省略 ##

management_services:
  istio: disabled
  vulnerability-advisor: disabled
  storage-glusterfs: disabled
  storage-minio: disabled
  platform-security-netpols: disabled
  node-problem-detector-draino: disabled
  # multicluster-endpoint: disabled
  multicluster-endpoint: enabled

## 省略 ##


ICPクラスター情報を指定します。
※config.yamlの最下部にコメントアウトされた下記設定があるので、その下に下記内容を追記する

multicluster-endpoint:
  global:
    clusterName: "managed-cluster"
    clusterNamespace: "ns-managed-cluster"
  clusterLabels:
    environment: "Dev"
    region: "US"
    datacenter: "toronto"
    owner: "marketing"
  operator:
    bootstrapConfig:
      hub0:
        name: hub0
        secret: kube-system/klusterlet-bootstrap
      hub1:
        name: null
        secret: null
  klusterlet:
    host: null
  prometheusIntegration:
    enabled: true
  policy:
    cemIntegration: false
  topology:
    enabled: true
  serviceRegistry:
    enabled: true
    dnsSuffix: "mcm.svc"
    plugins: "kube-service"


インストール前チェック

Knowledge Center

下記コマンドを実行しインストール前のチェックをします。

cd /opt/ibm-cloud-private-3.2.0/cluster/
sudo docker run --net=host -t -e LICENSE=accept \
-v "$(pwd)":/installer/cluster ibmcom/icp-inception-amd64:3.2.0-ee check


チェック完了時のログ

PLAY RECAP  

192.168.100.180            : ok=58   changed=34   unreachable=0    failed=0

Playbook run took 0 days, 0 hours, 1 minutes, 25 seconds


完了後、エラーが出ていないことを確認してください。


インストール

Knowledge Center

チェックに問題がなければインストールを実行します。  

cd /opt/ibm-cloud-private-3.2.0/cluster/
sudo docker run --net=host -t -e LICENSE=accept \
-v "$(pwd)":/installer/cluster ibmcom/icp-inception-amd64:3.2.0-ee install


インストール完了時のログ

PLAY RECAP  

192.168.100.180           : ok=167  changed=97   unreachable=0    failed=0  
localhost                  : ok=373  changed=195  unreachable=0    failed=0  

POST DEPLOY MESSAGE    ************************************************************  

The Dashboard URL: https://192.168.100.180:8443, please use credentials in config.yaml to login.    

Playbook run took 0 days, 0 hours, 40 minutes, 5 seconds  



管理コンソールへのアクセス

管理コンソールにアクセスします。インストールを実行したコンソール上に管理コンソールのURLが記載されています。

  • https://192.168.100.180:8443
    • user: admin  
    • password: admin  

141925


Multicloud Managerを有効化している場合はMulticloud ManagerのUIが表示されます。
有効化していない場合はICPの管理UIが表示されます。

142000


Multicloud Managerが正常に動作しているか確認をしていきます。

Multicloud Managerの稼動確認

Multicloud Managerとして稼動しているか確認します。

デプロイメントの稼動確認

Multicloud Managerのデプロイメントが正常に動作しているか確認します。
管理コンソールのメニューから[ローカル・クラスター]-[ローカル・クラスターの管理]に移動します。

ICPの管理画面が開きます。メニューから[ワークロード]-[デプロイメント]を開きます。

160830


multicluster-hub- から始めるエントリが全て使用可能のステータスが1になっている事を確認します。


管理対象ICPクラスターの登録確認

管理対象としてICPクラスターを登録するよう設定しましたが、Multicloud Managerからも参照できる事を確認します。


デプロイメントの稼働確認

管理コンソールのメニューから[ローカル・クラスター]-[ローカル・クラスターの管理]に移動します。

ICPの管理画面が開きます。メニューから[ワークロード]-[デプロイメント]を開きます。

160812_2


multicluster-endpoint- から始めるエントリが全て使用可能のステータスが1になっている事を確認します。

ICPクラスター情報の確認

Multicloud Managerの管理コンソールを開きます。

142000_2


メニューから クラスター を開きます。local clusterとしてエントリされていることが確認できます。

161432_2


161445


また、メニューから 概説 を開きます。こちらでは管理しているKubernetes クラスターのステータスを一覧で見ることができます。 現在はICPクラスターのみになりますので、ICPクラスター1台の情報が表示されています。

61522



以上になります。
これまでのバージョンから大きくインストール方法が変更されていませんがメイン機能の一つである、 Multicluster Managerが同梱され、気軽に構成できるようになったりしています。

また、今回は各設定の説明の前に Knowledge Center のリンクをつけてみました。 IBM Knowledge Center上の該当部分になりますので、ぜひ参照してみてください。

すずきけ

2019/06/10

Watsonで遊んでみる/VTuber配信編

■ はじめに


こんにちは、Watson技術担当の山下です。


突然ですが、VTuberをご存知ですか!?

最近は、ドラマ出演もしてたりして、すごい人気ですよね

ドラマ25 四月一日さん家の|テレビ東京

テレビ東京、VTuber主演ドラマ「四月一日さん家の」4月放送開始


そこで、本ブログ連載では、これから何回かにわたって、Watson AIを使って、VTuberの運用自動化の実装にトライしていきたいと思います。





■ IBM Cloud/Watsonについて


・IBM Cloudのライトアカウントを取得すれば、無料でWatson AIを使うことできます。

IBM Cloud ライト・アカウント | IBM Cloud


・タレントの池澤あやかさんの紹介記事、いろんなおもしろいことできそうですね

IBM Cloud デベロッパーズ・ラウンジ - Japan

使用期限ナシで無料のIBM Cloud「データ分析」にチャレンジ! - 日経 xTECH Special


・IBM Cloudの無料での始め方は、こちら@ayatokuraさんの記事がわかりやすいです。

「IBM Cloudをはじめました」無料ではじめられるライト・アカウント登録方法


■ 作るものイメージ


うーん、例えばこんな感じです、Watson AIが、アバターの表現支援を行うことが、きっとできるはず!

  • 視覚 → Visual Recognition
  • 聞く/話す → Speech to Text / Text to Speech
  • 頭脳 → Discovery
  • 会話 → Assistant
  • 感情 → Personal Insights

Watson AIで、VTuberがパワーアップできそうな予感です(ワクワク)



■ 実装してみる


・vTuberは、Unityで動かしていきます。

・Watsonはバックエンド担当で、VTuberをAI支援していきます。

UnityからWatsonを簡単に呼び出せるUnity-SDKが用意されてましたので、このページからダウンロードして使ってきます


上記画像は、私がいましゃべっていて、、VTuberの発話を Watsonで音声認識して、テキスト字幕をだそうとしてます



■ これから


私のテストがまだまだこれからなのですが、対話がしっかり成立するようになれば、、VTuber配信システムを自動化できる未来は近いかもしれません、、

そんな近い将来(!?)を体感できるような連載を、今後本ブログで行っていきたいと思います。


次回この続きは、今月末くらいを予定しております。最後まで読んでいただきありがとうございました。

Watson AI が初めての方でも分かるように書いてきますので、ぜひ色々な方々にご覧いただけると嬉しいです!