*IBM Feed

2019/08/08

Watsonで遊んでみる/Speech to Text(音声認識)

こんにちは、Watson技術担当の山下です。

前回は Watson APIで、テキストを音声に変換して遊んでみました。

今回はその逆パターン(音声→テキスト)で音声認識についての話になります。

Watsonの Speech to Text(音声認識)を使えば、ディープラーニングで 音声をテキスト変換できるので、以下のデモサイトで 早速試してみたいと思います。

Speech to Text Demo



■ サンプル出力をみてみる


まずは、デモサンプルで音声認識のイメージをつかんでみましょう。

PCのスピーカー音量を少し大きくしてから、View Modelで、[Japanese broadband model]を選択して、[Play Sample1]ボタンを押してみます。



すると、デモ音声が流れてきて、その音声がしっかりとテキスト化されてますね!

また、デモサンプルは2人の対話イメージになっていて、話者識別(Speaker0 or Speaker01)も、きちんとできているのが分かります。

#ちなみに、[Play Sample2]は観光地トークです。こちらもいい感じに音声認識されてますね



さらに、音声認識で キーワード検出も可能です。

[Keywords]タブをクリックすると、さきほどのデモ音声で、「音声認識」「ディープラーニング」「技術」の3つのキーワードが音声認識されたことを示してます。

#このキーワードは自由に指定可能で、上図の[Keywords to spot]のとこに、キーワードを書いとけば、音声認識されたかどうかを確認することができます。



■ 実際に音声認識をやってみる


では、今度は実際にやってみましょう!

声を出す準備はできていますか!? (※オフィスで急に発声すると、周囲がびっくりするかもしれません・・)

今回、一人で発話するので、[Detect multiple speakers]は必要ないので、チェックを外しておきましょう。

View Modelで[Japanese broadband model]の選択と、[Text]ダブの選択を確認してから、[Record Audio]ボタンを押したら、発話してください!

#ここまでなにをしゃべるか考えてなかった方は、「ワトソンは音声認識できますか?」と発話くださいませ



発話完了したら、またすぐ[Record Audio]ボタンを押してください(ずっと音声認識中だと、周囲の雑音が音声認識され続けてしまうので)

今回 以下のように、いい感じに音声認識できました。



[Word Timings and Alternatives]タブをクリックすると、Watsonの音声認識結果をベースに、各単語の確信度や単語候補の確認を行うことができます。

上手く音声認識できなかった場合、カスタマイズに使えそうな情報になるかもしれません。





■ 次回〜Watson音声認識のカスタマイズ


今度は、「VTuberは流行っていますか?」と発話してみたところ、以下のような結果となりました。

※VTuber(ブイチューバー)については、本記事をご参照ください



VTuber(ブイチューバー)としゃべったのですが、、なぜか・・「ういちユーザー」と認識されてしまいました、、あれれ、うーん、どうしてでしょう・・


[Word Timings and Alternatives]タブをクリックしてみてみると、、以下のようになってました。

#「ブイチューバー」は、「ういち」と「ユーザー」に音声認識されてますね



Watson音声認識の事前学習/共通モデルでは、一般的な用語がカバー範囲になりますので、「VTuber」は まだ辞書登録されてなさそうです。。

しかし、Watson音声認識では、この事前学習モデルを、ユーザーが自由にカスタマイズできることによって、固有名詞や業界/専門用語・独自のいい回しなどに対応することが可能になります。

Watson音声認識をカスタマイズすれば、「VTuber」と ちゃんと音声認識してもらえそうですね

次回は、この辺りのカスタマイズを行っていきたいと思います!

2019/06/30

Watsonで遊んでみる/Text to Speech(音声合成)

■ はじめに


こんにちは、Watson技術担当の山下です。


今回は、Watson APIの Text to Speech(音声合成)を攻めてみたいと思います。テキストを簡単に音声に変換できて、SSMLで声のトーンとかをお好みにできそうです。


・Watson APIの Text to Speechの詳細は以下ご参照ください。

IBM Watson Text to Speech


・IBM Cloudのライトアカウントを取得すれば、無料でWatson AIを使うことできます。

IBM Cloud ライト・アカウント | IBM Cloud


・IBM Cloudの無料での始め方は、こちら@ayatokuraさんの記事がわかりやすいです。

「IBM Cloudをはじめました」無料ではじめられるライト・アカウント登録方法



■ 今回のイメージ


本ブログ連載は、「Watsonで VTuberを作ろう!」がテーマになりますので、 VTuberの発話にあたる音声合成部分を、「Text to Speech」で実装していきたいと思います。



Watson APIのText to Speech(音声合成)を使って、VTuberの音声発話が人間ぽっくいい感じになりそうな予感です。

早速、VTuberのおしゃべりをイメージして、遊んでみたいと思います。



■ 遊んでみる!


では、以下デモサイトにアクセスして、VTuber(?)をしゃべらせてみましょう!

Text to Speech | 音声合成のデモサイト


スクリーンショット 2019-07-01 15.11.34.png

Text to Speech | 音声合成のデモサイト

上記デモサイトで、スピーチ内容を入力して(以下セリフサンプル)、

音声変換ボタンを押せば、とりあえずしゃべりだします!

セリフサンプル
むかしむかし、あるところに、お爺さんとお婆さんとVTuberがいました



■ これから


もしかすると、ちょっと発音がいまひとつなとこあるかもしれません。

そんなときは、SSML(音声合成マークアップ言語)の出番です。


以下のようにSSMLで入力してみて、音声合成の結果を比べてみてください




Text to Speech | 音声合成のデモサイト

デモサイトで、スピーチ内容をSSML(音声合成マークアップ言語)で入力して(以下セリフサンプル)、音声変換ボタンを押します

セリフサンプル
<speak><say-as interpret-as="interjection">むかしむかし</say-as>、<prosody rate="x-fast">あるところに</prosody>お爺さんとお婆さんと<break time="1s"/><sub alias="ブイチューバァ">VTuber</sub>がいました。</speak>


音声合成は、SSMLを使ったほうが、きっといい感じになってると思います!

ぜひSSML(詳細は以下リンクの書式参照)をいろいろ試していて、お好みのスピーチにしてみましょう

音声変換 SSML


では 次回配信は来週を予定しております。

次回は、「Text to Speech(音声合成)」とは逆の流れ、「Speech to Text(音声認識)」について、VTuberを使って試してみたいと思います。

ぜひまたご覧いただけると嬉しいです!

2019/06/20

IBM Cloud Pak for Data 2.1を動かしてみる

sample

みなさん、こんにちは。 IBM Cloud Private(ICP)の投稿ばかりしていましたが、今回はICP上に構成される別製品のご案内と動かすところまでを試してみます。 今回、ご紹介する製品は


IBM Cloud Pak for Data


です。 5月末に新バージョンがリリースされ、これまで IBM Cloud Private for Data と呼ばれていた製品が IBM Cloud Pak for Data にリブランドされました。


IBM Cloud Pak for Data とは何か?

IBM Cloud Pak for Data は 企業内のすべてのデータおよび分析ニーズに対する Ent to End の次世代データプラットホーム です。


なぜ必要か?

みなさん、社内や顧客の現場でAIやマシンラーニング(ML)を活用したシステムの開発の話などを聞くことが増えてきているかと思います。
しかしながら実際に進み始めるとこんな課題が出てきます。

(AIやMLに使える)データはどこにあるの?

そのデータすぐに使えるの?

もちろん、データを1から作る必要があることもありますが社内のどこかのデータベースに埋まっていることもあります。
また、仮にあったとしても使えるようになるまで担当者への確認や準備・加工が必要となり、すぐに始められないのが現状としてあります。

実際にIBMの調査ではデータから価値を引き出せている企業は 15% しかない。という結果や、実はAIやMLでの活用はプロジェクト全体で見ると2割ほどであり、残りの8割がデータの収集・探索から準備・加工までのフェーズであると言われています。

553_3


IBMとしては、AIは決して 魔法 ではなく、一つ一つしっかりと進めていく必要があり、そのアプローチを先進テクノロジーを活用して効率的に支援するためにIBM Cloud Pak for Data をリリースしています。

AI Ladder スライド

9


何ができるか?

IBM Cloud Pak for Data はコンテナーベースで稼働しており、プラットホームとしてIBM Cloud Private(ICP)を利用しています。ICP上にデータ利用者・提供者双方のニーズを合わせパッケージ化したソリューションになります。
また、下記の画像に記載はありませんが、Watson関連についてもIBM Cloud Pak for Data 上にadd-onされることが発表されていて、今後拡充されていきます。

製品の特徴としては、

  1. シングルアプリケーション
  2. エンタープライズカタログ
  3. データ仮想化とサンドボックス
  4. Add-on機能
  5. クラウドネイティブ
  6. マルチクラウド対応

があります。

16


詳細機能についてはお問い合わせいただければと思います。


動かしてみる

今回はOS上にIBM Cloud Pak for Data をインストールし、管理UIにログインできるところまでを試してみます。


system requirements

実際に動かしてみる前にシステム要件をみてみます。
https://www.ibm.com/support/knowledgecenter/ja/SSQNUZ_2.1.0/com.ibm.icpdata.doc/zen/install/reqs-ent.html

構成としては3台(3 node cluster (x86-64 cluster))もしくは6台(6+ node cluster (x86-64 cluster))での構成例が記載されています。 また、Power環境で構成することも可能です。

今回は 6+ node cluster (x86-64 cluster)で構成してみます。
また、最新バージョン2.1ではDocker用のRAW Diskについて必須の記載はないが、本環境では利用する設定で進めます。


検証環境

物理基盤で用意することが難しかったので、下記の2種類のサーバーを計6台用意します。

  • Master Server (3台)
    • HW:
    • CPU: 10vcpu
    • Memory: 20GB
    • Disk:
      • 1: 150GB (Rootに100GB)
      • 2: 500GB (Installation path)
      • 3: 200GB (Docker devicemapper)
    • NIC: 1
    • SW:
    • OS: Redhat Enterprise Linux 7.5

  • Node Server (3台)
    • HW:
    • CPU: 16vcpu
    • Memory: 64GB
    • Disk:
      • 1: 150GB (Rootに100GB)
      • 2: 500GB (Installation path)
      • 3: 500GB (Data path)
      • 4: 200GB (Docker devicemapper)
    • NIC: 1
    • SW:
    • OS: Redhat Enterprise Linux 7.5

110624


サーバー環境についてはいくつかの注意点があります。

  • 今回のスペックでは20人程度のユーザーで利用する環境を想定
  • インストーラーを実行するマスターノード(サーバー)から各サーバーへのSSH接続ができることと秘密鍵、パスワードの準備
  • SElinuxを Permissive に指定
  • [ / ]の領域は 50GB が必要となっていますが、実際に50GBでパーティションを構成すると事前チェックで容量不足となるので多めに指定
  • Installation pathとData pathで利用するDiskは XFS でマウントすること
  • Diskの I/O パフォーマンスをチェックすること (要求されたI/Oに達していなくてもインストールはできます)
  • FWは無効にする
  • インストール前にRunning a prerequisite checkを参照し、チェックを行う
  • CPUに関する設定で AVX/AVX2 instruction set must be enabled on the processor. という注意があります。利用されている機器が古い場合は AVX/AVX2に対応していることを確認する


Running a prerequisite checkを行わなくても、要件を満たしていない場合はインストール時に失敗になります。 しかしながら、そこで修正できない場合(特にSELinuxは再起動が必要)、インストールをやり直す必要があるので、必ず実施していただくことをお勧めします。


環境事前準備

IBM Cloud Pak for Data インストール前に下記の準備を行います。
1. Firewallの無効化とSELinuxの設定変更
2. SSH鍵の交換 3. Diskの確認とフォーマット
4. Disk I/O の確認
5. 時刻同期の設定


1. Firewallの無効化とSELinuxの設定変更

下記コマンドを実行して、Firewallの無効化とSELinuxの設定を permissive に変更します。

systemctl disable firewalld
systemctl stop firewalld
sed -i -e "s/SELINUX=enforcing/SELINUX=permissive/g" /etc/selinux/config


2. SSH鍵の交換

IBM Cloud Privateのインストールでも実施する作業です。同等の内容を実施します。

SSH鍵の作成

ssh-keygen -b 4096 -f ~/.ssh/id_rsa -N ""

許可された鍵のリストに追加

cat ~/.ssh/id_rsa.pub | sudo tee -a ~/.ssh/authorized_keys

各ノード間でSSH公開鍵をコピー

サンプル

ssh-copy-id -i ~/.ssh/id_rsa.pu  
<user>@<node_ip_address>
ssh-copy-id -i ~/.ssh/id_rsa.pub root@xxx.xxx.xxx.xxx
ssh-copy-id -i ~/.ssh/id_rsa.pub root@xxx.xxx.xxx.xxx

SSHの再起動

systemctl restart sshd

パスワードなしでお互いにログインできるか確認

ssh (Master or Worker IP)

SSH接続後、抜けるのを忘れずに行う

exit



3. Diskの確認とフォーマット

Diskの確認とXFSでのフォーマットを実施します。
今回の検証は環境はVMで作成しており、下記のようなDisk構成になっています。


・マスターサーバ

# fdisk -l

Disk /dev/sdc: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sdb: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sda: 161.1 GB, 161061273600 bytes, 314572800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x000b0c48

デバイス ブート      始点        終点     ブロック   Id  システム
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200   209715199   103808000   8e  Linux LVM
/dev/sda3       209715200   314572799    52428800   8e  Linux LVM

Disk /dev/mapper/rhel-root: 53.7 GB, 53687091200 bytes, 104857600 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-swap: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-home: 41.9 GB, 41871736832 bytes, 81780736 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト


# lsblk
NAME          MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda             8:0    0  150G  0 disk
├─sda1          8:1    0    1G  0 part /boot
├─sda2          8:2    0   99G  0 part
│ ├─rhel-root 253:0    0  100G  0 lvm  /
│ ├─rhel-swap 253:1    0   10G  0 lvm  [SWAP]
│ └─rhel-home 253:2    0   39G  0 lvm  /home
└─sda3          8:3    0   50G  0 part
  └─rhel-root 253:0    0  100G  0 lvm  /
sdb             8:16   0  500G  0 disk
sdc             8:32   0  200G  0 disk
sr0            11:0    1 1024M  0 rom


・ノードサーバ

# fdisk -l

Disk /dev/sda: 161.1 GB, 161061273600 bytes, 314572800 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x000b8340

デバイス ブート      始点        終点     ブロック   Id  システム
/dev/sda1   *        2048     2099199     1048576   83  Linux
/dev/sda2         2099200   209715199   103808000   8e  Linux LVM
/dev/sda3       209715200   314572799    52428800   8e  Linux LVM

Disk /dev/sdd: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sdc: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/sdb: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-root: 53.7 GB, 53687091200 bytes, 104857600 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-swap: 10.7 GB, 10737418240 bytes, 20971520 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト

Disk /dev/mapper/rhel-home: 41.9 GB, 41871736832 bytes, 81780736 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト


# lsblk
NAME          MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sda             8:0    0  150G  0 disk
├─sda1          8:1    0    1G  0 part /boot
├─sda2          8:2    0   99G  0 part
│ ├─rhel-root 253:0    0  100G  0 lvm  /
│ ├─rhel-swap 253:1    0   10G  0 lvm  [SWAP]
│ └─rhel-home 253:2    0   39G  0 lvm  /home
└─sda3          8:3    0   50G  0 part
  └─rhel-root 253:0    0  100G  0 lvm  /
sdb             8:16   0  500G  0 disk
sdc             8:32   0  500G  0 disk
sdd             8:48   0  200G  0 disk
sr0            11:0    1 1024M  0 rom


インストール領域のフォーマットとマウント

この設定はマスタサーバ、ノードサーバのどちらでも実施します。
今回はどちらも /dev/sdbをインストール領域としてマウントします。

・パーティションを作成

# fdisk /dev/sdb
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0x4c4f64df.

コマンド (m でヘルプ): p   ### 入力する

Disk /dev/sdb: 536.9 GB, 536870912000 bytes, 1048576000 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
Disk label type: dos
ディスク識別子: 0x4c4f64df

デバイス ブート      始点        終点     ブロック   Id  システム

コマンド (m でヘルプ): n   ### Enter
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p):    ### Enter
Using default response p
パーティション番号 (1-4, default 1):   ### Enter
最初 sector (2048-1048575999, 初期値 2048):    ### Enter
初期値 2048 を使います
Last sector, +sectors or +size{K,M,G} (2048-1048575999, 初期値 1048575999):
初期値 1048575999 を使います
Partition 1 of type Linux and of size 500 GiB is set

コマンド (m でヘルプ): w
パーティションテーブルは変更されました!

ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。


・パーティションの確認
/dev/sdb1があることを確認します。

# ls /dev/ | grep sdb
sdb
sdb1


・XFS でフォーマット

# mkfs -t xfs /dev/sdb1
meta-data=/dev/sdb1              isize=512    agcount=4, agsize=32767936 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=131071744, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=63999, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0


・マウントポイントの作成
今回は /ibm マウントします。

mkdir /ibm


・マウントを実行

mount /dev/sdb1 /ibm  


・マウントの確認

# df -T -h
ファイルシス            タイプ     サイズ   使用   残り 使用% マウント位置
/dev/mapper/rhel-root xfs        100G  1.1G   99G    2% /
devtmpfs              devtmpfs    12G     0   12G    0% /dev
tmpfs                 tmpfs       12G     0   12G    0% /dev/shm
tmpfs                 tmpfs       12G  8.9M   12G    1% /run
tmpfs                 tmpfs       12G     0   12G    0% /sys/fs/cgroup
/dev/sdb1             xfs        500G   34M  500G    1% /ibm
/dev/sda1             xfs       1014M  142M  873M   14% /boot
/dev/mapper/rhel-home xfs         39G   33M   39G    1% /home
tmpfs                 tmpfs      2.4G     0  2.4G    0% /run/user/0


データ領域のフォーマットをマウント

データ領域はノードサーバ上ののみ構成します。
手順はインストール領域に行った手順と変わりません。
利用するDisk領域は /dev/sdc です。


・パーティションを作成

# fdisk /dev/sdc
Welcome to fdisk (util-linux 2.23.2).

Changes will remain in memory only, until you decide to write them.
Be careful before using the write command.

Device does not contain a recognized partition table
Building a new DOS disklabel with disk identifier 0xbb5968dc.

コマンド (m でヘルプ): n
Partition type:
   p   primary (0 primary, 0 extended, 4 free)
   e   extended
Select (default p):
Using default response p
パーティション番号 (1-4, default 1):
最初 sector (2048-1048575999, 初期値 2048):
初期値 2048 を使います
Last sector, +sectors or +size{K,M,G} (2048-1048575999, 初期値 1048575999):
初期値 1048575999 を使います
Partition 1 of type Linux and of size 500 GiB is set

コマンド (m でヘルプ): w
パーティションテーブルは変更されました!

ioctl() を呼び出してパーティションテーブルを再読込みします。
ディスクを同期しています。


・パーティションの確認
/dev/sdc1があることを確認する

# ls /dev/ | grep sdc
sdc
sdc1


・XFS でフォーマット

# mkfs -t xfs /dev/sdc1
meta-data=/dev/sdc1              isize=512    agcount=4, agsize=32767936 blks
         =                       sectsz=512   attr=2, projid32bit=1
         =                       crc=1        finobt=0, sparse=0
data     =                       bsize=4096   blocks=131071744, imaxpct=25
         =                       sunit=0      swidth=0 blks
naming   =version 2              bsize=4096   ascii-ci=0 ftype=1
log      =internal log           bsize=4096   blocks=63999, version=2
         =                       sectsz=512   sunit=0 blks, lazy-count=1
realtime =none                   extsz=4096   blocks=0, rtextents=0


・マウントポイントの作成
今回は /data マウントします。

mkdir /data


・マウントを実行

mount /dev/sdc1 /data  


・マウントの確認

# df -T -h
ファイルシス            タイプ     サイズ   使用   残り 使用% マウント位置
/dev/mapper/rhel-root xfs        100G  1.1G   99G    2% /
devtmpfs              devtmpfs    32G     0   32G    0% /dev
tmpfs                 tmpfs       32G     0   32G    0% /dev/shm
tmpfs                 tmpfs       32G  8.9M   32G    1% /run
tmpfs                 tmpfs       32G     0   32G    0% /sys/fs/cgroup
/dev/sdc1             xfs        500G   33M  500G    1% /data
/dev/sdb1             xfs        500G   34M  500G    1% /ibm
/dev/sda1             xfs       1014M  142M  873M   14% /boot
/dev/mapper/rhel-home xfs         39G   33M   39G    1% /home
tmpfs                 tmpfs      6.3G     0  6.3G    0% /run/user/0


Docker用の領域の確認

下記がDocker用の領域です。

・マスターサーバ

# fdisk -l

---省略---
Disk /dev/sdc: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
---省略---


・ノードサーバ

# fdisk -l

---省略---
Disk /dev/sdd: 214.7 GB, 214748364800 bytes, 419430400 sectors
Units = sectors of 1 * 512 = 512 bytes
Sector size (logical/physical): 512 bytes / 512 bytes
I/O サイズ (最小 / 推奨): 512 バイト / 512 バイト
---省略---


4. Disk I/O の確認

ディスクのパフォーマンスの確認項目があります。本番環境ではKnowledge Centerに記載のあるDiskを超えるもしくは匹敵するものを用意する必要があります。


  1. レイテンシー

The value must be better or comparable to: 512000 bytes (512 KB) copied, 1.7917 s, 286 KB/s


・マスターサーバ

# dd if=/dev/zero of=/ibm/testfile bs=512 count=1000 oflag=dsync
1000+0 レコード入力
1000+0 レコード出力
512000 バイト (512 kB) コピーされました、 0.83867 秒、 610 kB/秒


・ノードサーバ

# dd if=/dev/zero of=/ibm/testfile bs=512 count=1000 oflag=dsync
1000+0 レコード入力
1000+0 レコード出力
512000 バイト (512 kB) コピーされました、 0.514063 秒、 996 kB/秒


  1. スループット

The value must be better or comparable to: 1073741824 bytes (1.1 GB) copied, 5.14444 s, 209 MB/s


・マスターサーバ

# dd if=/dev/zero of=/ibm/testfile bs=1G count=1 oflag=dsync
1+0 レコード入力
1+0 レコード出力
1073741824 バイト (1.1 GB) コピーされました、 3.55129 秒、 302 MB/秒


・ノードサーバ

# dd if=/dev/zero of=/ibm/testfile bs=1G count=1 oflag=dsync
1+0 レコード入力
1+0 レコード出力
1073741824 バイト (1.1 GB) コピーされました、 3.49375 秒、 307 MB/秒

テストでファイルが作成されているので忘れずに削除します。

rm -rf /ibm/testfile


5. 時刻同期の設定

時刻同期の設定を行います。
IBM Cloud Pak for Data は ntpd ではなく、chrony の利用が推奨されています。 chronyが動作していることを確認します。

# systemctl status chronyd
● chronyd.service - NTP client/server
   Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
   Active: active (running) since 月 2019-06-10 17:02:27 JST; 11min ago
     Docs: man:chronyd(8)
           man:chrony.conf(5)
  Process: 915 ExecStartPost=/usr/libexec/chrony-helper update-daemon (code=exited, status=0/SUCCESS)
  Process: 901 ExecStart=/usr/sbin/chronyd $OPTIONS (code=exited, status=0/SUCCESS)
 Main PID: 910 (chronyd)
   CGroup: /system.slice/chronyd.service
           └─910 /usr/sbin/chronyd

 6月 10 17:02:26 icp4d2-m1.icp.local systemd[1]: Starting NTP client/server...
 6月 10 17:02:26 icp4d2-m1.icp.local chronyd[910]: chronyd version 3.2 starting (+CMDMON +NTP +REFCLOCK +RTC +PRIVDROP +SCFILTER +SECHASH +SIGND +AS... +DEBUG)
 6月 10 17:02:26 icp4d2-m1.icp.local chronyd[910]: Frequency -22.831 +/- 0.743 ppm read from /var/lib/chrony/drift
 6月 10 17:02:27 icp4d2-m1.icp.local systemd[1]: Started NTP client/server.
 6月 10 17:02:32 icp4d2-m1.icp.local chronyd[910]: Selected source 133.243.238.244
 6月 10 17:03:37 icp4d2-m1.icp.local chronyd[910]: Selected source 133.243.238.164
Hint: Some lines were ellipsized, use -l to show in full.


環境事前チェック

準備した環境が適切に構成されているかチェックするためのツールが用意されています。 ツールは下記のようなことを確認します。

  • ディスクのスループットと入出力のパフォーマンス
  • 必要なポート
  • CPU/Memory/Disk
  • Firewallが無効であること
  • SELinuxがPermissiveモードとなっていること


ツールのダウンロード

Github上に最新のものが公開されているので、git が使える端末からダウンロードします。

git clone https://github.com/IBM-ICP4D/icp4d-serviceability-cli.git


ツールのコピー

SCPやSFTP等を利用して、IBM Cloud Pak for Data をインストールするVM上にコピーします。
今回は事前に /ibm/InstallationPackage/utils/ICP4D-Support-Tools/ をVM上に作成し、コピーしています。

・sample

scp -r ./icp4d-serviceability-cli/ root@xxx.xxx.xxx.xxx:/ibm/InstallationPackage/utils/ICP4D-Support-Tools/


ツールの実行

Masterサーバ、Nodeサーバそれぞれで実行します。


Masterサーバ

cd /ibm/InstallationPackage/utils/ICP4D-Support-Tools/icp4d-serviceability-cli
./icp4d_tools.sh --preinstall --type=master --install_dir=/ibm


・ERRORが出力される場合
弊社環境ではいくつかのエラーが発生しました。エラーメッセージ内に対処方法の記載がありますので、個別に対処してください。今回の環境では下記のエラーが発生しています。

# ./icp4d_tools.sh --preinstall --type=master --install_dir=/ibm

no crontab for root
##########################################################################################
Ensuring the IPv4 IP Forwarding is set to enabled
ERROR: The sysctl config has IPv4 IP forwarding set to disabled (net.ipv4.ip_forward = 0). IPv4 forwarding needs to be enabled (net.ipv4.ip_forward = 1). To enable IPv4 forwarding we recommend use of the following commands: "sysctl -w net.ipv4.ip_forward=1" or "echo 1 > /proc/sys/net/ipv4/ip_forward".
##########################################################################################
##########################################################################################
Ensuring the vm.max_map_count under sysctl is at least 262144
ERROR: The sysctl configuration for vm.max_map_count is not at least 262144. Please run the following command to set it to 262144 "sysctl -w vm.max_map_count=262144".
##########################################################################################
Finished with ERROR, please check /tmp/preInstallCheckResult


(参考)上記2点についてERROR内容に記載されている方法以外にファイルを直接編集する方法

echo -e "net.ipv4.ip_forward = 1" >> /etc/sysctl.conf
echo -e "vm.max_map_count = 262144" >> /etc/sysctl.conf
sysctl -p


・正常に終了した場合

# ./icp4d_tools.sh --preinstall --type=master --install_dir=/ibm

no crontab for root
Finished successfully! This node meets the requirement


Nodeサーバ

cd /ibm/InstallationPackage/utils/ICP4D-Support-Tools/icp4d-serviceability-cli
./icp4d_tools.sh --preinstall --type=worker --install_dir=/ibm --data_dir=/data



# cd /ibm/InstallationPackage/utils/ICP4D-Support-Tools/icp4d-serviceability-cli
# ./icp4d_tools.sh --preinstall --type=worker --install_dir=/ibm --data_dir=/data

no crontab for root
##########################################################################################
Ensuring the IPv4 IP Forwarding is set to enabled
ERROR: The sysctl config has IPv4 IP forwarding set to disabled (net.ipv4.ip_forward = 0). IPv4 forwarding needs to be enabled (net.ipv4.ip_forward = 1). To enable IPv4 forwarding we recommend use of the following commands: "sysctl -w net.ipv4.ip_forward=1" or "echo 1 > /proc/sys/net/ipv4/ip_forward".
##########################################################################################
Finished with ERROR, please check /tmp/preInstallCheckResult


・正常に終了した場合

# ./icp4d_tools.sh --preinstall --type=worker --install_dir=/ibm --data_dir=/data

no crontab for root
Finished successfully! This node meets the requirement


インストール


ファイルの準備

インストールに使用するファイルをIBM社のWebサイトからダウンロードします。
今回使用するファイルは下記になります。

  • IBM Cloud Private for Data Enterprise Edition V2.1.0 - Includes ICP (Default Install) - Linux x86 Multiplatform Multilingual
    • 部品番号: CC1YCML
    • Size: 0.5MB
    • Date posted: 29 5 2019

このファイルをダウンロード後、操作するマスターサーバの /ibm コピーします。


wgetのインストール

# yum install -y wget
読み込んだプラグイン:product-id, search-disabled-repos, subscription-manager
This system is not registered with an entitlement server. You can use subscription-manager to register.
dvd                                               | 4.3 kB  00:00:00 
依存性の解決をしています
--> トランザクションの確認を実行しています。
---> パッケージ wget.x86_64 0:1.14-15.el7_4.1 を インストール
--> 依存性解決を終了しました。

依存性を解決しました

================================================================================================================================================================
Package                            アーキテクチャー                     バージョン                                     リポジトリー                       容量
================================================================================================================================================================
インストール中:
 wget                               x86_64                               1.14-15.el7_4.1                                dvd                               547 k

 トランザクションの要約
 ================================================================================================================================================================
 インストール  1 パッケージ

 総ダウンロード容量: 547 k
 インストール容量: 2.0 M
 Downloading packages:
 警告: /media/dvd/Packages/wget-1.14-15.el7_4.1.x86_64.rpm: ヘッダー V3 RSA/SHA256 Signature、鍵 ID fd431d51: NOKEY
 wget-1.14-15.el7_4.1.x86_64.rpm の公開鍵がインストールされていません
 file:///etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release から鍵を取得中です。
 Importing GPG key 0xFD431D51:
  Userid     : "Red Hat, Inc. (release key 2) <security@redhat.com>"
  Fingerprint: 567e 347a d004 4ade 55ba 8a5f 199e 2f91 fd43 1d51
  Package    : redhat-release-server-7.5-8.el7.x86_64 (@anaconda/7.5)
  From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 Importing GPG key 0x2FA658E0:
  Userid     : "Red Hat, Inc. (auxiliary key) <security@redhat.com>"
  Fingerprint: 43a6 e49c 4a38 f4be 9abf 2a53 4568 9c88 2fa6 58e0
  Package    : redhat-release-server-7.5-8.el7.x86_64 (@anaconda/7.5)
  From       : /etc/pki/rpm-gpg/RPM-GPG-KEY-redhat-release
 Running transaction check
 Running transaction test
 Transaction test succeeded
 Running transaction
   インストール中          : wget-1.14-15.el7_4.1.x86_64                                                                                                     1/1
  dvd/productid                                                                                                                            | 1.6 kB  00:00:00
   検証中                  : wget-1.14-15.el7_4.1.x86_64                                                                                                     1/1

 インストール:
   wget.x86_64 0:1.14-15.el7_4.1

 完了しました!


インストーラのダウンロード

コピーしたファイルを実行し、インストーラをダウンロードします。

cd /ibm
chmod +x ICP4D_ENT_INC_ICP_x86_V2.1.bin
./ICP4D_ENT_INC_ICP_x86_V2.1.bin


・ダウンロードを行うインターフェース

***************************************************************************************************************
*** IBM Cloud Private for Data Enterprise Edition V2.1 - Includes ICP (Default Install Image) - Linux x86 ***
***************************************************************************************************************
Ready to download 'IBM Cloud Private for Data Enterprise Edition V2.1 - Includes ICP (Default Install Image) - Linux x86'? (y/n) : y

************************************************************************
 Executing BIN File
************************************************************************
Creating directory /ibm/icp4d (make sure you have root access), starting the download.

Downloading the tarball to /icp4d_ee_2.1.0.0_x86_64.tar
Downloading...
`icp4d_ee_2.1.0.0_x86_64.tar' に保存中

100%[===================================>] 45,488,312,320 17.6MB/s 時間 30m 49s

2019-06-12 13:42:35 (23.5 MB/s) - `icp4d_ee_2.1.0.0_x86_64.tar' へ保存完了 [45488312320/45488312320]

Download completed.

BIN File ended cleanly

ダウンロードしたファイルを解凍し、実行権限を付与します。

cd /ibm/icp4d
tar -xvf icp4d_ee_2.1.0.0_x86_64.tar -C /ibm
chmod +x /ibm/installer.x86_64.466


構成ファイルの作成

今回はインストール用の構成ファイルを作成しインストールを実行します。
ここでは、構成ファイルのテンプレートを作成し、環境に合った形に編集します。


・構成ファイル作成

cd /ibm
./installer.x86_64.466 --get-conf-user

画面が遷移し、下記画面が表示されます。

The installer includes the module path '/ibm/modules'. The following packages will be installed:

    ibm-dde-0.13.14-x86_64.tar
    ibm-iisee-zen-1.0.0.tar

Press Enter to confirm and continue the installation.


The installer detected a configuration file. Do you want to use the parameters in this file for your installation? [Y/N]:

前回のバージョンまでであれば、ここで構成ファイルが作成され、インストーラの画面が閉じますが、本バージョンでは、 引き続きインストール作業の選択画面に進んでしまいます。 ここで一度 Ctrl+C を実行し、プロセスを終了させます。

構成ファイルですが、wdp.confというファイルがls -lで確認できるかと思います。

# ls -l
合計 26021944
-rwxr-xr-x. 1 root root       16611  6月 12 12:12 ICP4D_ENT_INC_ICP_x86_V2.1.bin
drwxr-xr-x. 3 root root          19  6月 11 14:18 InstallationPackage
drwx------. 2 root root          41  6月 12 13:11 icp4d
-rwxr-xr-x. 1 root root 26646443846  5月 30 08:03 installer.x86_64.466
drwxr-xr-x. 2 root root          71  5月 29 12:47 modules
-rw-r--r--. 1 root root        1818  6月 12 14:21 wdp.conf

wdp.confを開き、編集します。

####省略####
# If need to use other ssh port than 22, add the line ssh_port=xxx
virtual_ip_address_1=192.168.100.196    ## <- VIPを指定
virtual_ip_address_2=192.168.100.197    ## <- VIPを指定
ssh_port=22
user=root                               ## <- 元ファイルに無いが追記。実行するユーザーを指定
master_node_1=192.168.100.190           ## <-この先は用意したサーバーのIP、ディレクトリ、RAW Diskを追加
master_node_path_1=/ibm
master_docker_disk_1=/dev/sdc
master_node_2=192.168.100.191
master_node_path_2=/ibm
master_docker_disk_2=/dev/sdc
master_node_3=192.168.100.192
master_node_path_3=/ibm
master_docker_disk_3=/dev/sdc
worker_node_1=192.168.100.193
worker_node_path_1=/ibm
worker_node_data_1=/data
worker_docker_disk_1=/dev/sdd
worker_node_2=192.168.100.194
worker_node_path_2=/ibm
worker_node_data_2=/data
worker_docker_disk_2=/dev/sdd
worker_node_3=192.168.100.195
worker_node_path_3=/ibm
worker_node_data_3=/data
worker_docker_disk_3=/dev/sdd
#management_node_1=
#management_node_path_1=
#management_node_2=
#management_node_path_2=
#va_node_1=
#va_node_path_1=
#proxy_node_1=
#proxy_node_path_1=
#proxy_node_docker_disk_1=


インストーラの実行

インストーラを実行します。

./installer.x86_64.466


・画面が遷移します

The installer includes the module path '/ibm/modules'. The following packages will be installed:

    ibm-dde-0.13.14-x86_64.tar
    ibm-iisee-zen-1.0.0.tar

Press Enter to confirm and continue the installation.


The installer detected a configuration file. Do you want to use the parameters in this file for your installation? [Y/N]: y
Validating the information in the file...


By typing (A), you agree to the terms and conditions: http://www14.software.ibm.com/cgi-bin/weblap/lap.pl?la_formnum=&li_formnum=L-DNAA-BBCT4D&title=IBM+Cloud+Private+for+Data+Enterprise+Edition+V2.1&l=en

Type (R) if you do not agree to the terms and conditions

Please type (A) for accept or (R) for reject: a


Please type root's password for all the nodes:


・インストール完了

Running roles: PostInstall on host group: all

Task ['PostInstall'] has completed successfully
Installation was successful and took 02:56:42
Access the zen web portal using the following URL: https://192.168.100.196:31843


管理UIへのログイン

インストール完了後に表示されるURL https://192.168.100.196:31843 にWebブラウザにアクセスします

ユーザー名、パスワードは下記になります。

  • ユーザー名: admin
  • パスワード: password


IBM Cloud Pak for Data Knowledge center

https://www.ibm.com/support/knowledgecenter/SSQNUZ_current/com.ibm.icpdata.doc/zen/overview/overview.html


以上です。 IBM Cloud Pak for Data ですが、環境の事前準備をちゃんと行えば、インストールは全自動なのでお手軽に使い始めることができます。 ただ、今回の環境のスペックを見ていただくとわかる通り、環境の準備が一番大変なのでそこだけはなんとか頑張ってください。

そんなこと言っても環境の用意なんかできるかー!という方向けに弊社環境でテストしていただくと言った調整も個別にできますので、 ご希望のユーザー様は下記まで「ブログ見てIBM Cloud Pak for Data 使って(作って)みたい」とご連絡いただければと思います。

https://www.networld.co.jp/product/ibm-software/

すずきけ

2019/06/18

IBM Cloud Private 3.2 インストール RHEL編

みなさん、こんにちは。 これまでIBM Cloud Privateについてインストール含めいくつか投稿してきましたが 先日、IBM Cloud Private 3.2 (ICP3.2)がリリースされましたので、少し構成を変えてインストール手順をご紹介したいと思います。

ICP3.2では、これまで別にインストールが必要であったMultiCloud Managerを一緒にインストールすることができるようになりました。 今回は、1台のVM上にICPとMCMを同時にインストールし、管理対象として作成済みの別のICP環境が登録できるところまでをご紹介します。


リソース

サーバーリソースやインストーラの準備をします。

サーバー

今回は1台のサーバーに全コンポーネントを構成します。

CPU: 24core
Memory: 32GB
Disk: 500GB
NIC: 1
OS: Redhat Enterprise Linux 7.6

Diskは下記のように構成しています。

    # lsblk
    NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT
    sda 8:0 0 500G 0 disk
    ├─sda1 8:1 0 1G 0 part /boot
    └─sda2 8:2 0 499G 0 part
    ├─rhel_icp--mcm--32-root 253:0 0 450G 0 lvm /
     ├─rhel_icp--mcm--32-swap 253:1 0 15.8G 0 lvm [SWAP]      └─rhel_icp--mcm--32-home 253:2 0 33.2G 0 lvm /home


インストーラ

IBM社のWebサイトからインストーラをダウンロードし、対象のサーバーにコピーします。 今回は /root/ にコピーします。

  • IBM Cloud Private 3.2 for Linux (x86_64) Docker English

    • 部品番号: CC1W1EN
    • Size: 10,201MB
    • Date posted: 31 5 2019
  • IBM Cloud Private 3.2 Docker for Linux (x86_64) English

    • 部品番号: CC1W6EN
    • Size: 111MB
    • Date posted: 31 5 2019


準備

インストールの実行前にサーバーの準備、確認を行います。

利用ポートの空き状況確認

Knowledge Center
下記のコマンドを実行し、ポートが開いて利用可能か確認します。

ss -tnlp | awk '{print $4}'| egrep -w "<port_numbers>"

ポートが使用されていない場合、何も出力されません。
本環境では、FWを停止しています。

systemctl disable firewalld
systemctl stop firewalld


/etc/hosts に各ノードの情報を追記

Knowledge Center

全てのノードのIPアドレスとホスト名を各ノードの /etc/hosts に追記します。

Sample

127.0.0.1       localhost
# 127.0.1.1     <host_name>
# The following lines are desirable for IPv6 capable hosts
#::1     localhost ip6-localhost ip6-loopback
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
<master_node_IP_address> <master_node_host_name>
<worker_node_1_IP_address> <worker_node_1_host_name>
<worker_node_2_IP_address> <worker_node_2_IP_host_name>
<proxy_node_IP_address> <proxy_node_host_name>


今回の環境

# cat /etc/hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
# 127.0.0.1   icp-mcm-32.icp.local
# ::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.100.180  icp-mcm-32.icp.local


今回の環境は全てを1台でまかなうため、1台のエントリのみを追記しています。


Pythonのインストール確認

Knowledge Center

Pythonが必要になるので、インストールされていることを確認します。

python --version


時刻の同期

Knowledge Center

複数のノードで構成する場合は時刻を同期する必要があります。
手順上はNTPでの同期が可能となっていますが、今回は Chrony で構成されていることを確認します。

# systemctl status chronyd
● chronyd.service - NTP client/server
   Loaded: loaded (/usr/lib/systemd/system/chronyd.service; enabled; vendor preset: enabled)
   Active: active (running) since 金 2019-06-14 12:11:53 JST; 2 days ago
     Docs: man:chronyd(8)
           man:chrony.conf(5)
 Main PID: 7010 (chronyd)
    Tasks: 1
   Memory: 76.0K
   CGroup: /system.slice/chronyd.service
           └─7010 /usr/sbin/chronyd

 6月 14 12:11:53 icp-mcm-32.icp.local systemd[1]: Starting NTP client/server...
 6月 14 12:11:53 icp-mcm-32.icp.local chronyd[7010]: chronyd version 3.2 starting (+CMDMON +NTP +REFCLOCK +RTC +PRIVDROP +SCFILTER +SECHASH +SIGND +... +DEBUG)
 6月 14 12:11:53 icp-mcm-32.icp.local chronyd[7010]: Frequency -22.606 +/- 0.053 ppm read from /var/lib/chrony/drift
 6月 14 12:11:53 icp-mcm-32.icp.local systemd[1]: Started NTP client/server.
 6月 14 12:11:59 icp-mcm-32.icp.local chronyd[7010]: Selected source 133.243.238.163
 6月 14 12:12:00 icp-mcm-32.icp.local chronyd[7010]: Selected source 133.243.238.244
 6月 17 00:39:45 icp-mcm-32.icp.local chronyd[7010]: Selected source 133.243.238.163
Hint: Some lines were ellipsized, use -l to show in full.


Dockerのインストール

Knowledge Center

Dockerを事前にインストールします。インストールに使用するファイルは事前にダウンロードし用意したファイルです。

  • IBM Cloud Private 3.2 Docker for Linux (x86_64) English
    • 部品番号: CC1W6EN
    • Size: 111MB
    • Date posted: 31 5 2019

複数台で構成する場合は事前(手動)インストール、自動的にインストールどちらでも構成は可能です。
詳細はKnowledge Centerをご確認ください。

今回は1台構成ですので、事前に手動でインストールします。

cd /root/
./icp-docker-18.06.2_x86_64.bin --install
systemctl enable docker
systemctl start docker


ICPインストール

ICPをインストールする手順です。

Docker Imageファイルの読み込み

Knowledge Center

ここでは事前にダウンロード、コピーした下記のファイルを使います。

  • IBM Cloud Private 3.2 for Linux (x86_64) Docker English
    • 部品番号: CC1W1EN  
    • Size: 10,201MB  
    • Date posted: 31 5 2019  

下記コマンドを実行してファイルを読み込みます。

cd /root/
tar xf ibm-cloud-private-x86_64-3.2.0.tar.gz -O | sudo docker load

※時間がかかります

ファイルを確認します。

# docker images
REPOSITORY                                      TAG                              IMAGE ID            CREATED             SIZE
ibmcom/icp-inception-amd64                      3.2.0-ee                         7bfbda77de25        3 weeks ago         1.07GB
ibmcom/mcm-api-amd64                            3.2.0                            31d264fa970c        3 weeks ago         148MB
ibmcom/mcm-klusterlet-amd64                     3.2.0                            31612377c197        3 weeks ago         293MB
ibmcom/icp-management-ingress-amd64             2.3.0                            44a21aa4ae07        3 weeks ago         561MB
ibmcom/icp-platform-header-amd64                3.2.0                            923bb12c5d41        3 weeks ago         399MB
ibmcom/icp-catalog-ui-amd64                     3.2.0                            8f05cbf2a670        3 weeks ago         268MB
ibmcom/mcm-ui-amd64                             3.2.0                            4738b8251378        3 weeks ago         368MB
ibmcom/mcm-ui-api-amd64                         3.2.0                            1b4c073e1bac        3 weeks ago         184MB
ibmcom/iam-policy-administration-amd64          3.2.0                            391d5a92f6e5        3 weeks ago         609MB
ibmcom/icp-web-terminal-amd64                   3.2.0                            f95426f58aff        3 weeks ago         832MB
ibmcom/icp-platform-api-amd64                   3.2.0                            22a9cf0ddb02        3 weeks ago         1.22GB
ibmcom/deployable-amd64                         3.2.0                            c98849d9e5b6        4 weeks ago         115MB
ibmcom/mcm-application-amd64                    3.2.0                            edb19fe8ace8        4 weeks ago         109MB
ibmcom/icp-platform-ui-amd64                    3.2.0                            84ecfd6c527e        4 weeks ago         322MB
ibmcom/iam-policy-decision-amd64                3.2.0                            8593f2a0f0ce        4 weeks ago         90.7MB
ibmcom/mcm-service-registry-amd64               3.2.0                            33e5253e5d11        4 weeks ago         106MB
ibmcom/grc-ui-amd64                             3.2.0                            586b76295743        4 weeks ago         315MB
ibmcom/minio-mc-amd64                           RELEASE.2019-04-03T17-59-57Z.1   f1f85cc957ab        4 weeks ago         261MB
ibmcom/minio-amd64                              RELEASE.2019-04-09T01-22-30Z.1   8a377ffc548d        4 weeks ago         289MB
ibmcom/icp-identity-manager-amd64               3.2.0                            ac62afda0220        4 weeks ago         229MB
ibmcom/mcm-compliance-amd64                     3.2.0                            c0a88760dcf8        4 weeks ago         460MB
ibmcom/icp-platform-auth-amd64                  3.2.0                            d2a5d45be251        4 weeks ago         804MB
ibmcom/search-collector-amd64                   3.2.0                            d0d43548ce0a        4 weeks ago         120MB
ibmcom/logging-pki-init-amd64                   2.2.0-f3                         963ccf877a15        4 weeks ago         645MB
ibmcom/mcm-operator-amd64                       3.2.0                            81d90af8d5e3        4 weeks ago         134MB
ibmcom/mcm-controller-amd64                     3.2.0                            138c701353d4        4 weeks ago         112MB
ibmcom/icp-redisgraph-amd64                     1.0.14                           06906ccb90e8        5 weeks ago         222MB
ibmcom/search-aggregator-amd64                  3.2.0                            2483f86b6645        5 weeks ago         118MB
ibmcom/draino-amd64                             0.1.1                            8c09acc5306f        5 weeks ago         44.9MB
ibmcom/node-problem-detector-amd64              v0.5.1                           ccd6e755b1f7        5 weeks ago         126MB
ibmcom/kubectl-amd64                            v1.13.5                          0e095c9d19b1        5 weeks ago         259MB
ibmcom/default-http-backend-amd64               1.5.1                            ac9ad2ce402e        5 weeks ago         209MB
ibmcom/metrics-server-amd64                     v0.3.1.1                         981d9944c685        5 weeks ago         243MB
ibmcom/coredns-amd64                            1.2.6                            41ba56a038f2        5 weeks ago         259MB
ibmcom/icp-identity-provider-amd64              3.2.0                            a945ed82b550        5 weeks ago         260MB
ibmcom/ma-file-annotator-amd64                  3.2.0                            1e9378e5e939        5 weeks ago         849MB
ibmcom/sas-base-amd64                           3.2.0                            5426af184cc8        5 weeks ago         849MB
ibmcom/ibmcloud-image-enforcement-amd64         0.2.1                            c02d293faf3e        5 weeks ago         244MB
ibmcom/mcm-weave-scope-amd64                    3.2.0                            ccd605b03abe        5 weeks ago         139MB
ibmcom/icp-mongodb-exporter-amd64               3.2.0                            103d5b1ea1a2        5 weeks ago         366MB
ibmcom/icp-initcontainer-amd64                  1.0.0-f3                         9c80451d2053        5 weeks ago         204MB
ibmcom/icp-memcached-amd64                      1.5.12-icp                       351e255d7fa0        5 weeks ago         264MB
ibmcom/system-healthcheck-service-amd64         3.2.0                            f53bb7444bdd        5 weeks ago         122MB
ibmcom/curl-amd64                               4.2.0-f3                         db09cc8e9b7f        5 weeks ago         221MB
ibmcom/icp-helm-repo-amd64                      3.2.0                            32452b7888f0        5 weeks ago         262MB
ibmcom/icp-iam-onboarding-amd64                 3.2.0                            168c7ba73f74        5 weeks ago         386MB
ibmcom/velero-amd64                             v0.11.0                          5479556ad928        5 weeks ago         142MB
ibmcom/icp-secret-watcher-amd64                 3.2.0                            b700909d1c73        5 weeks ago         116MB
ibmcom/hyperkube-amd64                          v1.13.5-ee                       6ef65d9fca2d        5 weeks ago         628MB
ibmcom/reg-crawler-amd64                        3.2.0                            c7de11520b33        5 weeks ago         1.04GB
ibmcom/live-crawler-amd64                       3.2.0                            ba9e1a80de72        5 weeks ago         1.01GB
ibmcom/weave-collector-amd64                    3.2.0                            3fbffe321d27        5 weeks ago         108MB
ibmcom/grc-ui-api-amd64                         3.2.0                            9451e4fe0b9b        5 weeks ago         181MB
ibmcom/nvidia-device-plugin-amd64               1.3                              606e62095e10        5 weeks ago         136MB
ibmcom/icp-image-manager-amd64                  2.2.5                            fd074bbc8a32        5 weeks ago         152MB
ibmcom/icp-cert-manager-webhook-amd64           0.7.0                            b946908a521f        5 weeks ago         150MB
ibmcom/icp-cert-manager-controller-amd64        0.7.0                            71eab1e42b7a        5 weeks ago         198MB
ibmcom/icp-cert-manager-cainjector-amd64        0.7.0                            f542781230d5        5 weeks ago         138MB
ibmcom/icp-cert-manager-acmesolver-amd64        0.7.0                            9822ff84189b        5 weeks ago         110MB
ibmcom/icp-filebeat-amd64                       5.5.1-f3                         dd16476aa50d        5 weeks ago         380MB
ibmcom/dashboard-controller-amd64               v1.1.0                           d703d855e8bf        6 weeks ago         35.7MB
ibmcom/kmsplugin-amd64                          3.2.0                            2507e10a11bb        6 weeks ago         95.5MB
ibmcom/fluentd-amd64                            v1.4.1-icp                       6f1b729a957a        6 weeks ago         309MB
ibmcom/icp-mongodb-install-amd64                3.2.0                            928fcedd0008        6 weeks ago         19.9MB
ibmcom/elasticsearch-plugin-searchguard-amd64   2.0.0-f3                         4ff0e0c66702        6 weeks ago         331MB
ibmcom/alert-rule-controller-amd64              v1.1.0                           f1af965b76a4        6 weeks ago         134MB
ibmcom/grafana-amd64                            5.2.0-f3                         d93651ccf931        6 weeks ago         336MB
ibmcom/searchguard-init-amd64                   2.0.1-f3                         68147bcc08e4        6 weeks ago         557MB
ibmcom/logstash-liveness-probe-amd64            1.0.2-f3                         05b31dea80e8        6 weeks ago         70.5MB
ibmcom/icp-logstash-amd64                       5.5.1-f3                         37ca0b7d27a2        6 weeks ago         902MB
ibmcom/icp-kibana-amd64                         5.5.1-f3                         c9dc59849690        6 weeks ago         745MB
ibmcom/indices-cleaner-amd64                    1.1.0-f3                         49468000f7fe        6 weeks ago         338MB
ibmcom/icp-elasticsearch-amd64                  5.5.1-f3                         a153c7759945        6 weeks ago         621MB
ibmcom/tiller-amd64                             v2.12.3-icp-3.2.0                1178f59455bb        6 weeks ago         154MB
ibmcom/icp-helm-rudder-amd64                    3.2.0                            eb81962c0b1c        6 weeks ago         110MB
ibmcom/icp-helm-api-amd64                       3.2.0                            401f30a6d7f2        6 weeks ago         205MB
ibmcom/metering-ui-amd64                        3.2.0                            04fac400e98d        6 weeks ago         441MB
ibmcom/metering-data-manager-amd64              3.2.0                            c415a2ddad5f        6 weeks ago         215MB
ibmcom/kms-pep-amd64                            3.2.0                            7aaeb5363df6        6 weeks ago         121MB
ibmcom/kms-onboarding-amd64                     3.2.0                            75a9d249a30a        6 weeks ago         136MB
ibmcom/kms-lifecycle-amd64                      3.2.0                            d0cdac0f6132        6 weeks ago         122MB
ibmcom/kms-persistence-amd64                    3.2.0                            c720b5c2b0df        6 weeks ago         125MB
ibmcom/kms-crypto-amd64                         3.2.0                            4a4e268b04e0        6 weeks ago         121MB
ibmcom/kms-api-amd64                            3.2.0                            8603ca2db4b4        6 weeks ago         120MB
ibmcom/icp-audit-service-amd64                  3.2.0                            e06a726497c3        6 weeks ago         204MB
ibmcom/ma-mcm-controller-amd64                  3.2.0                            823342b3a4be        6 weeks ago         40.2MB
ibmcom/registry-amd64                           2.6.2.4                          e3f692eb854c        6 weeks ago         284MB
ibmcom/process-ma-hf-amd64                      3.2.0                            0e7f2c73560d        6 weeks ago         689MB
ibmcom/ma-file-wl-gen-amd64                     3.2.0                            bdbf4fa13cd7        6 weeks ago         1.22GB
ibmcom/rootkit-annotator-amd64                  3.2.0                            af01468d8f7b        6 weeks ago         599MB
ibmcom/cos-indexer-amd64                        3.2.0                            5fd1ccffe5d8        6 weeks ago         907MB
ibmcom/usncrawler-amd64                         3.2.0                            45abd51f0903        6 weeks ago         162MB
ibmcom/secure-config-annotator-amd64            3.2.0                            6315ff6e5746        6 weeks ago         786MB
ibmcom/password-annotator-amd64                 3.2.0                            b9541d6c7720        6 weeks ago         658MB
ibmcom/compliance-annotator-amd64               3.2.0                            310b5e5a2797        6 weeks ago         725MB
ibmcom/vulnerability-annotator-amd64            3.2.0                            ed1a6b44e411        6 weeks ago         744MB
ibmcom/config-parser-amd64                      3.2.0                            bcb42091c7de        6 weeks ago         692MB
ibmcom/py-generic-indexer-amd64                 3.2.0                            d93faf78e54c        6 weeks ago         706MB
ibmcom/icp-audit-service-nr-amd64               3.2.0                            4e16f0bc598e        6 weeks ago         411MB
ibmcom/istio-proxyv2-amd64                      1.0.2.3                          c7870313c9d0        7 weeks ago         386MB
ibmcom/istio-proxy_init-amd64                   1.0.2.2                          6da5ea9248b7        8 weeks ago         122MB
ibmcom/istio-pilot-amd64                        1.0.2.2                          7cef95b2543b        8 weeks ago         290MB
ibmcom/istio-grafana-amd64                      1.0.2.2                          a8cf54903a32        2 months ago        284MB
ibmcom/kafka-amd64                              0.10.0.4                         7dcdd6710c8a        2 months ago        1.69GB
ibmcom/icp-storage-util-amd64                   3.2.0                            39f6d07ea4f0        2 months ago        100MB
ibmcom/nginx-ingress-controller-amd64           0.23.0                           c885a0010dfc        2 months ago        652MB
ibmcom/gluster-amd64                            v4.1.5.1                         c4e893bb3081        3 months ago        363MB
ibmcom/heketi-amd64                             v8.0.0.1                         13127dc55ac9        3 months ago        285MB
ibmcom/prometheus-amd64                         v2.8.0                           f57ed0abd85c        3 months ago        109MB
ibmcom/icp-mongodb-amd64                        4.0.6                            a3abd47e8d61        3 months ago        394MB
ibmcom/k8szk-amd64                              v5                               3158387c8090        3 months ago        711MB
ibmcom/calico-node-amd64                        v3.5.2                           c90e4b49722e        3 months ago        72.7MB
ibmcom/calico-cni-amd64                         v3.5.2                           1c5756b05a3a        3 months ago        83.6MB
ibmcom/calico-ctl-amd64                         v3.5.2                           11a8f7d2a6ab        3 months ago        39.8MB
ibmcom/calico-kube-controllers-amd64            v3.5.2                           9abd28f0ab06        3 months ago        50.5MB
ibmcom/service-catalog-service-catalog-amd64    v0.1.40-icp                      a7d502ea2470        4 months ago        48.3MB
ibmcom/kiali-amd64                              v0.8.0.1                         597f59b8441c        5 months ago        300MB
ibmcom/etcd-amd64                               3.2.24                           33bdcac177c2        8 months ago        220MB
ibmcom/jaegertracing-all-in-one-amd64           1.7                              7ad5d345bd8a        9 months ago        42.5MB
ibmcom/istio-galley-amd64                       1.0.2                            b8cfc0e19a91        9 months ago        65.8MB
ibmcom/istio-citadel-amd64                      1.0.2                            ca4050c9fed3        9 months ago        50.7MB
ibmcom/istio-mixer-amd64                        1.0.2                            d559bdcd7a88        9 months ago        64.5MB
ibmcom/istio-servicegraph-amd64                 1.0.2                            c36167d0817c        9 months ago        11.2MB
ibmcom/istio-sidecar_injector-amd64             1.0.2                            77e6870301bb        9 months ago        45.3MB
ibmcom/icp-vip-manager-amd64                    1.1                              a947d99712bc        9 months ago        23.6MB
ibmcom/keepalived-amd64                         1.2.24                           afe8d43fd5cf        9 months ago        4.75MB
ibmcom/ucarp-amd64                              1.5.2                            9e92ac65e1fe        9 months ago        7.84MB
ibmcom/statsd-amd64                             0.7.2.1                          63abfe933c79        9 months ago        1.23GB
ibmcom/cert-manager-amd64                       v0.3.1                           b8418de4aa2e        11 months ago       51.8MB
ibmcom/alertmanager-amd64                       v0.15.0-f3                       24ad3756845c        11 months ago       36.1MB
ibmcom/node-exporter-amd64                      v0.16.0-f3                       188af75e2de0        13 months ago       22.9MB
ibmcom/k8s-prometheus-adapter-amd64             v0.2.1.1                         4a3ba29699fa        14 months ago       52.1MB
ibmcom/kube-state-metrics-amd64                 v1.3.0-f3                        62a2d8cf4b55        14 months ago       35.6MB
ibmcom/configmap-reload-amd64                   v0.2.2-f3                        7a344aad0fdb        16 months ago       22.4MB
ibmcom/collectd-exporter-amd64                  v0.4.0-f3                        98678887c9cb        17 months ago       13.7MB
ibmcom/prom-statsd-exporter-amd64               v0.6.0                           304735eab4e4        17 months ago       14.1MB
ibmcom/elasticsearch-exporter-amd64             1.0.2-f3                         d767dc6ccfb2        17 months ago       9.2MB
ibmcom/pause-amd64                              3.1                              da86e6ba6ca1        18 months ago       742kB


インストールディレクトリの作成

Knowledge Center

Knowledge Centerと同様に下記のディレクトリを作成し、移動します。

mkdir /opt/ibm-cloud-private-3.2.0;  
cd /opt/ibm-cloud-private-3.2.0  


設定ファイルを抽出

Knowledge Center

Docker Imageから設定ファイルを抽出します。

sudo docker run -v $(pwd):/data -e LICENSE=accept \
ibmcom/icp-inception-amd64:3.2.0-ee \
cp -r cluster /data


クラスターノード間でSSHキーを共有する

Knowledge Center Knowledge Center

ブートノードからクラスタ内の全てのノードに接続するためにSSHキーを共有します。
SSHキーを使う方法以外にパスワード認証を使用することも可能です。

本環境では1台構成のため、下記のコマンドを実行します。

ssh-keygen -b 4096 -f ~/.ssh/id_rsa -N ""
ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.100.180
cp ~/.ssh/id_rsa ./cluster/ssh_key


各クラスターノードの情報を /cluster/hosts に追記

Knowledge Center

Knowledge Centerの内容を参考にICPを構成するノードの情報を追記します。
本環境は1台で全てを構成するの下記のようになります。


vi /opt/ibm-cloud-private-3.2.0/cluster/hosts

[master]
192.168.100.180

[worker]
192.168.100.180

[proxy]
192.168.100.180

#[management]
#4.4.4.4

#[va]
#5.5.5.5


ファイルの移動

Knowledge Center

事前にダウンロード、コピーした下記のファイルを使います。


- IBM Cloud Private 3.2 for Linux (x86_64) Docker English
- 部品番号: CC1W1EN - Size: 10,201MB - Date posted: 31 5 2019

このファイルを //cluster/imagesに移動します。


mkdir -p mkdir -p /opt/ibm-cloud-private-3.2.0/cluster/images/ 
mv /root/ibm-cloud-private-x86_64-3.2.0.tar.gz /opt/ibm-cloud-private-3.2.0/cluster/images/


クラスターのカスタマイズ

Knowledge Center config.yaml を編集し、クラスタをカスタマイズします。
編集対象のファイルは /opt/ibm-cloud-private-3.2.0/cluster/config.yaml です。 各設定はファイルの中身のみ記載します。


パスワード規則の無効化

Knowledge Center

デフォルトではパスワードの複雑性の規則が設定されているので無効化します。


## 省略 ##

## Advanced Settings
default_admin_user: admin
# default_admin_password:
# ansible_user: <username>
# ansible_become: true
# ansible_become_password: <password>
## Add password rule
password_rules:
 - '(.*)'

## 省略 ##


デフォルトパスワードの指定

Knowledge Center

デフォルトログインユーザー admin のパスワードを指定します。
指定するパスワードは admin です。


 ## 省略 ##

 ## Advanced Settings
default_admin_user: admin
# default_admin_password:
default_admin_password: admin  ##追記
# ansible_user: <username>
# ansible_become: true
# ansible_become_password: <password>
## Add password rule
password_rules:
- '(.*)'

 ## 省略 ##


Multicloud Manager の有効化

Knowledge Center

ICP3.2からMulticloud Managerが含まれる形で構成され、有効化するだけで利用可能となりました。
今回はICPインストール時に Multicloud Manager を有効化する設定を行います。

## 省略 ##

## Clean metrics indices in Elasticsearch older than this number of days
# metrics_max_age: 1

## Clean application log indices in Elasticsearch older than this number of days
# logs_maxage: 1

## Set to false if user wants to install the full functionality of IBM Multicloud Manager hub
# single_cluster_mode: true
## 追記ここから
single_cluster_mode: false  

multicluster-hub:
 etcd:
   persistence: true
   localPath: /var/lib/etcd-mcm
## 追記ここまで

## Istio addons security Settings
## If user wants to configure Istio addons securty settings

## 省略 ##


Multicloud Manager用の etcd ディレクトリを作成します。
Management Nodeが複数ある場合は全てのノード上で作成します。
本環境は1台構成ですので、1台に作成します。


mkdir -p /var/lib/etcd-mcm


ICPをManaged Clusterとして登録

Knowledge Center

ICPをインストールする際にMulticloud Manager配下(管理対象)として登録することもできるようになりました。
今回はICPは1クラスター(且つ1台構成)ですので、自分自身を管理するように構成します。

multicluster-endpointを有効にします。

## 省略 ##

management_services:
  istio: disabled
  vulnerability-advisor: disabled
  storage-glusterfs: disabled
  storage-minio: disabled
  platform-security-netpols: disabled
  node-problem-detector-draino: disabled
  # multicluster-endpoint: disabled
  multicluster-endpoint: enabled

## 省略 ##


ICPクラスター情報を指定します。
※config.yamlの最下部にコメントアウトされた下記設定があるので、その下に下記内容を追記する

multicluster-endpoint:
  global:
    clusterName: "managed-cluster"
    clusterNamespace: "ns-managed-cluster"
  clusterLabels:
    environment: "Dev"
    region: "US"
    datacenter: "toronto"
    owner: "marketing"
  operator:
    bootstrapConfig:
      hub0:
        name: hub0
        secret: kube-system/klusterlet-bootstrap
      hub1:
        name: null
        secret: null
  klusterlet:
    host: null
  prometheusIntegration:
    enabled: true
  policy:
    cemIntegration: false
  topology:
    enabled: true
  serviceRegistry:
    enabled: true
    dnsSuffix: "mcm.svc"
    plugins: "kube-service"


インストール前チェック

Knowledge Center

下記コマンドを実行しインストール前のチェックをします。

cd /opt/ibm-cloud-private-3.2.0/cluster/
sudo docker run --net=host -t -e LICENSE=accept \
-v "$(pwd)":/installer/cluster ibmcom/icp-inception-amd64:3.2.0-ee check


チェック完了時のログ

PLAY RECAP  

192.168.100.180            : ok=58   changed=34   unreachable=0    failed=0

Playbook run took 0 days, 0 hours, 1 minutes, 25 seconds


完了後、エラーが出ていないことを確認してください。


インストール

Knowledge Center

チェックに問題がなければインストールを実行します。  

cd /opt/ibm-cloud-private-3.2.0/cluster/
sudo docker run --net=host -t -e LICENSE=accept \
-v "$(pwd)":/installer/cluster ibmcom/icp-inception-amd64:3.2.0-ee install


インストール完了時のログ

PLAY RECAP  

192.168.100.180           : ok=167  changed=97   unreachable=0    failed=0  
localhost                  : ok=373  changed=195  unreachable=0    failed=0  

POST DEPLOY MESSAGE    ************************************************************  

The Dashboard URL: https://192.168.100.180:8443, please use credentials in config.yaml to login.    

Playbook run took 0 days, 0 hours, 40 minutes, 5 seconds  



管理コンソールへのアクセス

管理コンソールにアクセスします。インストールを実行したコンソール上に管理コンソールのURLが記載されています。

  • https://192.168.100.180:8443
    • user: admin  
    • password: admin  

141925


Multicloud Managerを有効化している場合はMulticloud ManagerのUIが表示されます。
有効化していない場合はICPの管理UIが表示されます。

142000


Multicloud Managerが正常に動作しているか確認をしていきます。

Multicloud Managerの稼動確認

Multicloud Managerとして稼動しているか確認します。

デプロイメントの稼動確認

Multicloud Managerのデプロイメントが正常に動作しているか確認します。
管理コンソールのメニューから[ローカル・クラスター]-[ローカル・クラスターの管理]に移動します。

ICPの管理画面が開きます。メニューから[ワークロード]-[デプロイメント]を開きます。

160830


multicluster-hub- から始めるエントリが全て使用可能のステータスが1になっている事を確認します。


管理対象ICPクラスターの登録確認

管理対象としてICPクラスターを登録するよう設定しましたが、Multicloud Managerからも参照できる事を確認します。


デプロイメントの稼働確認

管理コンソールのメニューから[ローカル・クラスター]-[ローカル・クラスターの管理]に移動します。

ICPの管理画面が開きます。メニューから[ワークロード]-[デプロイメント]を開きます。

160812_2


multicluster-endpoint- から始めるエントリが全て使用可能のステータスが1になっている事を確認します。

ICPクラスター情報の確認

Multicloud Managerの管理コンソールを開きます。

142000_2


メニューから クラスター を開きます。local clusterとしてエントリされていることが確認できます。

161432_2


161445


また、メニューから 概説 を開きます。こちらでは管理しているKubernetes クラスターのステータスを一覧で見ることができます。 現在はICPクラスターのみになりますので、ICPクラスター1台の情報が表示されています。

61522



以上になります。
これまでのバージョンから大きくインストール方法が変更されていませんがメイン機能の一つである、 Multicluster Managerが同梱され、気軽に構成できるようになったりしています。

また、今回は各設定の説明の前に Knowledge Center のリンクをつけてみました。 IBM Knowledge Center上の該当部分になりますので、ぜひ参照してみてください。

すずきけ

2019/06/10

Watsonで遊んでみる/VTuber配信編

■ はじめに


こんにちは、Watson技術担当の山下です。


突然ですが、VTuberをご存知ですか!?

最近は、ドラマ出演もしてたりして、すごい人気ですよね

ドラマ25 四月一日さん家の|テレビ東京

テレビ東京、VTuber主演ドラマ「四月一日さん家の」4月放送開始


そこで、本ブログ連載では、これから何回かにわたって、Watson AIを使って、VTuberの運用自動化の実装にトライしていきたいと思います。





■ IBM Cloud/Watsonについて


・IBM Cloudのライトアカウントを取得すれば、無料でWatson AIを使うことできます。

IBM Cloud ライト・アカウント | IBM Cloud


・タレントの池澤あやかさんの紹介記事、いろんなおもしろいことできそうですね

IBM Cloud デベロッパーズ・ラウンジ - Japan

使用期限ナシで無料のIBM Cloud「データ分析」にチャレンジ! - 日経 xTECH Special


・IBM Cloudの無料での始め方は、こちら@ayatokuraさんの記事がわかりやすいです。

「IBM Cloudをはじめました」無料ではじめられるライト・アカウント登録方法


■ 作るものイメージ


うーん、例えばこんな感じです、Watson AIが、アバターの表現支援を行うことが、きっとできるはず!

  • 視覚 → Visual Recognition
  • 聞く/話す → Speech to Text / Text to Speech
  • 頭脳 → Discovery
  • 会話 → Assistant
  • 感情 → Personal Insights

Watson AIで、VTuberがパワーアップできそうな予感です(ワクワク)



■ 実装してみる


・vTuberは、Unityで動かしていきます。

・Watsonはバックエンド担当で、VTuberをAI支援していきます。

UnityからWatsonを簡単に呼び出せるUnity-SDKが用意されてましたので、このページからダウンロードして使ってきます


上記画像は、私がいましゃべっていて、、VTuberの発話を Watsonで音声認識して、テキスト字幕をだそうとしてます



■ これから


私のテストがまだまだこれからなのですが、対話がしっかり成立するようになれば、、VTuber配信システムを自動化できる未来は近いかもしれません、、

そんな近い将来(!?)を体感できるような連載を、今後本ブログで行っていきたいと思います。


次回この続きは、今月末くらいを予定しております。最後まで読んでいただきありがとうございました。

Watson AI が初めての方でも分かるように書いてきますので、ぜひ色々な方々にご覧いただけると嬉しいです!

2019/05/22

IBM Multicloud Managerの資料を公開しました

みなさま、こんにちは。

これまで IBM Cloud Privateのインストールや付属ソフトウェアのインストール方法などなどご紹介してきましたが、今回IBM Cloud Private上で稼働する IBM Multicloud Manager について製品の説明と実際に環境を構築し、本当にハイブリッド/マルチクラウドな環境で稼働させることができるか?を検証し、資料として公開させていただくことになりました。  

インストールに関しての記事は公開させていただいておりましたが、バージョンも変わり機能面も強化されてきておりますのでぜひご覧いただければと思います。  

・ハイブリッド/マルチクラウド時代に欠かせない、理想的なKubernetes運用の秘訣

・検証:Kubernetesのオーケストレーション強化でマルチクラウドはどう変わるか

以上になります。ありがとうございました。

すずきけ

2019/02/18

本当のMulti Cloud Manager (ver 3.1.2)

みなさん、こんばんは。こんにちは。鈴木です。

ひたすらIBM Cloud Private関連の内容を投稿していますが、変わらずその内容です。

今現在、IBM Think 2019が行われており、これまでいろいろを投稿させていただいているMultiCloud Managerについて新バージョン(ver 3.1.2)がリリースされました。 今回は速報でサクッとご説明したいと思います。

  • Azure,AWS,GoogleのKubernetes環境に対応

20190213_234743958_ios


画像のように、IBM MultiCloud Managerで他社製のクラウドの管理もできるようになります。 設定としては、各クラウドのKubernetes上に Klusterlet という管理エージェントとなるコンテナーをデプロイする必要があります。

実際に管理している画面はこちら。

20190213_234748306_ios


実は、AWSやGKSなどは自動で判別はしてくれませんが、タグをつけることができるので、ユーザーごとに管理単位ごとにタグ付けしていただくことで、管理に柔軟性を持つことができます。


  • 検索の実行 これまでのMultiCloud Managerでは複数クラスター(これまではICPとIKSでしたが)の管理をしている場合に、どこにどのPodがあるかなどの検索の手段がありませんでした。 しかし、今回のバージョンでは Search の機能が追加されており、Podなどの検索がサクッとできるようになっています。

20190213_235540541_ios



  • Dash boardからのドリルダウン 地味ですが、管理者には素敵な機能です。
    これまでは、Dash boardの一覧で問題があったホストなどがあっても、Dash board上からはドリルダウンできない場所もありました。 今回のバージョンでは、Dashboardの一覧から問題のあるHostなどに対して、すぐにドリルダウンできるようにインターフェースが改良されています。


  • インストールに関して IBM MultiCloud Manager 3.1.2が最新になりますが、これを使う場合にはICP3.1.2が必要になります。
    ICP3.1.2のインストールもMultiCloud Managerのインストールも試していませんが、MultiCloud ManagerのKulusterletについては 提供時のファイル名が大きく変わっていましたので、手順の再確認をする予定です。
    (現地でSEに確認する限り、方法は変わっていないようですが・・・)


インストールについては改めて弊社で検証後、記事として投稿させていただきますのでお待ちください。


IBM Knowledge Centerではすでにドキュメントが公開されています。

ICP 3.1.2の新機能
https://www.ibm.com/support/knowledgecenter/SSBS6K_3.1.2/getting_started/whats_new.html

MCM3.1.2の新機能
https://www.ibm.com/support/knowledgecenter/SSBS6K_3.1.2/mcm/getting_started/whats_new_mcm.html



以上となります。 さらっとですが、これまで どこまで対応するの?MultiCloud Manager という部分がやっと見えてきました。

トライアル等、デモ等ご要望がございましたら是非ご連絡ください。

すずきけ

2019/02/01

IBM Cloud Private 3.1.1 AD連携機能を試してみる

みなさん、こんにちは。

今回はユーザー連携部分のお話です。
当然、この手の製品の管理コンソールですとユーザーの作成はローカルとLDAPと連携する方法があり、ICPも同様です。

LDAP連携機能では、多くの皆さんが使われているであろう Microsoft Active Directory との連携も対応していますので、ちょっとセットアップしてみたいと思います。



環境

ICP環境は前回、前々回などと同じ環境です。
- ICP Master server 1台
- ICP Worker server 1台

今回はActive Directoryと連携するので、下記のActive Directoryを用意しています。


AD 環境

20190131_14h28_03_2


Active Directory ユーザーとコンピューター の画面はこのようになっています。

20190129_17h32_37



今回のゴール

下記のことができるように確認します。

  1. OU=icp のユーザーが ICPのユーザーとして登録できること
  2. ADのセキュリティグループ icpgroup に所属しているユーザーでログインができること
  3. 登録したユーザーには特定のリソースしか表示、利用できないこと


ADを登録

ICPでのLDAPの登録は管理コンソールからできます。

管理コンソールにログインして、

20190129_17h36_35


メニューの[管理]-[IDおよびアクセス]に移動します。

20190129_17h36_45


接続の作成をクリックします。

20190129_17h37_07a


下記の内容を参考に設定します。
LDAP認証の部分は Distinguished Name(DN) で書く必要があります。

20190131_14h28_15


20190129_18h00_45s


DNがわからないという方は、下記のようにコマンドプロンプトから確認したユーザーを入れてみてください。

20190129_18h24_06


入力後、接続の確認をして、保存します。


チームの登録

次にチームを登録します。
チームに対して、AD上のユーザーやセキュリティグループを割り当てたり、利用可能なリソースの割り当てを行います。

メニューの[管理]-[IDおよびアクセス]-[チーム]に移動します。
チームの作成をクリックします。

20190129_18h25_20


ポップアップウインドウで下記を参考に入力します。

20190131_14h28_25


20190130_10h49_32


作成をクリックします。
チームが登録されることが確認できます。


チームに登録されているセキュリティグループの確認

さきほどのチーム登録時に指定したセキュリティグループicpgroupが登録されていることと、グループに登録されているユーザーもICP上で確認可能か見てみます。

管理コンソールで作成したチーム名をクリックします。
今回であれば、icp-teamです。

20190129_18h49_14


チームに登録されているグループの一覧が表示されます。
まだ1グループしか登録していないので、icpgroupのみが登録されています。
icpgroupをクリックします。

20190129_18h50_51


icpgroupに所属しているユーザーの一覧が表示されます。

20190130_10h52_36



セキュリティグループに登録されているユーザーのログイン確認

セキュリティグループに登録されているユーザーもICP上で確認できましたので、そのユーザーでICP管理コンソールにログインできるか試してみます。

今開いている管理コンソールをログオフするか、別の種類のWebブラウザまたはシークレットモードで起動したWebブラウザを起動します。
※あとの工程上、ログオフせずに別のWebブラウザまたはシークレットモードのWebブラウザのほうが都合がよいです。

ログイン画面で先ほど確認したセキュリティグループに登録されているユーザーでログインします。
今回は user2 を利用します。

20190130_10h53_32


ログインでエラーがでることもなく、管理画面のようこそ画面が表示されることが確認できます。

20190130_10h57_13



チームにADユーザーを個別に登録

次に、作成済みのチームicp-teamにADユーザーを個別に登録してみます。

ICP管理コンソールを開き、adminでログインします。
メニューの[管理]-[IDおよびアクセス]-[チーム]に移動します。
その後、icp-teamに移動し、ユーザータブを表示します。
ユーザーの追加をクリックします。

20190130_10h57_45


下記を参考にユーザーを検索します。

20190131_14h30_18


検索結果が表示されていますので、今回はuser3を選択します。
このユーザーはセキュリティグループicp-teamには登録されていないユーザーです。
役割のカラムで役割をドロップダウンリストから選択できます。今回は管理者のまま、追加をクリックします。

20190130_10h58_27


ユーザーの一覧画面が表示され、ユーザー登録が完了していることが確認できます。


登録したユーザーでログインしてみる

登録したユーザーでICP管理コンソールにログインできるか確認してみます。

今開いている管理コンソールをログオフするか、別の種類のWebブラウザまたはシークレットモードで起動したWebブラウザを起動します。
※あとの工程上、ログオフせずに別のWebブラウザまたはシークレットモードのWebブラウザのほうが都合がよいです。

先ほど登録したuser3でログインします。

20190130_11h38_54


ログインでエラーがでることもなく、管理画面のようこそ画面が表示されることが確認できます。

20190130_11h39_08



リソースを見てみる

せっかくなので、user3で操作できるリソースを見てみます。

20190130_15h20_23


名前空間(name space)が割り当てられていないので操作ができません。
チームに対してリソースの割り当てを行います。


管理者アカウントでICP管理コンソールにログインし、メニューの[管理]-[IDおよびアクセス]-[チーム]に移動します。
その後、icp-teamに移動し、リソースタブを表示します。
リソースの管理をクリックします。

20190131_11h48_10


リソースの管理画面が表示されます。 今回は defaultibm-chartsにチェックを付け、保存します。

20190131_11h49_33

20190131_11h58_36


再度、user3でICP管理コンソールにログインします。
メニューの[ワークロード]-[デプロイメント]を開きます。

20190131_13h46_04


先ほどとは違い、エラーは表示されません。
実際にリソースが利用できるか確認してみます。
管理コンソール右上のカタログをクリックします。

20190131_13h46_04_2


検索画面に liberty と入力し、表示された結果から ibm-open-liberty を選択します。

20190131_13h46_36


構成をクリックし、下記のパラメーターを入力します。

20190131_14h28_58


記載のない設定は変更せず、インストール をクリックします。

20190131_13h55_14


Helmリリースの表示を開き、少し時間をあけてステータスを確認します。
デプロイメントのステータスの使用可能1になっており、ポッドのステータスもRunningになっていることが確認できました。

20190131_13h56_56


20190131_13h57_10


先ほどのHelmカタログからデプロイする際のターゲット名前空間のドロップリストはDefaultだけになっていましたので、user3ではdefault以外の名前空間のリソースに対しての権限を持っていないことも確認できました。




以上がAD連携の連携後の簡単な動作確認の方法でした。

NameSpace(名前空間)ごとに割り当てチームを決めることで、別のチームのNameSpaceへの影響も抑えられますし、そもそもユーザー管理をICP上でコツコツやるのは大変!という要望にもこたえられるかと思いますのでぜひ試してみてください。

現状の挙動として、ちゃんとAD上に存在していて、ICP上のチームに登録されているセキュリティグループにも所属しているADユーザーでもログインできない場合は、一度ICP上のADの登録画面で対象のADを編集で開き、再度保存してみてください。



今回も長々とありがとうございました。

すずきけ

2019/01/18

IBM Cloud Private 3.1.1 Workerを追加してみよう(Power Linux版)

みなさん、こんにちは。

Workerの追加のエントリで x86 Linux版とつけていましたが、このエントリのためでした。
先日、Power 9が搭載されている Newell が納品され、Redhat Enterprise Linuxがインストールされたタイミングで、こっそり借りることができたので、ICPのWorkerとして追加してしまいました。

追加方法は IBM Cloud Private 3.1.1 Workerを追加してみよう(x86 Linux版) とほぼ変わりません。
異なる点とテスト方法についてのみ書いていきます。

追加するNewell環境

環境は下記になります。


# hostnamectl
   Static hostname: Newell
         Icon name: computer
        Machine ID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
           Boot ID: xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
  Operating System: Red Hat Enterprise Linux
       CPE OS Name: cpe:/o:redhat:enterprise_linux:7.5:GA:server
            Kernel: Linux 4.14.0-49.el7a.ppc64le
      Architecture: ppc64-le

  
# python --version
Python 2.7.5  


IPアドレスは xxx.xxx.xxx.6 です。

手順概要

手順の大枠はx86 Linux版とほぼ変わりません。

    追加するノードでは下記の事を行います。
    1. 通信ポートの確認  
    2. SE Linux の無効化、Firewallの無効化  
    3. /etc/hostsを設定  
    4. 時刻の同期  
    5. Python のインストール(の確認)  
    6. Dockerのインストール  
    7. (後から作業) sshサービスの再起動  

    Master Serverで行う作業  
    実際のインストール作業については既存のMaster Serverから行います。  
    - SSH Keyのコピー
    - (後から作業) sshサービスの再起動  
    - バイナリーファイルの確認
    - Workerの追加 

異なる点は Power用のバイナリを用意する必要があります。

  • ICP本体
    IBM Cloud Private 3.1.1 for Power Linux LE (64-bit) Docker (CNZ4XEN )
    Size : 11,108MB

  • Docker
    IBM Cloud Private 3.1.1 Docker for Power Linux LE (64-bit) (CNXD3EN )
    Size : 108MB


Dockerのバイナリは追加するノードへのインストールで利用します。
ICPのPower用バイナリは /(installation_directory)/cluster/images に配置します。
下記がKnowledge Centerの情報です。

https://www.ibm.com/support/knowledgecenter/ja/SSBS6K_3.1.1/installing/add_node.html#worker

    Ensure that the installer for the platform that the new node runs on, is available in your //cluster/images directory.
    For a Linux® 64-bit node, you need the ibm-cloud-private-x86_64-3.1.1.tar.gz or ibm-cp-app-mod-x86_64-3.1.1.tar.gz file.  
    For a Linux® on Power® (ppc64le) node, you need the ibm-cloud-private-ppc64le-3.1.1.tar.gz or ibm-cp-app-mod-ppc64le-3.1.1.tar.gz or file.  
    For a IBM® Z worker node, you need the ibm-cloud-private-s390x-3.1.1.tar.gz file. 


Worker追加手順

今回は事前準備が終わった状態で、Master Server上にバイナリーファイルをコピーまでが終わった状態の想定でバイナリーファイルの確認から行います。

 
ls /opt/ibm-cloud-private-3.1.1/cluster/images ibm-cloud-private-ppc64le-3.1.1.tar.gz ibm-cloud-private-x86_64-3.1.1.tar.gz

Power用の ibm-cloud-private-ppc64le-3.1.1.tar.gz が配置されていることを確認します。


下記コマンドを実行し、Workerの追加を行います。
実行コマンドは x86 Linux版のときと全く同じです。

cd /opt/ibm-cloud-private-3.1.1/cluster
docker run -e LICENSE=accept --net=host \
-v "$(pwd)":/installer/cluster \
ibmcom/icp-inception-$(uname -m | sed 's/x86_64/amd64/g'):3.1.1-ee worker -l \
xxx.xxx.xxx.6 


動作確認


管理コンソール上で確認

管理コンソールのメニューから[プラットホーム]-[ノード]とたどっていただくと登録されているノードが表示されます。 ここでWorkerとして追加したノードが表示されていることを確認できます。

20190118_11h42_11a


アーキテクチャー部分が ppc64le となっているものがPowerのノードです。


ノードの動作確認

次に実際にPodが追加したWorker上にスケジュール(動作)するか確認してみます。
x86 Linuxの場合は仕込みをして確認しましたが、今回は仕込みをせずにHelmを利用する際にパラメーターを変更して対応します。

管理コンソール右上の カタログ をクリックします。 検索部分で Liberty といれると、Web Sphere LibertyOpen Liberty が表示されますので、 Open Liberty を選択します。

20190118_11h50_14a


Open Libertyの情報が表示されますので、構成 をクリックします。

20190118_11h50_21


パラメータを指定してデプロイします。

  • Helmリリース名 : 任意の名前
  • ターゲット名前空間 : Default
  • ポッドセキュリティー : 入力なし
  • 使用許諾条件 : チェックをつける
  • すべてのパラメーターを開く
    • Architecture scheduling preference
      -> ppc64le scheduling preference
      -> 3 - Most preferred


20190118_11h51_57a_2


すべて入力後、インストール を実行します。


ポップアップが表示されたら Helmリリースの表示 をクリックします。
Helmリリースのステータスが表示されます。
Containerの作成が完了するまで少し待ち、デプロイメント項目にリストされているデプロイメントをクリックします。
※今回であれば power-openliberty-test1 です。

20190118_11h55_17a


表示された画面の ポッド 部分を確認します。
ホストIPが PowerのWorker Nodeとなっていることを確認します。
この画面上では xxx.xxx.xxx.6になります。

20190118_11h56_24a


以上になります。
せっかくのPowerのWorkerですので、できる範囲で検証を公開していきたいと思っていますのでご期待ください。


ご案内

今回利用したPowerの機器(Newell)ですが、弊社の Networld ディープラーニング検証センターにて無料でご利用いただくことが可能です。

https://www.networld.co.jp/solution/ibm-hardware_nvidia_minsky/

Power8のMinskyとPower9のNewell どちらもありますので検証してみたいという方は是非ご連絡ください!もちろんIBM Cloud Private用途でなくても問題ありません!

すずきけ

続きを読む »

2019/01/17

IBM Cloud Private 全部GUIでやるOpen Libertyのテストデプロイ

今回はIBM Cloud Privateって構築してみたけど、アプリケーションの開発とかやらないし、この先どうしたらいいのかよくわからないな~という人のためにサクッとできるデプロイしたContainerが動作しているか確認する方法を書いていきたいと思います。
また、ポイントとしてはGUIでという部分です。ご存知の通り、ICPではKubernetesサービスが動いていますが、他のクラウドサービスとかですとコマンドベースで動かしていることが多そうです。
ただ、せっかく製品買ったし、GUIあるなら使いたい!ということでGUIをご案内します。

環境

定番の環境の情報です。
今回使ったのはICPクラスタ1台です。
作り方は IBM Cloud Private 3.1.1 インストール方法(RHEL編) で書いています!
※今回使う環境はICP 3.1.0 ですが、方法に変わりはありません。


構築する環境

2台のサーバーを使いICPをインストールします。

1台目:Master node (manager,management,etcd,proxy)
2台目:Worker node (Worker)
※インストール手順では、1台目を「Master」、2台目を「Worker」を表記します。

サーバーはどちらも同一スペックを用意しています。

  • OS : RedHat Endterprise Linux 7.4
  • 物理/仮想 : 仮想
  • CPU(Core) : 8
  • Memory : 24GB
  • Disk : 300GB
  • NIC : 1つ


デプロイするアプリケーション

今回は、OSSの Open Liberty をデプロイします。


手順概要

  1. 管理コンソールにログイン
  2. Helmカタログからデプロイするアプリケーション(Open Liberty)を選択
  3. パラメータを指定してデプロイ
  4. デプロイした情報を確認(接続ポート)
  5. Webブラウザーからアクセス確認

※ 今回、Open LibertyへのWebアクセスはHTTPで構成します。


作業手順


管理コンソールにログイン

管理コンソールにログインします。
ログインのURLは

https://(MasterサーバーIP):8443

です。

Helmカタログからデプロイするアプリケーション(Open Liberty)を選択

管理コンソール右上の カタログ をクリックします。

検索部分で Liberty といれると、Web Sphere LibertyOpen Liberty が表示されますので、 Open Liberty を選択します。

20190116_14h09_17a


Open Libertyの情報が表示されますので、構成 をクリックします。

20190116_14h10_05a


パラメータを指定してデプロイ

今回はテストですので、必要最低限の設定だけを行います。

  • Helmリリース名 : 任意の名前
  • ターゲット名前空間 : Default
  • ポッドセキュリティー : 入力なし
  • 使用許諾条件 : チェックをつける


設定完了後、インストールをクリックします。

20190116_15h01_15a


デプロイした情報を確認(接続ポート)

インストールをクリックすると下記のポップアップが開きます。

20190116_15h15_07


Helmリリースの表示をクリックします。
Helmでデプロイされた内容の一覧が表示されます。
デプロイ直後は稼働しきっていませんので、数分後に画面をリロードします。

20190116_15h16_21

20190116_15h16_34


正常に稼働している場合は上記の画像のようになります。
稼働しているかチェックするポイントはデプロイメント使用可能1となっていることと、Pod準備完了1/1となっていることです。
※稼働するまで少し時間がかかります。

20190116_15h16_34a


外部からデプロイしたOpen Libertyに接続するために必要な接続ポートを確認します。 サービスポートの値を確認します。

9443:30791/TCP

9443 はICP内部で接続する際に使用するポートで、外部から接続する場合は 30791 を使用します。

接続先のIPですが、サービスタイプ部分がNodePortになっています。
NodePortの場合はICPクラスタ内のすべてのNodeのIPアドレスとポートの組み合わせで接続ができます。

今回の環境の場合、下記の2台のサーバーがあります。

  • Master Server xxx.xxx.xxx.161
  • Worker Server xxx.xxx.xxx.164

この環境でNodePortは下記のどちらからもアクセスが可能です。

  • https://xxx.xxx.xxx.161:30791/
  • https://xxx.xxx.xxx.164:30791/


Open Libertyに接続してみる

Webブラウザからアクセスしてみます。

http://(ICPクラスター内のNodeのIP):(確認したポート)/

にアクセスします。

Open Libertyのサンプルページが表示されます。

20190116_15h25_25


  • Master Server(IP末尾161)に接続

20190116_15h25_40b


  • Worker Server(IP末尾164)に接続

20190116_15h25_48b


以上です。
ICPのHelmのカタログを使うことであっさりとOpen Libertyを動作させることができました。
IBM社が用意しているものでも数多くありますので、ぜひいろいろ試してみてください。

ICP上でWAS LibertyをガッツリつかってWebアプリケーションを使いたい方は、WAS Liberty on IBM Cloud Private 利用ガイドがIBM様からリリースされていますので是非読んでみてください。

(毎度の)最後に

IBM Cloud PrivateのPoC環境の貸し出しも実施しています。

https://www.networld.co.jp/product/ibm-hardware/trial/

すずきけ