Get Pernix'd - ネットワールドらぼ

本ブログエントリーはPernixData社のコアチームエンジニアであるChethan Kumar氏のブログの翻訳版です。

本記事の原文はGet Pernix'dで閲覧可能です。
ネットワールドのPernixDataに関する情報はこちら。

フラッシュベースのストレージソリューションが突如爆発的にでてきて、驚いています。研究者や業界のコミュニティがFASTカンファレンスでソリッドステートディスク(SSD)の信頼性や長寿命について議論していたのがそんなに昔のことではないと覚えています。今日、これらはソリューションプロバイダや顧客を悩ませるものでは最早なくなっています。私は今PernixDataで働いています。この会社は仮想化の旅をハイパーバイザーがやめてしまったところから、更に先へ進めようとしています(CPUとメモリの仮想化の先)。Flash仮想化プラットフォーム(FVP)はPernixDataによって開発されたフラッグシップ製品で、サーバサイドフラッシュストレージを仮想化し、クラスタ化されたフラッシュ層を作成することで、仮想マシン(VM)のブロックベースストレージデバイスへのI/Oアクセスを高速化します。この記事では、FVPを開発しなくてはならない理由と、FVPが提供するメリットについて記載しようと思います。

ハイパフォーマンスで、高価なストレージ層の台頭 (SANやNAS)

この何年もの間、ストレージのテクノロジーは紆余曲折の道をたどっています。コンピューティングプラットフォーム(デスクトップやサーバやノート)はコンピューティングユニットに恒常的な(パーシステント)ストレージを提供しているにもかかわらず、ほとんどのITユーザーはこのレイヤを堅牢なものとは考えておらず、SLAを満たすパフォーマンスとデータを永遠に眠らせておくテクノロジー(重複排除、圧縮、暗号化、スナップショット)を同時に提供することはできないと思っています。結果として両方を実現する専用の新しいストレージ層が、コンピューティングプラットフォームの外側に必要とされることになります。ほとんどの研究努力はストレージ内にこの外部の層を持ち続けることに注がれています。

2次元の問題

しかし、この外部ストレージ層は問題を抱えています。一つのレイヤを2つの異なる要素(パフォーマンスとキャパシティ)で改善していく必要があるのです。これはとても複雑です。

問題を以下のグラフでわかりやすくイラスト化してみました:

ほとんどのデータセンタのストレージは2次元でサイジングされています。キャパシティとパフォーマンスです。大抵の場合、キャパシティだけでサイジングされたストレージではパフォーマンス要求(アプリケーションのSLA)を満たすことができません。この場合、パフォーマンスのニーズを満たすためにストレージメディアを追加する必要があります(トランザクションベースのアプリケーションの場合ほとんどがそうです)。メディアのキャパシティはメディアのパフォーマンスを追い越していますので、殆どの場合で、追加のストレージメディアは利用しないギガ、もしくはテラバイトの追加容量を追加することになります。このようなサイジングのやり方は｢初期投資｣の悪化をまねきます。

もう一つの複雑差も顔を出してきます。ほとんどすべてのストレージの能力がSLAを満たすためアプリケーションのI/Oに専属で割り当てられてしまいます。これはアプリケーションではないトラフィック(ほとんどが日常の管理に関わるもので、例えばスナップショット、バックアップ、ストレージクローン、移行など)がアイドルのタイミングまで遅れることを招きます。これは管理者も自動化の力を借りてこれらのタスクをスケジュールするか、これらの運用が成功するように深夜に灯火するかになります。これは｢運用投資｣を著しく悪化させます。

まとめると、パフォーマンスのニーズを満たすと、キャパシティが余計に必要になり、キャパシティだけを見ているとパフォーマンスに妥協が生じるということです。とはいえ、この2つを両立させるのは非常に難しい問題です。

ローカルストレージはどこ?

ローカルストレージでは何が起こっているのでしょうか? 効率的にローカルストレージを活用できるアプリケーションは指折り数える程度ですー Hadoops, ハイパフォーマンスコンピューティングアプリケーション、Google、Facebook ぐらいで、ほとんどありません。しかし、彼らはローカルストレージのキャパシティを活用にするのに別のアプローチをとっています。彼らはコモディティハードウェアを利用し、すべてソフトウェアでキャパシティと安全性を実装しています。アプリケーションのニーズを満たすパフォーマンスを得るために、彼らは平均的な企業が想像もできないほどの、馬鹿げた量のハードウェアを利用します。忘れないでください、彼らは特別なスキルを持った多くのエンジニアをこの2次元の問題を解決するために投入することもできるのです。最後に、TPCのような業界標準のベンチマークがあります。これらはローカルストレージを利用してパフォーマンスのコストを下げることができまが、ここではハードウェアレベルでのデータ保護が軽んじられてしまいます。

ローカルストレージの層は、興味を持つ人が限られることと、非常に限定的な適用範囲のイノベーションに限られてしまいます。ーしかし、例外はメディアの形態の進化です。サーバベンダーは今、 SAS/SATA/PCI-eベースのソリッドステートディスク(SSD)を従来の磁気ディスクベースのSATA/SASに加えてサポートしています。でも問題は残っています。誰が使うの?

Flash Virtualization Platform

といったところで、IT産業に別の革命が起こりました。VMwareはそのフラッグシップ製品であるvSphereでコンピューティングレイヤーをストレージレイヤーから取り上げてしまったのです。これによって面白いことが始まりました。その内の一つが今回取り上げている問題を解決するための機会ですーストレージ層を2つの別れた次元に分割するのです。パフォーマンスとキャパシティです。PernixDataはこの機会に早い段階で気がついた数少ない1社です。疲れを知らない彼らの努力の成果が今日皆さんが目にしているものなのです。ー Flash仮想化プラットフォーム、この空気のようなストレージレイヤはローカルの高速なストレージ(SAS/SATA/PCI-e SSD)を利用し、一時的なデータを高速化し、SANストレージに恒久的なデータを保存します。

FVPは相反するストレージ層でのチャレンジを、インテリジェントな2つのストレージレイヤを利用してくっつけようとしています。この2つの層を独立して使うことでサーバとストレージのベンダーに多くの機会が生まれます。サーバベンダーは一次データを取り扱うハイスピードのローカルストレージにフォーカスすればよく、データを最終的に保管する複雑なテクノロジーを気にする必要がなくなります。一方ストレージベンダーは自身のストレージデバイスでキャパシティの削減、データ保護などのテクノロジーにフォーカスすればよく、これらのテクノロジーがパフォーマンスに与える影響を気にする必要はありません。基本概念としてFVPはあなたが選んだストレージソリューションを、フラッシュテクノロジーを利用してデータアクセスのスピードを上げてくれるのです。

問題に戻りましょう。

永続層(外部ストレージ)が一次層(ローカルストレージのFlashメディア）と結合された時、永続層におけるサイジングはキャパシティだけ(データが増える可能性のあるだけ)というソリューションが生まれます。一方で一次層はI/Oパフォーマンスの要求に最新のFlashを適切に利用し、アプリケーションに大きなバーストI/Oリクエストがかかった際に瞬時に吸収することで対応することができます。緊急を要する管理タスクがスケジュールされていたとしても、アプリケーションユーザーは一次層のお陰でI/Oリクエストに影響が無いため、特に気がつくことはありません。FVPがどのようにこれをやっているかって?このビデオを見てください。

このソリューションは永続ストレージが過剰にストレージメディアを必要としないことから、著しい導入コストの削減につながります。唯一の追加コストといえばFlashメディアとFVPのライセンスの調達コストです。運用面のコスト削減も忘れてはなりません。余計なストレージの面倒(電源、スペース、空調)を見る必要がありません。ストレージ管理者は一次層でアプリケーションユーザーから外部ストレージが隠れてしまうことから、管理タスクを安心して実施できるようになります、殆どの場合影響も感じさせません。