活用シーン

Z.com CloudのIaaSと周辺サービスを複合的に組み合わせたビジネス向けの代表的なシステム構成例です。クラウド導入の際、ご参考としてお役立てください。

ビッグデータ分析

Hadoopを活用したビッグデータ解析システムのサーバー構成図例

この事例は、実際に弊社の研究部門で稼働しているHadoopを活用したビッグデータ解析システムの構成です。Hadoopディストリビューションは,Hortonworks社のHortonworks Data Platform(HDP)2.3を使用しています。HDPにあらかじめ用意されているAmbari,YARN,HBase,Hive,SparkなどのHadoopエコシステムをフル活用しています。このシステムは主に広告商材のデータ分析や、Webサイトのトラフィック解析のために活用されています。

この構成を必要とするケース

ビッグデータの処理、分析
(Webサイトのログ分析、顧客の行動パターン分析、ECサイトなどのレコメンデーション、IoTとの連携など)

この構成のポイント

Hadoopは、大規模データの蓄積・分析を分散処理技術によって実現するオープンソースのミドルウェアです。イメージ保存機能を活用することで、ゲートウェイサーバーやHadoopノードの増設を容易に行えることからIaaSは非常に相性が良いソリューションといえます。Hadoopノードのインスタンスには、最低限メモリ8GBが必要です。

Ambari HDPのHadoop管理システム
YARN Hadoopクラスタ上で動作するソフトウェアのスケジュール管理,リソース管理を行う
HBase GoogleのBigTableをモデルとした列指向の分散データベース
Hive Hadoopの上に構築されたデータベース。
HiveQLというSQLに似たクエリを使用できる
Spark インメモリで分散処理をするソフトウェア。
リアルタイムストリーミング処理が行えるSparkStreaming,SQLが実行できるSpark SQLがある
お客様受付窓口
ご質問・ご相談・見積もり依頼・資料請求はこちらから承ります。

Internet for everyone

Copyright (c) 2024 GMO Internet Group, Inc. All Rights Reserved.