ビッグデータ分析 | 活用シーン | 人と企業と社会を繋ぐクラウドプラットフォーム-Z.com Cloud

ビッグデータ分析

ビッグデータ分析における大規模Hadoopクラスタ

この事例は、実際に弊社の研究部門で稼働しているHadoopを活用したビッグデータ解析システムの構成です。Hadoopディストリビューションは,Hortonworks社のHortonworks Data Platform(HDP)2.3を使用しています。HDPにあらかじめ用意されているAmbari,YARN,HBase,Hive,SparkなどのHadoopエコシステムをフル活用しています。このシステムは主に広告商材のデータ分析や、Webサイトのトラフィック解析のために活用されています。

この構成を必要とするケース

ビッグデータの処理、分析
(Webサイトのログ分析、顧客の行動パターン分析、ECサイトなどのレコメンデーション、IoTとの連携など)

この構成のポイント

Hadoopは、大規模データの蓄積・分析を分散処理技術によって実現するオープンソースのミドルウェアです。イメージ保存機能を活用することで、ゲートウェイサーバーやHadoopノードの増設を容易に行えることからIaaSは非常に相性が良いソリューションといえます。Hadoopノードのインスタンスには、最低限メモリ8GBが必要です。

Ambari HDPのHadoop管理システム
YARN Hadoopクラスタ上で動作するソフトウェアのスケジュール管理,リソース管理を行う
HBase GoogleのBigTableをモデルとした列指向の分散データベース
Hive Hadoopの上に構築されたデータベース。HiveQLというSQLに似たクエリを使用できる
Spark インメモリで分散処理をするソフトウェア。リアルタイムストリーミング処理が行えるSparkStreaming,SQLが実行できるSpark SQLがある

お客様受付窓口

ご質問・ご相談・見積もり依頼・資料請求はこちらから承ります。

電話でのお問い合わせ

0120-50-6065
電話受付 平日 10:00 - 19:00

Webからのお問い合わせ/サポートコンテンツ