MapReduceの得手不得手

Posted on 09/07/2011 by kazsoga| コメントは受け付けていません。

MapReduceは、データやリソースが分散している環境において、従来の単一クラスタによるアーキテクチャを採用しても、パフォーマンスが出ない可能性があるとミネソタ大学が発表しました。ミネソタ大学では、3つのアーキテクチャをPlanetLabやAmazon EC2によって性能チェックを行い評価しています。
パフォーマンスを決める重要なパラメータとしては、下記の5つを挙げています。

  • workloads
  • aggregation levels
  • network topology
  • data transfer costs
  • data partitioning
図表１：Amazon EC2 results

図表１：Amazon EC2 results

source:Exploring MapReduce Efficiency with Highly-Distributed Data

並行コンピューティング技法 ―実践マルチコア/マルチスレッドプログラミング
並行コンピューティング技法 ―実践マルチコア/マルチスレッドプログラミング
posted with amazlet at 11.09.07
Clay Breshears
オライリージャパン
売り上げランキング: 75939
Amazon.co.jp で詳細を見る

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

Tagged

膨大なデータをどのように保護するか？

Posted on 08/24/2011 by kazsoga| コメントは受け付けていません。

クラウドウォッチにて「日本オラクル、コストを抑えた金融機関のBCP事例を紹介～MAAの優位性を強調 」を執筆いたしました。

図表１：日本オラクル、コストを抑えた金融機関のBCP事例を紹介～MAAの優位性を強調

図表１：日本オラクル、コストを抑えた金融機関のBCP事例を紹介～MAAの優位性を強調


海外では、災害だけでなくテロなどが起きる関係から、BCPについての意識が高いそうだ。しかし、震災後、日本におけるBCPへの意識が高まっているという。今後、サーバ側に蓄積されるデータ量が増加することによって、バックアップやデータ移行が重要になる。それらに加えて、膨大なデータの保護という観点も必要になりそうである。

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

アメリカにおける2010年のデータ侵入被害額

Posted on 08/12/2011 by kazsoga| コメントは受け付けていません。

Ponemon Instituteの調査によると、2010年の米国におけるデータ侵入事件による被害額は720万ドルに達すると発表した。また、１回の侵入で平均214ドルの損失が生まれるという。今後、さらに企業が抱えるデータ量は増加し、クラウドによって集約化される傾向にあり、注意が必要と言える。

図表１：Ponemon Study Indicates Organizational Data Breach Costs Hit $7.2 Million and Show No Sign of Leveling Off

図表１：Ponemon Study Indicates Organizational Data Breach Costs Hit $7.2 Million and Show No Sign of Leveling Off

source:Cost of a data breach climbs higher

Norton Internet Security 2011
Norton Internet Security 2011
posted with amazlet at 11.08.11
シマンテック (2010-08-27)
売り上げランキング: 2
Amazon.co.jp で詳細を見る

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

データマイニングも活性化

Posted on 08/12/2011 by kazsoga| コメントは受け付けていません。

サルフォードシステムは、2012年にデータマイニングカンファレンスを開催することを発表した。現在、クラウドビジネスへの期待が高まっており、それに呼応するようにビッグデータ分析やデータマイニングなどの技術が活性化している。ビジネスインテリジェンスも息を吹き返しており、来年のキーワードは分析ビジネスになりそうである。

図表１：Salford Analytics and Data Mining Conference 2012

図表１：Salford Analytics and Data Mining Conference 2012


source:Salford Analytics and Data Mining Conference 2012

データマイニング入門
データマイニング入門
posted with amazlet at 11.08.11
豊田 秀樹
東京図書
売り上げランキング: 94778
Amazon.co.jp で詳細を見る

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

Tagged

OSSのビジネスインテリジェンスツールPentahoが急成長中

Posted on 08/11/2011 by kazsoga| コメントは受け付けていません。

Pentaho（ペンタホ）のサポートを提供しているPentaho社は、OEM販売が昨年に比べて170％成長していると発表した。これは、ビッグデータ分析の需要が高まったことに起因する。同社では、HadoopディストリビューションやOLAP、NoSQLなどのサポートを改めて強化することも宣言している。Pentahoは、オープンソースのビジネスインテリジェンス（BI）ツール。今後のさらなる成長が予想される。

図表１：Pentaho

図表１：Pentaho


source:Pentaho Experiences Surge in Global Demand with OEMs
source:Pentaho #1 in Support for Big Data Platforms

Pentaho Data Integration 4 Cookbook
Pentaho Data Integration 4 Cookbook
posted with amazlet at 11.08.11
Adri N. Sergio Pulvirenti Mar a. Carina Rold N.
Packt Publishing
Amazon.co.jp で詳細を見る

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

Tagged , , , , , , ,

米Microsoft、Hadoopサポートへの動き

Posted on 08/11/2011 by kazsoga| コメントは受け付けていません。

米MicrosoftのSQL Server Teamは、Hadoopコネクタのコミュニティテクノロジプレビュー（CTP）をリリースすることを発表した。これによりSQL Server／並列データウェアハウスとHadoop間でデータ転送が可能になるという。米Microsoftでは、単純な連携にとどまらず、ビッグデータの分析までつなげていきたい構えだ。ビジネスインテリジェンス分野は分析だけでなく、インフラを含めた総合的なソリューションへ動きつつあると言えよう。

図表１：Parallel Data Warehouse News and Hadoop Interoperability Plans

図表１：Parallel Data Warehouse News and Hadoop Interoperability Plans

source:Parallel Data Warehouse News and Hadoop Interoperability Plans

並行コンピューティング技法 ―実践マルチコア/マルチスレッドプログラミング
並行コンピューティング技法 ―実践マルチコア/マルチスレッドプログラミング
posted with amazlet at 11.08.11
Clay Breshears
オライリージャパン
売り上げランキング: 119008
Amazon.co.jp で詳細を見る

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

Tagged , ,

ビッグデータソリューション、まだまだ改善必要

Posted on 08/09/2011 by kazsoga| コメントは受け付けていません。

Revolution Analyticsの調査によれば、データ分析の専門家の９７％は、ビッグデータソリューションに改善が必要だと述べているそうだ。ビッグデータのソリューションの複雑さや適切な統計データモデルを適用するこことの難しさ、さらに統計データに対する考察の難しさがあるという。

図表１：97 Percent of Data Scientists Say 'Big Data' Technology Solutions Need Improvement

図表１：97 Percent of Data Scientists Say 'Big Data' Technology Solutions Need Improvement


source:97 Percent of Data Scientists Say ‘Big Data’ Technology Solutions Need Improvement

Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today's Businesses
Big Data, Big Analytics: Emerging Business Intelligence and Analytic Trends for Today’s Businesses
posted with amazlet at 11.08.09
Michael Minelli
John Wiley & Sons Inc
売り上げランキング: 66245
Amazon.co.jp で詳細を見る

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

Tagged

米DellとCloudera、大規模分野で協業

Posted on 08/05/2011 by kazsoga| コメントは受け付けていません。

米DellとClouderaがApache Hadoopソリューションを共同で提供し、ビッグデータの分析に力を入れていくことを発表している。また、米Teradataは、来るべきビッグデータ時代へのソリューションとしてOracleからの移行サービスを展開している。連日ビッグデータに関するソリューションが次々と発表されており、市場はかなり活性化してきている。今後、爆発的にデータは増え続けるため、他のソリューションへの移行が難しくなる。その前に、顧客を取り込みたいという考えがある。Facebookのデータ移行は、やむを得ない事情があったためで、移行しないで済むならその方が圧倒的にコストが低く済む。今後もビッグデータ市場の争いは激しくなりそうだ。

図表1：Teradata

図表1：Teradata


source:Data Appliance, Data Warehouse, Business Intelligence –Teradata
source:Oracle to Teradata Migration Case Studies
source:Dell and Cloudera Collaborate to Enable Large Scale Data Analysis and Modeling through Open Source Solution

新・社会調査のためのデータ分析入門 -- 実証科学への招待
新・社会調査のためのデータ分析入門 — 実証科学への招待
posted with amazlet at 11.08.05
土田 昭司 山川 栄樹
有斐閣
売り上げランキング: 237278
Amazon.co.jp で詳細を見る

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

Tagged , , ,

求人から見たHadoop市場

Posted on 08/04/2011 by kazsoga| コメントは受け付けていません。

転職や求人情報を検索できるIndeedというサイトがある。ここで、HadoopやMapreduceで検索してみると、2008年頃から立ち上がり、増加傾向であることがわかる。急激に増加しているHTML5の求人と比べると見劣りはするものの、ビッグデータや大規模なユーザ分析などが、ビジネスの根幹になっていく可能性は高いと言えよう。

図表１：hadoop,mapreduce Job Trends

図表１：hadoop,mapreduce Job Trends

source:hadoop,mapreduce Job Trends

リクルートエージェントNO.1営業ウーマンが教える 社長が欲しい「人財」!
リクルートエージェントNO.1営業ウーマンが教える 社長が欲しい「人財」!
posted with amazlet at 11.08.04
森本 千賀子
大和書房
売り上げランキング: 17760
Amazon.co.jp で詳細を見る

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

Tagged ,

次に注目されるのは、Hadoop関連のセキュリティサービス

Posted on 08/03/2011 by kazsoga| コメントは受け付けていません。

クラウドサービスにおいて、目下の大きな課題はセキュリティだ。そのためHadoop周辺のセキュリティソリューション熱が高まりつつある。先日は、Zettaset社がビッグデータ分析のための新しいセキュリティデータウェアハウスソリューションを発表した。外部からの違法なアクセスを検知し、セキュリティのリスクを軽減するソリューションだ。今後さらにセキュリティ関連のソリューリョンビジネスが充実してくるだろう。

図表１：Zettaset

図表１：Zettaset

source:Zettaset’s New Security Data Warehouse Enables Big Data Mining for Forensic Analysis

図解入門 よくわかる最新情報セキュリティの基本と仕組み―基礎から学ぶセキュリティリテラシー (How‐nual Visual Guide Book)
図解入門 よくわかる最新情報セキュリティの基本と仕組み―基礎から学ぶセキュリティリテラシー (How‐nual Visual Guide Book)
posted with amazlet at 11.08.03
相戸 浩志
秀和システム
売り上げランキング: 17823
Amazon.co.jp で詳細を見る

Post Footer automatically generated by Add Post Footer Plugin for wordpress.

Posted in Daikibo News

Tagged