2011-05-01から1ヶ月間の記事一覧

Hadoop + Hiveでapacheアクセスログ解析 combined Format編

テーブルを作成します。hive-contrib.jarを組み込まないとcombined Formatの集計が出来ないので注意です。 hive> add jar /ebs/hive-0.7.0-bin/lib/hive-contrib-0.7.0.jar; Added hive-contrib-0.7.0.jar to class path Added resource: hive-contrib-0.7.0…

Hadoop conferencejapan2011とAmazon MapReduceの資料

Hadoop conferencejapan2011 http://docs.amazonwebservices.com/jp/ElasticMapReduce/latest/GettingStartedGuide/index.html

Hadoop + Hiveでapacheアクセスログ解析

Hiveのセットアップは、Hadoopが正常に実行できてる環境下で、アーカイブ(hive-0.7.0-bin.tar.gz)を適当な場所に解凍します。HADOOP_HOMEの設定とhiveのbinにPATHを通して、hiveコマンドを実行するのみです。 hiveコンソールが起動します。まずapacheログ…