カテゴリー
このカテゴリーに属する記事数：40
こんにちは、小澤です。 Clouderaが提供するクラウド上でHadoopを扱うためのサービスであるCloudera Altusを使ってみました。 Cloudera Altusとは Altusがどういったものなのかについ […]
こんにちは、小澤です。 Sparkにはspark-redshiftというライブラリがあります。 GitHub – databricks/spark-redshift: Redshift data source for S […]
こんにちは、小澤です。 Hadoopを使うとデータの入出力はディレクトリ単位になります。 また、個々のファイル名は通常、取得することができません。 日常においてこれで困ることはあまりないのですが、Hiveなどではパーティ […]
こんにちは、小澤です。 今回は、Sparkの機械学習ライブラリであるMLlibがどのように実装されているのかを見てみましょう。 MLlibには、mllibパッケージとmlパッケージの2つがあります。 mlのほうが新しいパ […]
こんにちは、小澤です。 RDBではおなじみのEXPLAIN、実行計画を確認しクエリを最適化したり、インデックスの貼り方を考えたりするのによく使われるかと思います。 このEXPLAINですが、Hiveでも利用可能です。 H […]
こんにちは、小澤です。 今回は、EMRを利用する際にちょっと気をつけておいたほうがいい小ネタを紹介します。 EMRでのディスクサイズ EMRを利用するときは多くの場合、S3などを入出力先として利用するかと思います。 その […]
こんにちは、小澤です。 Hadoopは大規模データに対するバッチ処理を想定しているため、処理に時間がかかることがあります。 EMRではプログラムからステップ実行を行うと、処理が登録されたのち完了を待たずにすぐに制御を返し […]
こんにちは、小澤です。 今回はEMRとHiveのメタストアとRDSに関するお話です。 EMRとHadoop EMRを利用するときには、必要になったらクラスタを起動して、使い終わったら終了させるという使い方をされる方が多い […]
こんにちは、小澤です。 2017/02/18発売のSofware Design3月号に、特集1 「マーケティング＆サービス向上に役立つ ログ＆データ分析基盤入門」の3章 「ビッグデータの集計・加工を支えるHadoop」を […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 25日目のものとなります。 このアドベントカレンダーも今回で最終回となります。 1人でHadoopの話をする Advent Calendar […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 24日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 23日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 20日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 21日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 19日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 18日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 17日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 16日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 15日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 14日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 13日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 12日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 11日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 10日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Adven […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 9日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Advent […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 8日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Advent […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 7日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Advent […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 6日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Advent […]
こんにちは、小澤です。 この記事はHadoop Advent Calendar 5日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 – Qiita Hadoop Advent […]