-
2018年12月11日
-
[EMR]EMR NotebooksでSparkSQLを使う方法
こんにちは、平野です。 先日「EMR Notebooks」をご紹介しました。 [新機能]EMR NotebooksでJupyterNotebookがサーバーレスで使用できるようになりました！ このノートブック上でSpar […]
-
2018年11月26日
-
[新機能]EMR NotebooksでJupyterNotebookがサーバーレスで使用できるようになりました！
こんにちは、平野です。 EMRで立ち上げたクラスタ上でSparkを動かしてみよう、と思ってポチポチと作業を始めてみたのですが、先日社内チャットで「NotebookもAWSで立てられる」という話を見たのを思い出したので、そ […]
-
2018年11月08日
-
初めてのEMR！Hadoopクラスタを起動してみた。
こんにちは、データインテグレーション部の平野です。 前職ではHadoopをぼちぼち触っていたのですが、EMRは心理的なハードルのせいか触ったことがありませんでした。 AWSに触ることにも少しずつ慣れてきたので、EMRでH […]
-
2018年06月25日
-
「db analytics showcase Sapporo 2018」で玉川竜司さんのParquetの話を聞いてきました #dbts2018 #dbasSPR
はじめに 2018年6月23日、札幌で開催されている「db analytics showcase Sapporo 2018」の玉川竜司さんのセッション「Parquet あるいは - まだCSVで消耗しているの？ -」へ参 […]
-
2018年02月08日
-
BigData-JAWS 勉強会#11「Snowflake、Cloudera&EMR比較、re:Invent 2017まとめ」参加レポート #bdjaws
はじめに こんにちは、yokatsukiです。ビッグデータをテーマに扱うJAWS-UGの支部、"BigData-JAWS"の第11回目の勉強会が2018年2月6日、目黒にあるアマゾンウェブサービスジャパンのセミナールーム […]
-
2017年12月13日
-
re:Invent2017 データ分析関連エントリーまとめ #reinvent
2017/12/13 13:20更新 本記事ではAWS re:Invent 2017で発表された、ビッグデータ関連の新機能、セッションの受講レポートのブログをまとめています。 データ分析系新機能・新サービス Amazon […]
-
2017年12月01日
-
Cloudera社がAWS re:Invent 2017でクラウドベースのデータウェアハウス”Cloudera Altus Analytic DB”を発表しました #reinvent
はじめに AWS re:Invent 2017において、Cloudera社より掲題のサービスの発表がありました。 Cloudera changes the game in cloud-based data warehou […]
-
2017年10月19日
-
Cloudera AltusでWorkload Analyticsの出力を見てみる
こんにちは、小澤です。 Cloudera Altusでは、Environment作成時にWorkload Analyticsを有効にしていると、実行したジョブに関する情報を確認することができます。 今回は、どういった情報 […]
-
2017年10月04日
-
Cloudera Altusを使ってみた
こんにちは、小澤です。 Clouderaが提供するクラウド上でHadoopを扱うためのサービスであるCloudera Altusを使ってみました。 Cloudera Altusとは Altusがどういったものなのかについ […]
-
2017年10月03日
-
EMRのステップ実行でPySparkを使ってRedshiftに出力する
こんにちは、小澤です。 Sparkにはspark-redshiftというライブラリがあります。 GitHub - databricks/spark-redshift: Redshift data source for S […]
-
2017年09月27日
-
Sparkで入力ファイル名を取得する
こんにちは、小澤です。 Hadoopを使うとデータの入出力はディレクトリ単位になります。 また、個々のファイル名は通常、取得することができません。 日常においてこれで困ることはあまりないのですが、Hiveなどではパーティ […]
-
2017年05月30日
-
Spark MLlibの実装を読み解いてみる
こんにちは、小澤です。 今回は、Sparkの機械学習ライブラリであるMLlibがどのように実装されているのかを見てみましょう。 MLlibには、mllibパッケージとmlパッケージの2つがあります。 mlのほうが新しいパ […]
-
2017年05月25日
-
Hive on TezのEXPLAINを読み解く
こんにちは、小澤です。 RDBではおなじみのEXPLAIN、実行計画を確認しクエリを最適化したり、インデックスの貼り方を考えたりするのによく使われるかと思います。 このEXPLAINですが、Hiveでも利用可能です。 H […]
-
2017年04月03日
-
[EMR小ネタ] ディスクサイズにご用心
こんにちは、小澤です。 今回は、EMRを利用する際にちょっと気をつけておいたほうがいい小ネタを紹介します。 EMRでのディスクサイズ EMRを利用するときは多くの場合、S3などを入出力先として利用するかと思います。 その […]
-
2017年03月23日
-
boto3でEMRのステップ実行完了を待つ方法
こんにちは、小澤です。 Hadoopは大規模データに対するバッチ処理を想定しているため、処理に時間がかかることがあります。 EMRではプログラムからステップ実行を行うと、処理が登録されたのち完了を待たずにすぐに制御を返し […]
-
2017年03月02日
-
EMRでHiveメタストアにRDSを利用する
こんにちは、小澤です。 今回はEMRとHiveのメタストアとRDSに関するお話です。 EMRとHadoop EMRを利用するときには、必要になったらクラスタを起動して、使い終わったら終了させるという使い方をされる方が多い […]
-
2017年02月20日
-
Software Design3月号に寄稿しました
こんにちは、小澤です。 2017/02/18発売のSofware Design3月号に、特集1 「マーケティング＆サービス向上に役立つ ログ＆データ分析基盤入門」の3章 「ビッグデータの集計・加工を支えるHadoop」を […]
-
2016年12月25日
-
アドベントカレンダーで言及できなかったもの | Hadoop Advent Calendar 2016 #25
こんにちは、小澤です。 この記事はHadoop Advent Calendar 25日目のものとなります。 このアドベントカレンダーも今回で最終回となります。 1人でHadoopの話をする Advent Calendar […]
-
2016年12月24日
-
2016年のHadoop活用事例紹介 | Hadoop Advent Calendar 2016 #24
こんにちは、小澤です。 この記事はHadoop Advent Calendar 24日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月23日
-
HueでブラウザからHadoop操作 | Hadoop Advent Calendar 2016 #23
こんにちは、小澤です。 この記事はHadoop Advent Calendar 23日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月22日
-
HBase入門 | Hadoop Advent Calendar 2016 #22
こんにちは、小澤です。 この記事はHadoop Advent Calendar 20日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月21日
-
Ibisを使ってみる | Hadoop Advent Calendar 2016 #21
こんにちは、小澤です。 この記事はHadoop Advent Calendar 21日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月20日
-
Deeplearning4J on Spark | Hadoop Advent Calendar 2016 #20
こんにちは、小澤です。 この記事はHadoop Advent Calendar 20日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月19日
-
Apache Zeppelin入門 | Hadoop Advent Calendar 2016 #19
こんにちは、小澤です。 この記事はHadoop Advent Calendar 19日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月18日
-
Spark MLlib入門 | Hadoop Advent Calendar 2016 #18
こんにちは、小澤です。 この記事はHadoop Advent Calendar 18日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月17日
-
Spark Dataset APIについて | Hadoop Advent Calendar 2016 #17
こんにちは、小澤です。 この記事はHadoop Advent Calendar 17日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月16日
-
Spark SQLとDataFrame API入門 | Hadoop Advent Calendar 2016 #16
こんにちは、小澤です。 この記事はHadoop Advent Calendar 16日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月15日
-
Spark入門 | Hadoop Advent Calendar 2016 #15
こんにちは、小澤です。 この記事はHadoop Advent Calendar 15日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月14日
-
Sparkの構成 | Hadoop Advent Calendar 2016 #14
こんにちは、小澤です。 この記事はHadoop Advent Calendar 14日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]
-
2016年12月13日
-
Hadoop上でのカラムナストレージ | Hadoop Advent Calendar 2016 #13
こんにちは、小澤です。 この記事はHadoop Advent Calendar 13日目のものとなります。 1人でHadoopの話をする Advent Calendar 2016 - Qiita Hadoop Adven […]