# Hadoop の記事一覧

GPTが自社の情報を正しく学習するためにはWebサイトをセマンティックなHTMLでマークアップした方がよい説

AWS Glue ETLライブラリを使ってローカルでSparkを動かす

Spark SQLによる値のハッシュ化を試してみた

AWS Glue ジョブタイプ『Spark』が Apache Spark 2.4.3 と Python 3.6をサポートしました

[EMR]EMR NotebooksでSparkSQLを使う方法

[レポート] ANT376 : AWS Glue Data Catalog のアクセスコントロール #reinvent

[レポート] ANT308 : AWS Glue のサーバレスアナリティクスパイプライン構築する #reinvent

[レポート] ANT327 : AWSにおけるセキュアなデータレイクのベストプラクティス #reinvent

[レポート] ANT326 : AWS Glue ETL Jobの Metrics-Driven パフォーマンスチューニング #reinvent

[レポート] STG204: データレイクの実装について #reinvent

[新機能]EMR NotebooksでJupyterNotebookがサーバーレスで使用できるようになりました！

初めてのEMR！Hadoopクラスタを起動してみた。

MacのローカルでPySparkをJupyterNotebookから使う

AWS Glue がETLジョブのデバッグとプロファイリングを可能にするメトリックをサポートしました

AWS Glue の Excludeパターンによるデータストアのフィルタリング効果の違いについて

AWS Glue が DynamoDBのテーブルのクロールやETLジョブをサポートしたので試してみました

AWS Glueで多くの小さなファイルをまとめて読み込むgroupFiles/groupSize指定でパフォーマンスを改善する

「db analytics showcase Sapporo 2018」で玉川竜司さんのParquetの話を聞いてきました #dbts2018 #dbasSPR

AWS Glue と SQLのみで、サクッとETL（Extract、Transform、Load）するJobを作成する

AWS Glue の Pushdown Predicates を用いてすべてのファイルを読み込むことなく、パーティションをプレフィルタリングする

AWS Glue の Dynamicframeを使わずDataframeを用いて自在にCSV/TSVファイルを出力する

AWS Glueを用いてパフォーマンス向上やコスト最適化するカラム名ありパーティションのデータに変換するETLコードを作成する

BigData-JAWS 勉強会#11「Snowflake、Cloudera&EMR比較、re:Invent 2017まとめ」参加レポート #bdjaws

AWS GlueでネストされたJSONファイルをCSVファイルやParquetに変換する

AWS Glue 新しくサポートされたScalaでETL Job作成を試してみました

【レポート】Deep Dive: ビッグデータワークロードをAWSに移行する #reinvent #ABD312

re:Invent2017 データ分析関連エントリーまとめ #reinvent

Cloudera社がAWS re:Invent 2017でクラウドベースのデータウェアハウス”Cloudera Altus Analytic DB”を発表しました #reinvent

Cloudera AltusでWorkload Analyticsの出力を見てみる

Cloudera Altusを使ってみた

EMRのステップ実行でPySparkを使ってRedshiftに出力する

Sparkで入力ファイル名を取得する

EMRのHiveステップのオプションについて

EMRのステップのキャンセルについて

Hadoop Streamingジョブの処理結果を圧縮する

grepコマンドをHadoop Streaming上で実行する