石川覚

ishikawa-satoru

電気メーカ系SIerのSE、IP電話開発会社の製品企画・開発を経てJoin。Linux、Java、MySQLを中心にウェブ、スマホ、基幹サーバーと何でも屋。 主食はコーヒー。

石川覚

ishikawa-satoru

323
Posts
4,129
Facebook Share
3,368
Twitter Share
2,485
はてブ
Loading...

石川覚が執筆した記事

AWSCLI、Python(boto3)などからS3フォルダ間のコピーしてみる

石川覚

2018.06.30

AWSCLI、Python(boto3)などからS3フォルダを削除してみる

石川覚

2018.06.29

「db analytics showcase Sapporo 2018」で玉川竜司さんのParquetの話を聞いてきました #dbts2018 #dbasSPR

石川覚

2018.06.25

Amazon Athena がついにビュー(CREATE VIEW)をサポートしました!

石川覚

2018.06.07

Amazon Redshift 新たにカラムナファイルフォーマット(Parquet、ORC)からのデータロードに対応しました

石川覚

2018.05.31

AWS Glue と SQLのみで、サクッとETL(Extract、Transform、Load)するJobを作成する

石川覚

2018.05.28

Amazon Redshiftクラスタのパフォーマンスと健全性を確認できる『データベースのパフォーマンス』とそのメトリクスが追加されました

石川覚

2018.05.25

AWS Glue の Pushdown Predicates を用いてすべてのファイルを読み込むことなく、パーティションをプレフィルタリングする

石川覚

2018.05.23

AWS Glue の Dynamicframeを使わずDataframeを用いて自在にCSV/TSVファイルを出力する

石川覚

2018.04.30

AWS Glueを用いてパフォーマンス向上やコスト最適化するカラム名ありパーティションのデータに変換するETLコードを作成する

石川覚

2018.04.30

Amazon Redshift Spectrum 利用費と課金状況を把握する

石川覚

2018.04.04

Amazon Athena Webアクセスログ、CloudFrontのログ、CloudTrailのログのパーティション設定を自動化する

石川覚

2018.04.03

Amazon Redshift Spectrum がスカラーJSONおよびIonデータ型をサポートしたので試してみました

石川覚

2018.03.12

Amazon Redshift Spectrum ダブルクォーテーションで囲まれた文字列をクエリする方法

石川覚

2018.03.09

Amazon Athena LTSV形式のログファイルを探索する

石川覚

2018.03.09

『Amazon Redshift & Tableau パフォーマンスチューニング』に関するホワイトペーパーの改訂版を読んでみた(Amazon Redshiftクラスタのチューニング編)

石川覚

2018.03.05

『Amazon Redshift&Tableau パフォーマンスチューニング』に関するホワイトペーパーの改訂版を読んでみた(Amazon Redshift と Tableauのパフォーマンスの計測編)

石川覚

2018.03.01

『Amazon Redshift&Tableau パフォーマンスチューニング』に関するホワイトペーパーの改訂版を読んでみた(Amazon Redshiftの最適化編)

石川覚

2018.02.28

『Amazon Redshift & Tableau パフォーマンスチューニング』に関するホワイトペーパーの改訂版を読んでみた(Tableauの最適化編)

石川覚

2018.02.27

『Amazon Redshift Result Caching』が Tableauなどカーソルを利用したクエリに対応しました

石川覚

2018.02.18

Windows環境のレジストリを更新せずに SQL Workbench/J を導入する方法

石川覚

2018.02.17

意図せず公開しているS3オブジェクトはありませんか?〜S3アクセス権限設定を再確認しよう!〜

石川覚

2018.01.31

Amazon RedshiftからAmazon Redshift Spectrumにマイグレートするツールを公開しました

石川覚

2018.01.31

Amazon Redshiftにおけるデータをマスクする方針について

石川覚

2018.01.30

Amazon RedshiftからAmazon Athenaにマイグレートするツールを公開しました

石川覚

2018.01.30

Amazon Redshift Spectrum 新たにサポートされたDATE型について試してみました

石川覚

2018.01.29

Amazon Redshift Spectrum ソースデータをマニフェストファイルで定義する

石川覚

2018.01.27

Amazon Athenaがヘッダ行のスキップをサポートしました!

石川覚

2018.01.18

AWS GlueでネストされたJSONファイルをCSVファイルやParquetに変換する

石川覚

2018.01.17

AWS Glue 新しくサポートされたScalaでETL Job作成を試してみました

石川覚

2018.01.15

機械学習を用いた新機能『Amazon Redshift Short Query Acceleration(SQA)』を実際に試してみました

石川覚

2018.01.09

【レポート】Deep Dive: ビッグデータワークロードをAWSに移行する #reinvent #ABD312

石川覚

2017.12.28

[祝] AWS Glueが東京リージョンで利用可能になりました

石川覚

2017.12.22

【レポート】Amazon S3, Amazon Kinesis, AWS Glue, Amazon Athenaによるデータレイクの構築 #reinvent #ABD318

石川覚

2017.12.22

【レポート】AWS GlueによるサーバレスETL #reinvent #ABD315

石川覚

2017.12.21

Tableau Desktop から Amazon Redshift に送信するクエリのカーソル定義を無効化する

石川覚

2017.12.19

クエリ結果をキャッシュする新機能『Amazon Redshift Result Caching』を実際に試してみました

石川覚

2017.12.19

Amazon Redshift 新エントリーノードタイプ dc2.large と dc1.large の徹底比較

石川覚

2017.12.18

Sapporo.aws 第1回「re:Invent 2017 AWSデータベースサービス総復習!」で発表しました #reinvent #sapporoaws

石川覚

2017.12.12

【レポート】サーバーレスビッグデータアプリケーション構築のベストプラクティス #reinvent #ABD202

石川覚

2017.12.04

【まだ間に合う】 re:Invent2017 セッション資料・動画の公開 #reinvent

石川覚

2017.12.03

【レポート】古いDWHからモダンなデータレイクへマイグレートする #reinvent #ABD327

石川覚

2017.12.02

【レポート】Amazon Redshift と Redshift Spectrumによるデータウェアハウスのベストプラクティス #reinvent #ABD304

石川覚

2017.11.30

【レポート】ビッグデータアーキテクチャパターンとベストプラクティス #reinvent #ABD201

石川覚

2017.11.29

【re:Invent2017参加者各位】立ち見(Walk-up)でセッションを見れなかった人へのTips #reinvent

石川覚

2017.11.28

Amazon Redshift クエリ履歴に任意のコメントを追加する方法

石川覚

2017.11.13

[祝] Amazon Redshift Spectrumが東京リージョンで利用可能になりました

石川覚

2017.10.22

AWS Glue 実践入門:Triggerを使ってスケジュールやJob完了イベントでJobを実行する

石川覚

2017.10.16

AWS Glue 実践入門:Amazon RedshiftのテーブルをETLする

石川覚

2017.10.11

AWS Glue 実践入門:Amazon Redshiftのテーブルをクロールする

石川覚

2017.10.10

Amazon Athena CloudFormationでSaved Queries(NamedQuery)にクエリーを登録してみる

石川覚

2017.10.06

AWS Glue 実践入門:AWS Glue Data Catalogへのアップグレード方法

石川覚

2017.10.05

AWS Glue 実践入門:Apache Zeppelinによる Glue scripts(pyspark)の開発環境を構築する

石川覚

2017.09.21

新機能 Amazon Redshift Late-Binding ビューを試してみました

石川覚

2017.09.19

Amazon Athena パースができず空白行になった原因のデータファイルを特定する

石川覚

2017.09.06

Amazon Redshift データ消失からのトラブルシューティング

石川覚

2017.09.05

新機能 Amazon Redshift SQLによるスカラーユーザー定義関数(UDF)を試してみました

石川覚

2017.09.04

Amazon Athena RegexSerDe を利用して ALB ログを探索する

石川覚

2017.07.26

Amazon Athena RegexSerDe を利用して CLB ログ / Apache Web のアクセスログを探索する

石川覚

2017.07.25

Amazon Athena RegexSerdeを利用してアプリケーションログを探索する

石川覚

2017.07.18