# ビッグデータ の記事一覧
ビッグデータ(bigdata)とは、従来のデータ管理や処理ソフトウエアでは扱うことが困難なほど巨大で複雑なデータの集合を表す用語です。Amazon Redshiftなどのデータベースはもちろん、ビッグデータ処理に特化したSaaS製品などの知見をまとめて紹介します。
![Redshiftで各テーブルのカラム毎の利用ブロック数を確認する](https://devio2023-media.developers.io/wp-content/uploads/2022/08/amazon-redshift.png)
Redshiftで各テーブルのカラム毎の利用ブロック数を確認する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fuehara-kota.jpeg&w=256&q=75)
![[レポート]AWSでデータメッシュアーキテクチャを構築する#ANT336 #reinvent](https://devio2023-media.developers.io/wp-content/uploads/2022/11/eyecatch_reinvent2022_session-report.png)
[レポート]AWSでデータメッシュアーキテクチャを構築する#ANT336 #reinvent
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fnayu_t_s.png&w=256&q=75)
![dbt Coalesce 2022と来年の告知](https://devio2023-media.developers.io/wp-content/uploads/2022/10/7966bae78213db11914ad7af893f8431.jpg)
dbt Coalesce 2022と来年の告知
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fshimizu-hisako.png&w=256&q=75)
![Digdagにおけるrequireオペレータ使用時のretry挙動を理解する](https://devio2023-media.developers.io/wp-content/uploads/2019/11/logo_digdag_rec_wt1.png)
Digdagにおけるrequireオペレータ使用時のretry挙動を理解する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fuehara-kota.jpeg&w=256&q=75)
![ビジネスソリューション部-プロジェクトマネージャーの働き方のご紹介](https://devio2023-media.developers.io/wp-content/uploads/2021/10/eyecatch-introducing-da-department.png)
ビジネスソリューション部-プロジェクトマネージャーの働き方のご紹介
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fnayu_t_s.png&w=256&q=75)
![Alteryx Designer Coreの試験を受けてみました!](https://devio2023-media.developers.io/wp-content/uploads/2022/05/alteryx-thrill-logo_1200x630-960x504-1-e1655363806766.png)
Alteryx Designer Coreの試験を受けてみました!
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fshimizu-hisako.png&w=256&q=75)
![スキーマオンリードを理解してAmazon Athenaのアーキテクチャに詳しくなる](https://devio2023-media.developers.io/wp-content/uploads/2022/08/amazon-athena.png)
スキーマオンリードを理解してAmazon Athenaのアーキテクチャに詳しくなる
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fniino-kaori.jpeg&w=256&q=75)
![Amazon Redshift 共有データにサクッとアクセスするビュー作成を自動化する方法](https://devio2023-media.developers.io/wp-content/uploads/2019/05/amazon-redshift.png)
Amazon Redshift 共有データにサクッとアクセスするビュー作成を自動化する方法
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fishikawa-satoru.jpeg&w=256&q=75)
![BigQueryでDELETEとINSERTをスケジューリングして冪等なデータマート作成をしてみた](https://devio2023-media.developers.io/wp-content/uploads/2020/09/gcp-eyecatch-bigquery_1200x630.png)
BigQueryでDELETEとINSERTをスケジューリングして冪等なデータマート作成をしてみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fnayu_t_s.png&w=256&q=75)
![SnowflakeのCOPYコマンドでON_ERRORオプションを試してみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
SnowflakeのCOPYコマンドでON_ERRORオプションを試してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![Snowflakeでウェアハウスの負荷監視を試してみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeでウェアハウスの負荷監視を試してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![SnowflakeでJSONをフラット化するビューを自動で作成する](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
SnowflakeでJSONをフラット化するビューを自動で作成する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fikeda.png&w=256&q=75)
![Snowflakeのリソースモニターでクレジット監視を試してみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeのリソースモニターでクレジット監視を試してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![Snowflakeでクレジットの使用状況を確認してみた 〜SQL編〜](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeでクレジットの使用状況を確認してみた 〜SQL編〜
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![Snowflakeでクレジットの使用状況を確認してみた 〜ウェブインターフェイス編〜](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeでクレジットの使用状況を確認してみた 〜ウェブインターフェイス編〜
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![ThoughtSpotでキーワード検索によるグラフ表示を試してみた](https://devio2023-media.developers.io/wp-content/uploads/2020/07/thoughtspot-logo.png)
ThoughtSpotでキーワード検索によるグラフ表示を試してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![Snowflakeでロード中のデータ変換を試してみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeでロード中のデータ変換を試してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![ThoughtSpotのシステム構成とライセンスモデルを理解する(2021年 夏版)](https://devio2023-media.developers.io/wp-content/uploads/2020/07/thoughtspot-logo.png)
ThoughtSpotのシステム構成とライセンスモデルを理解する(2021年 夏版)
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fyosuke-katsuki.jpeg&w=256&q=75)
![Snowflakeでウェアハウスサイズを変更するとロード時間は変わるの? 実際に試してみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeでウェアハウスサイズを変更するとロード時間は変わるの? 実際に試してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![Snowflakeのセッション変数を使う](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeのセッション変数を使う
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fikeda.png&w=256&q=75)
![Snowflakeの新UI「Snowsight」でクエリ履歴を可視化してみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeの新UI「Snowsight」でクエリ履歴を可視化してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![Snowflakeの新UI「Snowsight」でロード履歴を可視化してみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeの新UI「Snowsight」でロード履歴を可視化してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![SnowflakeのS3とのストレージ統合をCloudFormationでさくっと設定する](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
SnowflakeのS3とのストレージ統合をCloudFormationでさくっと設定する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fikeda.png&w=256&q=75)
![Snowflakeで定期的にCOPYコマンドを実行するタスクを作ってみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeで定期的にCOPYコマンドを実行するタスクを作ってみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![SnowflakeのCOPYコマンドでステージのファイルにデータをアンロードしてみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
SnowflakeのCOPYコマンドでステージのファイルにデータをアンロードしてみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![Snowflakeでステージにあるファイルのデータをクエリしてみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeでステージにあるファイルのデータをクエリしてみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![SnowflakeのCOPYコマンド実行時にロードするファイルを指定してみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
SnowflakeのCOPYコマンド実行時にロードするファイルを指定してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![Snowflakeでどのファイルをロードしたっけ? LOAD_HISTORYビューで履歴を確認してみた](https://devio2023-media.developers.io/wp-content/uploads/2021/03/snowflake-logo-1200x630-1.png)
Snowflakeでどのファイルをロードしたっけ? LOAD_HISTORYビューで履歴を確認してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fenokawa-hayato.jpeg&w=256&q=75)
![【小ネタ】AWS CDKでKinesis Video Streamsを利用できなかった話](https://devio2023-media.developers.io/wp-content/uploads/2019/04/amazon-kinesis-video-streams.png)
【小ネタ】AWS CDKでKinesis Video Streamsを利用できなかった話
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fyamamoto-hiroki.jpeg&w=256&q=75)
![背景差分でユーザを検出する](https://images.ctfassets.net/ct0aopd36mqt/1dD7b8HkT2sbiJzUIewMTD/e5cdc6f33c4fdd9d798f11a4564612ff/eyecatch_developersio_darktone_1200x630.jpg)
背景差分でユーザを検出する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fyamamoto-hiroki.jpeg&w=256&q=75)
![Amazon QuickSightでサンキー図を表示してみた](https://devio2023-media.developers.io/wp-content/uploads/2019/04/amazon-quicksight.png)
Amazon QuickSightでサンキー図を表示してみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Ffujikawa-takuji.jpeg&w=256&q=75)
![【Kinesis Video Streams】Pythonで動画ファイルを送信する](https://devio2023-media.developers.io/wp-content/uploads/2019/04/amazon-kinesis-video-streams.png)
【Kinesis Video Streams】Pythonで動画ファイルを送信する
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fyamamoto-hiroki.jpeg&w=256&q=75)
![ThoughtSpot Cloudのトライアルを始めてSearch Answersを使ってみた](https://devio2023-media.developers.io/wp-content/uploads/2020/05/thoughtspot-logo_1200x630.png)
ThoughtSpot Cloudのトライアルを始めてSearch Answersを使ってみた
![User avatar](/_next/image/?url=https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2Fdevio_thumbnail%2F2024-06%2Fikeda.png&w=256&q=75)