[AKIBA.AWS ONLINE #09]FargateとAthenaで作る、機械学習システム[資料公開]

Fargateタスクで機械学習モデルの訓練・推論をしたのでポイントを整理してみた

Athenaの結果確認をDigdagのretryでやってみた

データ分析・機械学習システムの検証・開発依頼のための準備ポイントをまとめてみた

FTPコマンドの練習環境を作ってみた

boto3からSQSへのアクセスをmotoでモックしてみる

BigQueryでDELETEとINSERTをスケジューリングして冪等なデータマート作成をしてみた

BigQueryのエクスポート機能で、Cloud Storageのバケットにテーブルのデータをエクスポートしてみた

Athenaのstruct型でオブジェクトの要素が増減したときの読み込みの様子を調べた

DigdagのREST APIを使って指定したプロジェクトのワークフロー名を取得する

PythonでBigQueryにスケジュールされたクエリを一覧・削除してみた

Cloud FunctionsからAmazon SNSを使ってメールを送信する

TensorBoardでXGBoostの学習結果を可視化する

BigQueryで多段ビューのキャッシュの挙動をみてみる

PythonでBigQueryにクエリをスケジューリングしてみた

systemdでEC2の起動時・停止時にコマンドを実行してみる

[データアナリティクス事業本部] 若手Pythonエンジニアとして１年間働いてみました！

データアナリティクス事業本部のビッグデータチームのご紹介

DigdagのREST APIを使って特定のワークフローの最新の実行結果を取得する

EventBridgeとSNSで複数行のメール通知を送る方法をCloudFormationから試してみた

CloudFormationで、Metric Mathを使用してダウンタイムを設定したCloudWatchアラームを作成する

配列をネストしたJSONをJSON SerDeライブラリで読み込んでフラット化してみた

CloudWatchアラームとSNSで日本語の件名・本文のメールを送るためのCloudFormationテンプレートを作ってみた

PlotlyのPython用ライブラリで3Dプロットを試してみた

PlotlyのPython用ライブラリでデータをテーブルで表示してみた

Serverless Frameworkでリトライの調整ができる定期実行なLambda関数を作成する

Athenaで2時点間の時点をランダムに作ってみた

アラームを実行するデータポイントでアラーム状態が短時間だけOK状態に戻る際の誤報を抑制する

SQSのメトリクスから標準キューが空であることを確認してみた

RedshiftのCOPYコマンドでDELIMITERパラメータを指定してみた

Lambdaをスケジュール実行して関数エラーが起きた際の再試行を確認してみた

XGBoostのScikit-Learn APIを機械学習パイプラインと一緒に使ってみた

パーティション射影の列挙型と挿入型の違いについてまとめてみた

AWS Systems Managerのパラメータストアに登録したJSONをシェルから利用する

scikit-learnのextract_patches_2dで画像を小さいパッチに切り出す

[AKIBA.AWS ONLINE #07]Redshift内のデータの活用をAthenaにオフロードしてみた[資料公開]

CVATのアノテーションタスクをほかの人と共有する

CVATに既存のアノテーションをインポートする

Jupyter Docker StacksのイメージにJuliaのパッケージを追加する

JupyterHubのpre_spawn_hookでコンテナ起動前にブートストラップを実行する

JupyterHubのDockerSpawnerで起動するイメージを替える

CloudFormationでSNSトピックへの複数のイベント通知を設定したS3バケットを作成する

scikit-learn 1.0でstableになったHistGradientBoostingClassifierを使ってみる

FeatureUnionを使って機械学習パイプライン内で複数の変換結果を連結する

Amazon Athenaで週次の集計を行う

Julia実行環境として利用できるコンテナイメージ3つを調べてみた

make_column_selectorで型・正規表現からカラムのサブセットを選択する

DictVectorizerで辞書のリストを処理する機械学習パイプラインを作る

ColumnTransformerで特徴ごとに異なる変換を行うパイプラインを構築する

scikit-learnのpipelineモジュールで機械学習パイプラインを作る

plotly.expressパッケージのscatter_mapboxで地図に散布図を描いてみる

Amazon Athenaでカラムの値からJSONを作る

Jupyter Docker Stacksのコンテナをカスタマイズする

JupyterLab環境構築から始めるTerraform

Amazon SNSのrawメッセージ配信設定の違いをCloudFormationで手軽に勉強する

CVATでバウンディングボックスをアノテーションしてみる

AWS Glue DataBrewにYAML形式のレシピファイルをインポートしてみた

AWS Glue DataBrewにレシピをインポートしてみた(AWS CLI編)

AWS CDK(Python)で特定のIPからのみアクセスできるS3バケットを作成してみた

AWS Glue DataBrewにレシピをインポートしてみた(AWSマネジメントコンソール編)