【レポート】あなたのAWSデータ連携ライフは輝いている！ – Developers.IO TOKYO 2019 #cmdevio
本記事では2019年11月1日(金)に行われた Developers.IO 2019 Tokyo にて行われたセッション「あなたのAWSデータ連携ライフは輝いている！」のレポートをお送りします。
セッション情報
- タイトル
- あなたのAWSデータ連携ライフは輝いている！
- 登壇者
- セゾン情報システムズ 對馬陽子 氏
2019年4月1日に、株式会社セゾン情報システムズは完全子会社である株式会社アプレッソを吸収合併しました。これにより DataSpider 等の製品・サービスはセゾン情報システムズが引き続き販売・サポートを行うことになったとのことです。
セッションレポート
アジェンダ
- IT技術者を取り巻く環境
- DataSpider 昔話
- DataSpider 紹介
- 事例
- おまけ: 最新情報
IT技術者を取り巻く環境
IT技術者を取り巻く環境は以下のような状況:
- 人手不足
- 3K (きつい、厳しい、帰れない)
- 高齢化
- 低所得
- 高速な変化
このようにIT業界は 高速な変化 に対応するために、3K (きつい・厳しい・帰れない)状況となっており、 これはモノを作ろうとしてしまうから。 この状況を打破するには「つくるからつなぐ」へのシフトが有効である。
それを実現するのが データ連携ミドルウェア DataSpider Servista 。
DataSpider昔話
1990年代後半。大学生のアルバイトが考案した。 データの差異が問題。項目・形式に対応する作業が大変であり、いかにしてにデータ連携が簡単にできるかを考えて作成されたものが原型。
「全ての開発者のため」に作られた
DataSpider 紹介
DataSpider はノンプログラミングで様々なシステムを繋ぎデータを連携できるツール。 繋ぐだけでなくデータ変換や集約といったことも可能であり様々なケースで利用できるため、 開発から運用まで幅広く活用が可能
ケース① システム間連携基盤
- システムがたくさんあってもデータの活用ができないケースが多々ある
- プログラムで連携を実装しようとすると、多くのコストが掛かり、かつ保守も煩雑となる
- ハブ連携基盤として用いることで一元管理できる
- 保守の現場ではツールが一元化されていることにより保守コストの削減も見込める
ケース② 業務自動化
- メール受信やデータ登録等のイベントをトリガーに予め決めておいた処理を実行可能
- これによりメール受信を契機に応募データの登録や返信といった作業が自動化ができる
- 例えばセミナー申し込み時のフローなど非エンジニアであったも操作に慣れれば簡易に構築が可能なのがメリット
ケース② データ移行
- システム間をつなぎデータ連携が得意なのが DataSpider であり移行にもマッチ
- 特に新旧システムを並行稼動しつつデータ連携を行うケースなどで威力を発揮
- もちろんノンプログラミング
ケース④ クラウド連携
- 各種クラウドとの連携ツールが豊富
- 自社のオンプレミスシステムをハブに各種クラウドとを繋ぐことでデータ移行やリアルタイム連携が可能に
DataSpider での開発イメージ
- 統合開発環境 DataSpider Studio に部品をおいていくだけで完成する
- どこから何を取得し、どこに連携するかを配置していく
- データ変換・マッピング・繰り返し処理も可能で、かつ可視化される
- 実行ログを見ながら確認できる
- プログラムで実装するに比べて圧倒的に楽
- 日本製・日本語
- ドキュメントに自動翻訳のようなおかしなところがない
- サポートも当然日本語
多様なシステムへの対応
AWS 連携
- Redshift: copyコマンド実行できる
- EC2 起動停止・インスタンス情報の取得ができる
- Lambda: Lambdaの実行と戻り値のjsonの取得
- Kinesisトリガー: datastreamに登録されたデータをトリガーにできる
- ほしいプラグインのリクエストを上げてほしい。できるだけ対応する
事例紹介
① GEO HD データ枯渇によりAWSにデータ移動に利用
- 開発部ではなく、業務担当者が実装できた
- 今まで参加してこなかったメンバーも参画できた
- 開発作業の標準化が可能になった
- 事例ページ
② 日立造船 IoT
- IoTプラットフォームのデータ連携基盤に利用
- ServistaをEC2にインストールしている
- 事例ページ
③ アプレッソ
- 自社の事例
- メールフォームからのセミナー登録などの自動化
DataSpiderの評価
おまけ
Hulft8 クラウドストレージオプション
- こちらはブログエントリもありHULFTのS3アップロード機能を試してみた (2019年10月版) - Developers.IO
HULFT DAYS 2019
- 東京・大阪・名古屋にて実施
終わりに
登壇された對馬様の気さくな人柄がつたわる和気あいあいとしたセッションでした。 様々なツール・プラットフォームと連携が可能な DataSpider ですが、皆様もお試しになってはいかがでしょうか？
