AWS連携機能を強化した「DataSpider Servista 3.2」がリリースされたのでアプレッソさんに話を聞いてみました

DataSpider Servista 3.2 が12月19日に正式リリースされました。今回のリリースでは AWS との連携機能が強化され、Amazon Redshift、SQS、RDS、S3 とのアダプタが新機能・機能拡張として提供されています。

アプレッソ 友松さん、脇野さんからリリースについて詳しくお伺いする機会がありましたので、アプレッソさんの了承を得た上でその時の内容を公開したいと思います。

DataSpider とは

DataSpider は2001年にリリースされました。累計導入社実績は2000社。業種特化はしておらず、様々な業種に万遍なく導入されています。

DataSpider Servista(データ連携)

• • 1言でいえば EAI ツールで、全てノンプログラミングでできるのが特徴です。
  • ETLよりはもう少し踏み込んでアプリケーション連携ができるようになっています。
  • 連携先は50種以上に対応しています。
  • DataSpider 自体は基本的にクラサバモデルになっています。
    • GUI はインストールベースの独自のツールになっています。Windows のみの対応です。
      • Web 版はブラウザからアクセスして開発を行うツールです。デスクトップ版に比べると機能がちょっと少ないです。
      • サーバはプロセスを立ち上げるだけ。Java のアプリケーションなのでJRE 上に起動される。ただし連携処理は DataSpider サーバの中だけで実行可能です。
        • （質問）負荷分散のためにエージェントみたいに配置をできるますか？
        • 今のところはできません。
        • 拡張していく時はサーバを並列でたてて対応できます。クラスタ構成ではありません。
  • 分散しているデータを一極集中で管理できます。
  • 手動でやっていた業務を自動化するために使う事例もあります。メールに添付されたExcelの中身をみてDBに格納とかもできます。
  • データ移行の事例が多く、並行移行なども可能です。
  • リアルタイムに近い形での同期処理で使う事例もある。あるお客さんでマスター同期で15分おきというケースがありました。

クラウド連携について

• • AWS と salesforce といったようにハイブリッド連携が可能です。
  • アダプターという機能を介してデータを連携させる仕組みです。アダプターの実体はモジュールになっていて、DataSpider の中に入れて動作します。

DataSpider Studio

• • アイコンベースになっていて、前述したようにノンプログラミングで作れます。例えば、1万4000ステップのコーディングに相当する機能を、13個のアイコンを並べることで作ることも可能です。
  • 国産の製品なので設定もすべて日本語で提供されていて、日本語に特化した処理、全角半角処理、西暦和暦変換も標準であります。

対応している連携先が多い

• • リレーショナルデータベースで一般的な製品にはだいたい対応しています。
  • JDBC、ODBC 対応です。
  • アプリは SAP も対応しています。
  • 国産ツールもいろいろあります。
  • グループウェアでは Notes/Domino
  • ファイルで Hadoop HDFS 対応可能です。
  • SDK を使って追加でアダプターを開発できます
    • Javaのフレームワークになっている。Javaのプログラム資産をアダプターにしたりとかも可能です。
  • 外部からの呼び出しは、HTTP、SAP、Webサービス、ファイルイベント、スケジューラ、専用クライアント、Java API、データベース、FTP、HULFT、AppFabric
    • FTPトリガ。ファイルのアップが終わったことを検知してそれで発火する。

パフォーマンス

• • GUI で連携処理を作って、いったん Java のプログラムにしてコンパイルして動作させます。
  • 生成されるプログラムは10年間のノウハウが活かされているので、普通の人が作るよりは早いと思います。
  • パラレルストリーミング機能。データを分割・変換して並列で処理します。
    • 少ないメモリ量でも高速で処理できます。
    • この場合、この機能を使うとかって考える必要はない。自動で処理方式を選択します。
    • 他社のツールと比較してもだいたい早く、場合によっては2倍位は早く処理できます。
    • 読み込み・書き込みの処理は、2つ同時。実際は2スレッドをずっと回しています。

デモ

• • • 最新版のスナップショット

• • • マッピングのイメージ

• • • 関数は連続で使えます（アイコンを横に繋いでいくイメージです）。
    • DB各種にあわせて専用のアダプタを作ってあります。

AWS 連携機能の追加

Ver3.2 のコンセプト

1. クラウドコネクティビティとクラウドポータビリティ

• 必須。連携処理がどこにあっても同じように動きます

1. シチズンデベロッパーの台頭

• プロフェッショナルじゃない人間が開発に携わる機会が増えると考えられます

1. データ連携ツールのニーズ拡大

• Power Center、Talend などはETLとかEAIのカテゴリに収まらなくなってきている。どういったところでも使えるようになっていくことが必要です
• いろんなクラウドで、誰でも、ビッグデータでもっていう機能拡張

新機能

• Amazon SQS
• Amazon Redshift
• ScriptRunner for Amazon SQS

機能拡張

• Amazon RDSアダプタ
  • Oracle 11gR2
  • SQL Server2012
  • PostgresSQL 9.3
  • MySQL 5.6
• Amazon S3アダプタ
  • クライアントサイド暗号化
  • サーバーサイド暗号化
  • マルチパートアップロード
• リポジトリDB
  • Amazon RDS Oracle 11gR2 / SQL Server 2012 / PostgresSQL 9.2 / MySQL 5.6

• もともとあったアダプタ
  • Amazon EC2
    • インスタンスの起動・停止などの情報取得
  • Amazon RDS (MySQL)
  • Amazon S3
  • いちおう SimpleDB も対応しています
• Amazon Redshift アダプタ
  • COPYコマンドが実行できます
  • 事前にS3にアップロードする必要はあります
  • これまでJDBCアダプタでやってたけど、タイムアウトをきっちり教えてくれませんでした。
  • 今回のアダプタでは、
    • タイムアウト設定が可能。処理が正しく行われます
    • コマンドが正常終了した時に初めて完了するオプションがつきました
    • エラーメッセージを正しく出力できるようになりました
  • Amazon SQS アダプタ
    • ノンプログラミングで連携が可能です
    • メッセージの送信・受信・削除ができるようになりました
  • ScriptRunner for Amazon SQS
    • クライアントexeがあり、実行要求がAmazon SQS に入る。そのキューが入ったらDataSpiderが実行します。
      • スクリプトを予め用意しておいて、キックする命令をだします。
      • 
      • 運用監視ツールがどこにいても実行できます
        • AWS 上に DataSpider、オンプレに運用監視ツールがある場合、AWS 上のスクリプトの処理に時間がかかるようだとタイムアウトが発生してしまうことがあり、運用監視ツール上でエラーとみなしてしまう場合がある。それを処理が正常終了した際にキューをだすので、正しく監視できます

• • Amazon S3
    • マルチパートアップロード
      • 10MB以上のファイルだと自動でマルチパートアップロードになる
• 逆引きリファレンス
  • やりたいことから検索できるようになっています
  • 開発ベンダーが構築後、システムをユーザーに引き渡した歳、ユーザーが自分で検索して作れるので、手離れが良くなると考えられます。
  • サンプルスクリプトが付いているのでテンプレート的に使えます
• SAP
  • 差分抽出機能
  • 
  • 
• HTTP トリガー機能強化
  • DataSpider を API サーバのように使いたいといったリクエストがありました
    • REST 的な使い方ができるようなりました
    • マルチパートフォームデータ対応
    • JSON 対応
    • 

質問

• フローの部分で、結果によって分岐できますか？
  • できます。
• 定期実行と監視する仕組みはありますか？
  • 定期実行はあります。作ったものの監視もできます。マイログっていうのがあって、実行結果をみられます
  • ログは XML で格納されます
  • ログのパージタイミングは任意で設定できるようになっています(ログの保管期間)
• 休日設定とはどういった機能ですか？
  • 基準となるカレンダーをベースに、任意のカレンダーを作れます
  • 休日の前日・翌日実行も可能です
• 価格はどれくらいでしょうか？
  • ベーシックサーバパッケージは9種類のアダプタ込みで300万、アドバンストサーバパッケージは19種類のアダプタ込みで550万で、どちらもサポートは年間20%です。ベーシックからアドバンストは差額でアップグレード可能です。
  • 移行版は3ヶ月60万円。保守費用付き。最大1年間まで延長可能。製品版への以降は差額でアップグレードできます。
  • 評価用は無償でだします(最大3ヶ月)。
  • 仮想環境に入れる場合、4コアまでで1ライセンス(1ソケットと同等にします)
  • Studio は5クライアント(同時接続)かインストールベースになります。
• Amazon Aurora への対応は予定にありますか？
  • 対応する予定です。MySQL のアダプターでそのまま行けると思うので、これから検証します。
  • AWS さんとハッカソンを開催する予定です。それ向けに Kinesis 連携機能と DynamoDB アダプタをプロト版でだす予定です。
  • Kinesis 連携機能はプットするアダプタとデータを受け取るトリガーを出る予定です

おわりに

冒頭にも書いたとおり、今回のリリースで AWS との連携が強化されました。元々、日本で開発されていることもあって、西暦和暦変換など日本ならではのところもおさえてあって興味深いツールだと思いました。