『みんなの考えた最強のデータアーキテクチャ’24新春-最新版SP！』レポートを参加者の皆さんのX投稿でまとめてみた #datatechjp
2024.01.16 16:05アライアンス事業部 エンジニアグループ モダンデータスタック(MDS)チームの しんや です。
前回開催されて非常に大きな評判だった「みんなの考えた最強のデータアーキテクチャ」の2024年版イベント『』が2024年01月16日、開催されました。
2023年開催のイベント内容はこちらをご参照ください。
イベント全体としては非常に聴き応えのある内容だったのですが、イベントのアーカイブ(録画)なし／前半のLTのメモを取り切る体力と瞬発力が無かった(体力の衰えが...)／後半のパネルディスカッションも内容が濃すぎて名言連発しており、それら名言を取り上げるだけでもイベントの良さや内容が伝わるかな、とも思い参加者の皆様のX投稿で気になったものをピックアップする形でお届けできればと思います。イベント参加者の皆様、X投稿を拝借させて頂きありがとうございます！
ちなみに当日のイベントに関するX投稿のまとめはこちらです。
目次
- LTパート
- LT1. 事業データ × アナリティクスデータ × デジマデータを三位一体で分析しまくった結果、今考えるベターな基盤 ～基盤は手段、目的は事業成果！～
- LT2. アンケートシステムを強くするアプリケーションデータ基盤
- LT3. 続・データモデリングで何を解決したいか、data vault による How を添えて
- LT4. 分散型アーキテクチャへのアプローチ with Databricks
- LT5. Databricksで築く未来のデータメッシュ組織
- LT6. 前回の発表で見せたデータ基盤が、一年でどう変化したか。これからやりたいこと、成功、失敗とか、
- LT7. 利用拡大へのステップアップを目指す次世代データ分析基盤開発について
- LT8. 再現性ある成功を掴むデータエンジニアになりたい
- LT9. SnowVillage村長が自信を持ってオススメする最強はこれだ
- [パネルディスカッション] みんなの考える最強のアーキテクチャって？
- まとめ
LTパート
イベント前半はLTパート。計9人の登壇者が1人頭5分で駆け足感強めで発表をしていきました。的確なタイムスケジューリングの甲斐あってほぼ時間通りに前半パートを終える形に。シンプルにすげぇ！って思いましたw
- 発表日時点で資料共有があったものは合わせてその情報を公開しています。
- 以降、資料共有の情報を見つけた際には適宜該当セッション部分に内容を追記していきます。
LT1. 事業データ × アナリティクスデータ × デジマデータを三位一体で分析しまくった結果、今考えるベターな基盤 ～基盤は手段、目的は事業成果！～
- 登壇者： 板谷越 英美（@hogeitayan） さん
#datatechjp
実際に成果が出る基盤。。強い！— kyamisama (@kyami0613) January 16, 2024
事業成果 > 投資 な基盤が最強と。たしかに一つの考え方だよね
#datatechjp— T.Kato (@hastur_kato) January 16, 2024
最強の定義がわかりやすい #datatechjp
— Sakatoku/子持ちデータエンジニア (@AkSakatoku) January 16, 2024
一瞬しかうつせなかった各種リンクは以下です！
DATALE 板谷越：https://t.co/4AqzK9ojFW
アソビュー 霧生さん：https://t.co/yykNZ7wTfg
データで成果出したいひとのためのコミュニティ：https://t.co/dHA5EaofSn#datatechjp— 板谷越 英美 (@hogeitayan) January 16, 2024
LT2. アンケートシステムを強くするアプリケーションデータ基盤
- 登壇者： koreeda（@cs_dev_engineer） さん
SPCSのはなしキターーー #datatechjp
— 菱沼 雄太@ちゅらデータCTO（しばらく執筆モード） (@foursue) January 16, 2024
さっそく Snowpark Container Services の話題が！さすが #datatechjp
— あれ (@__allllllllez__) January 16, 2024
アンケートはデータ分析のために取るものなので、データ分析基盤は大事って話はそうだなと。#datatechjp
— よしむら@データマネジメント担当 (@yoshimura_datam) January 16, 2024
アンケートデータはSPCSでLLMやりたくたなるよなあ#datatechjp
— makotyo (@makotyo__) January 16, 2024
LT3. 続・データモデリングで何を解決したいか、data vault による How を添えて
- 登壇者： tenajima（@tenajima） さん
年末書いたものはこちらになります
whyモデリングはこちらで厚く語っておりますhttps://t.co/jbcx6iIWv6
#datatechjp— tenajima (@tenajima) January 16, 2024
Data Vaultを実戦投入してる！すごい！ #datatechjp
— Sakatoku/子持ちデータエンジニア (@AkSakatoku) January 16, 2024
Data Vault採用してる会社って日本にどのくらいあるんだろ#datatechjp
— makotyo (@makotyo__) January 16, 2024
LT4. 分散型アーキテクチャへのアプローチ with Databricks
- 登壇者： rhos（@reonah6） さん
イオンの中の人だ
すごい勢いでイオンアウトプット見かけるようになってる #datatechjp— おむろん (@omuron) January 16, 2024
#datatechjp AEONさんの星野さん！データの分散型アプローチ！
— akuwano (@kuwa_tw) January 16, 2024
LT5. Databricksで築く未来のデータメッシュ組織
- 登壇者： ken（@ken_3ba） さん
#datatechjp カケハシの松田さんー！データメッシュ組織について
— akuwano (@kuwa_tw) January 16, 2024
#datatechjp データガバナンス重視からのDatabricks！メダリオンアーキテクチャともとに提供、ワークスペースの分離をしているが、Unity Catalogで集中管理可能！権限管理も監査も可能ー。
— akuwano (@kuwa_tw) January 16, 2024
データプロダクト化と横断的なデータガバナンスのスライド、めちゃめちゃわかりやすくかった #datatechjp
— Sakatoku/子持ちデータエンジニア (@AkSakatoku) January 16, 2024
Unity catalog, talend data catalogやinformaticaのカタログと比べてどれくらいの使いやすいんやろ？カタログ周りは割と困ってるから興味あるわ。継続してカタログ更新していける自信ないわ。。。#datatechjp
— parfait(パルフェ) (@picapica0707) January 16, 2024
LT6. 前回の発表で見せたデータ基盤が、一年でどう変化したか。これからやりたいこと、成功、失敗とか、
- 登壇者： pei（@pei0804） さん
紹介してた記事リンク集です。#datatechjphttps://t.co/gm9xdTDYJW… https://t.co/l48Ef5eGpH… https://t.co/gThVWF4EVI… https://t.co/bvfW3DEfH2… https://t.co/Pcst22ABcO
— pei (@pei0804) January 16, 2024
selectでSnowflakeコストが40％減った・・・だと・・！？(気になる)#datatechjp
— 板谷越 英美 (@hogeitayan) January 16, 2024
これか！ #datatechjp https://t.co/PrkI7z0sDc
— kirimaru (@tvw_kirimaru) January 16, 2024
LT7. 利用拡大へのステップアップを目指す次世代データ分析基盤開発について
イベントで発表した資料です😃https://t.co/AX81b3lVcN#datatechjp
— kaz3284 (@kaz3284) January 16, 2024
横串型だ #datatechjp pic.twitter.com/ZRIEHw6kod
— あれ (@__allllllllez__) January 16, 2024
#datatechjp
ChatWorkさん〜〜
リーンに速くやって成功した後に方針の見直しを迫られるのはデータに限らずあるあるだなと思った。トランクベース開発良いねって話が共通プラットフォーム構築のCI/CD話で出てくるのはおもろかった。
— ebikun (@eng_toshiaki) January 16, 2024
諦めたらそこで試合終了だよ → Scale Architecture、DataMesh、マイクロサービス、... #datatechjp
— あれ (@__allllllllez__) January 16, 2024
LT8. 再現性ある成功を掴むデータエンジニアになりたい
- 登壇者： (1) ゲンシュン（@gen_shun） さん
本日は登壇機会と超たくさんの方にご参加いただき、また拙いMCでしたが皆さん暖かくて助かりました本当にありがとうございました〜〜✌
発表時間短かったのでポエム100%技術0%です！後日資料のサマリあげます〜！#datatechjp pic.twitter.com/HSS1Xs7ieY— ゲンシュン (@gen_shun) January 16, 2024
ポエムどころかMost Valuable Slideだった #datatechjp
— Sakatoku/子持ちデータエンジニア (@AkSakatoku) January 16, 2024
「仕事の領域はメチャ広いのになかなか価値をわかってもらえない」っていうのはなんかすごい共感。#datatechjp
— MT_data（データ可視化・分析関連情報収集用） (@MT_data_ac) January 16, 2024
組織の力学・・・！利活用しないと意味ない、めちゃいい言葉🥹
#datatechjp— tomo❄️ (@tomowk1) January 16, 2024
LT9. SnowVillage村長が自信を持ってオススメする最強はこれだ
「スクショ共有OKですよ！」→早すぎてスクショ取れないwww #datatechjp
— あれ (@__allllllllez__) January 16, 2024
ドン！！！！ #datatechjp pic.twitter.com/xH0MAnxY7Q
— あれ (@__allllllllez__) January 16, 2024
そっか、Snowflakeのコンテナサービス使えば、そこでいろんなOpenMetadataとかも使えるのか、、、！！！
#datatechjp— taka/hiro (@isB297Fc7kbgd7c) January 16, 2024
イッツアSnowflakeワールドwww #datatechjp pic.twitter.com/21d0JuYFF7
— kaz3284 (@kaz3284) January 16, 2024
[パネルディスカッション] みんなの考える最強のアーキテクチャって？
イベント後半はLT登壇者全員によるパネルディスカッション。こちらは計1時間で複数のトークテーマに関してディスカッションしていくというスタイルでした。数多くのX投稿の中から『これは！』というのをピックアップして紹介します。(なんやかんやでいっぱいになってしまったな...)
みんなパネルではゆっくりしゃべってるｗ #datatechjp
— tomo❄️ (@tomowk1) January 16, 2024
全部できる人は居ないので、コミュニケーションパスを作っていくの大事って思っていたりする。#datatechjp
— pei (@pei0804) January 16, 2024
権限が強い人と仲良くなることで組織のパワーを使えるようにするのか。。たしかに～ #datatechjp
— あれ (@__allllllllez__) January 16, 2024
データエンジニアが分析もすればデータ基盤で事業価値出せる。でも少ない人数で全てをやるとスーパーマン求めることになり、拡張していかない。 #datatechjp
— mamedai aki (@mamedai55) January 16, 2024
スーパーマン採用むずいので、既存のメンバーが、「染み出して分析学ぶ(知りにいく)」と、むしろパフォーマンスがあがるという現象が起きる所感ですｗ#datatechjp
— 板谷越 英美 (@hogeitayan) January 16, 2024
個人的にはエンジニアはエンジニアリングに本気で取り組んでほしくて、データ品質のエンジニアリングあたりになってきたあたりでビジネスレイヤーの領域に入っていくのが良いんじゃないかな、最初からいきなり「事業とは」とかやるとちょっと遠すぎる気がしてます #datatechjp
— 菱沼 雄太@ちゅらデータCTO（しばらく執筆モード） (@foursue) January 16, 2024
多分10社中、snowflake6社、Databricksが2社、BigQueryが2社だった。#datatechjp
— よしむら@データマネジメント担当 (@yoshimura_datam) January 16, 2024
スーパーマンじゃないと回らない仕組みができあがると、それはそれで恐ろしいんだよな。 #datatechjp
— pei (@pei0804) January 16, 2024
いろんな製品どう選ぶ？
「推測するな、計測せよ!」 #datatechjp— kaz3284 (@kaz3284) January 16, 2024
基盤を選択する際には良さそうというイメージではなく、自分で使った結果、選べ！まずは自分（個人用等）で使ってみるのだ。まったくだぞ、BIツールもDWHも同じだぞ #datatechjp
— narupeko（しらとりなるひこ） (@narupeko) January 16, 2024
「予想するな計測しろ」で使って選んでいってほしい #datatechjp
— 菱沼 雄太@ちゅらデータCTO（しばらく執筆モード） (@foursue) January 16, 2024
ビジネス界でも「データエンジニアどこにいるのよ？」があるらしい。そりゃ、大学でデータを利用するIRerやデータ基盤をつくる人を探すことは大変でしょうねえ…自分でデータの人になっていくのがよさそう #datatechjp
— narupeko（しらとりなるひこ） (@narupeko) January 16, 2024
「ふみ抜いた地雷の数だけ強くなれる」#datatechjp
— kaz3284 (@kaz3284) January 16, 2024
偉くなるのだいじという話とCTOになるなという話が共存してる #datatechjp めちゃおもろい
— KT ❄️ (@DATA_Saber) January 16, 2024
最強になるためにCTOにならないのは草
#datatechjp— いそひまかん🖋️でぃーえす (@IsoKan_DD) January 16, 2024
CTO忙しすぎて🌱 #datatechjp
— みゅう⛩狼欒⛓️ (@myu65_laurant) January 16, 2024
技術のアップデートは、CTOにならないことw
手を動かす時間取れない。— Zumax (@Zumax12345) January 16, 2024
コミュニティあったかいのは大事 #datatechjp
— akuwano (@kuwa_tw) January 16, 2024
インデックスだけ作ってってやつ、最近の技術書の読み方これに切りかえてめちゃくちゃ効率上がった
#datatechjp— Iwash 毎日8時にデータ関連ツイートしないアカウント (@daaataaaaa1592) January 16, 2024
「アウトプットしたほうがインプットになる」なるほど#datatechjp
— jun (@tokyo_jjjx) January 16, 2024
mediumは毎日惹かれるタイトルの記事があるので楽しいhttps://t.co/SI32X4meKR
— tomo❄️ (@tomowk1) January 16, 2024
英語圏にアウトプットしようぜ！ #datatechjp #SnowVillage
— Sakatoku/子持ちデータエンジニア (@AkSakatoku) January 16, 2024
#datatechjp アフタートーク含め全セッション終了しました！今回も素晴らしい内容だった〜〜！！！
発表者のみなさま、ご参加いただいたすべてのみなさま、そして素晴らしいリーダーシップと情熱でこの会を実現してくれたみっつさん @kaz3284 本当にありがとう〜〜！！！！お疲れ様でした〜〜！！！！— KT ❄️ (@DATA_Saber) January 16, 2024
まとめ
というわけで、参加者関係者の皆様のX投稿による『みんなの考えた最強のデータアーキテクチャ'24新春-最新版SP！』のイベントレポートでした。改めまして、参加者の皆様、非常に有意義なX投稿ありがとうございました！
イベントの中では、当イベントを開催/主催しているコミュニティ『datatech-jp』の言及・紹介もありました。このイベントをきっかけにコミュニティに興味を持った方、またデータ周りの情報共有を行いたい！という方は是非このコミュニティに参加してみてはいかがでしょうか。
![[新機能]Snowflakeでテキストデータに対するRAGを簡単に実装できる「Cortex Search」を用いてRAGチャットボットを構築してみた](https://images.ctfassets.net/ct0aopd36mqt/wp-thumbnail-37f4322e7cca0bb66380be0a31ceace4/0886455fd66594d3e7d8947c9c7c844d/eyecatch_snowflake)
