【データエンジニア3年目が語る】AI時代に生き残るリアルとキャリア戦略
はじめに
データ事業本部の荒木です。
私は今年でエンジニアとしては7年目になり、クラスメソッドに入社しデータエンジニアとして働き始めて約3年が経過しました。
ここ数年でAI技術、ChatGPTをはじめとする生成AIが私たちの仕事や生活に大きな変化をもたらしています。
企業側も「データをAIで分析する」フェーズに移行しつつあり、データそのものの価値や、それを扱う データエンジニア への注目度も高まっているのではないかと感じています。
「AIの進化を見て、データに関する技術や業務に興味を持った」という方も多いのではないでしょうか？
私自身、IT未経験からデータエンジニアというキャリアにたどり着き、そしてAIの登場で仕事のやり方が劇的に変わった一人です。
本記事では、私の3年間のキャリアの道のりや、データエンジニアのリアルな業務の苦労、そしてAI時代にデータエンジニアとして市場価値を高めるためのキャリア戦略について、個人の意見としてお話しできればと思います。
あなたのキャリアアップやキャリアチェンジの手助けになれば幸いです！
未経験からデータエンジニアにたどり着くまで
IT未経験のSESでのキャリアスタート
私のエンジニアキャリアは、IT未経験から新卒で入社したSES企業で始まりました。
1年目は正直何をしていたか思い出すこともできませんでしたが、2年目くらいにAWSで構築されたWebアプリケーションの運用保守として案件に携わる機会があり、そこでクラウド技術の経験をもっと積みたいと思い始めました。
ですが当時の会社ではクラウド技術を扱った案件自体も少なかったため、希望したプロジェクトに入ることも難しかったです。
クラウド技術にもっと触りたいと思いつつ、3年目にはネットワークSIer企業に常駐して、物理ネットワーク機器の導入などを経験していました。
物理ネットワークについては最初はあまり興味はなかったのですが、今振り返ると、この経験でネットワークについての基礎知識を身につけられたのは大きな財産です。
「クラウドに触れたい」思いがキャリアを変えた
ただやっぱりクラウド技術をやりたい思いは変わらなかったので転職することを決めクラスメソッドに入社しました。
参画したチームは今も所属しているデータ事業本部のチームですが、データエンジニアリング業務は全くの未経験で、とりあえずクラウド技術に触れられる環境に行きたいといことだけ考えていたので、この時はデータエンジニアとしてのキャリアを築くことはあまり考えてませんでした。
ですが、私がデータエンジニアとしてのキャリアを意識し始めたのは、AIが世に放たれ始めたことがきっかけです。
AIの登場によって企業はデータ分析にAIを活用するため、データに対する意識やデータの価値がより高まってきていると感じました。
AIを活用したデータ分析をするうえで、データ収集基盤を構築するデータエンジニアの需要はさらに高まると確信し、この分野で本格的にやっていこうと決意しました。
そんなデータエンジニアとして経験した3年間のリアルな実体験をお話ししたいと思います。
データエンジニア3年間のリアル
データエンジニアとして働いていくうえで必要になってくるスキルとしてプログラミング技術（Python）、データベース言語（SQL）が主で、パイプライン構築にはクラウド技術などが必要になってきます。
データエンジニアとして働き始めてからの3年間で、実際にどのようなスキルを身につけ、どのように仕事のやり方がAIの登場によって変化していったのかをお話しします。
AI登場前：PythonとSQLの習得がメイン
クラスメソッド入社当時、自身のスキルとしてはクラウド技術に少し触れていたくらいで、SQLに関しては未経験でした。
唯一Pythonだけは、入社前の会社で業務改善のためのスクリプト作成のために独学で勉強していたため、それなりに読み書きができる状態でした。
そのため入社から1年〜2年目くらいは、Pythonを使ったETL処理の実装や、Webアプリのバックエンド開発などを担当していました。
業務でPythonを使った開発を経験したことが無かったので、自分の実装したコードがどの程度のものなのかわからずドキドキしながら手探りで実装してたのを覚えています。
SQLについては、未経験だったので運用保守での軽微な改修などからスキルを学んでいましたが、一人で担当したプロジェクトでSQLでのデータ加工を経験することでだいぶ理解度が上がりました。
なかなかSQLを独学で学習する人はいないと思うので、自分と同じように独学からデータエンジニアを目指す人はSQLの言語についての学習やSQLを使ってデータを操作する感覚を学ぶことが第一段階なのかなと思います。
AI登場前：データクレンジングのリアル
データエンジニアが扱うデータは、綺麗なデータばかりではありません。
特に大変だったのが、人間がExcelなどで管理しているデータです。
複数人が手動で編集しているファイルは、人によって管理方法が異なり、加工処理のロジックでは想定していなかったイレギュラーなものが後から次々と出てきます。
人間が管理しやすく見やすいフォーマットと、データ分析のためにデータベースに取り込むことに適したフォーマットは全く異なります。
また自分が扱ってきたデータは、数GBから数十GB程度の規模になることが多いです。
それらのデータをAWS環境で処理するため、AWS側リソースの不要な課金を抑えるためにも、最低限のスペックのコンピューティングリソースを使用する必要があります。
そのため、メモリ不足にならないような効率の良いデータ処理を実装することを常に心がける必要があります。
AI登場前：ETL/ELTとPython/SQLの判断軸
データパイプライン構築では、データ処理の方法としてETL（抽出・変換・書き出し）とELT（抽出・書き出し・変換）のどちらが良いかを、実装したい内容によって判断します。
エンジニアのスキルがPythonのコーディングスキルだけに偏っていたり、SQLだけに偏っていたりすると、良い品質のデータ処理が実装できないこともあります。
したがって、最終的なデータエンジニアスキルとして、PythonとSQLのコーディング知識やスキルはどちらも不可欠になってきます。
AI登場前：インフラの基礎が活きる瞬間
2年目以降、データ基盤構築案件をメインで担当することが増え、クラウドインフラの設計・構築も担当するようになりました。
私は自社サービスのデータ分析基盤の構築・運用をメインで担当しており、データパイプラインのインフラ環境構築を一から考える必要はありませんが、自社サービスのインフラ環境と顧客システムなどの接続に関するインフラ設定などは担当しています。
顧客の既存システムとの接続がうまくいかないとき、ネットワーク通信の不具合があった際のデバッグにおいて、前職で培ったネットワークの知識や考え方が非常に役に立つのを実感しました。
またETL処理などでも自社サービス外のAWSサービスを使用することもあるため、クラウドに関する知識や技術も必ず必要になってきます。
AI登場後：コーディングから「AIとの対話」へ
2年目以降頃になってからはChatGPTが公開され、クラスメソッドでは業務内でのAI活用推進が始まりました。
その当時のChatGPTは、今ほど回答精度も高くなくハルシネーションも頻繁に起きていました。
わからないことをAIに聞いても「回答が正しいか一応インターネットで確認」という手間はざらにありましたし、間違った回答を指摘するとAIが謝っている...という状況もしばしばありました（笑）。
それがここ1年くらいで新しいモデルがどんどんリリースされ、さまざまなAIサービスが提供されはじめ、AIがコーディングできるようになり、インターネットなどの情報を参照して回答できるようになりハルシネーションが起きることも以前よりだいぶ減ってきているように感じます。
AIがコーディングできるようになり始めたころから、コードとエラー原因を渡すだけで原因や対処方法がわかるようになり、開発速度が圧倒的に向上してきました。
このころから、私の業務の仕方は大きく変わってきたと感じます。
コーディング自体はAIにやってもらうため、AIへの指示出しと結果の確認や微修正をするような業務にシフトしたのです。
その代わりに、 「どうやって指示を出したら少ないやり取りで意図した結果を再現性高く得られるのか」 という、AIをツールとして使いこなすスキルが業務の中心にシフトしてきました。
今ではAIとの対話してAIに仕様書を作成してもらい、その仕様書に沿って開発してもらう「仕様書駆動開発」も、人間がコーディングせずともできるようになってきていてAIの進化が早すぎてびっくりしています。
このようにAIの登場によって、データクレンジングのためのコーディングを自分でやることが少なくなり、いかにうまくAIを使うかを考えて業務をするようになってきました。
そのため、AIに何をさせたいのかをちゃんと言語化できる能力が重要になってきたと感じます。
未来のデータエンジニアへ贈る、3つの心得
私のこれまでのエンジニア人生から考える、データエンジニアとして大事だと思うことを3つ紹介します。
心得1：「どうしたら楽できるか」を考える
IT未経験からエンジニアになった私が、「これはやっておいてよかった」と一番思うのは、定型的な業務があったとき、どうやったら楽できるかを常に考えていたことです。
ほとんどの定型業務は、全てではなくとも、その一部分だけでもプログラムやツールを組み合わせることで自動化できると思っています。
私はそういった業務を見つけては、Pythonの学習も兼ねて自動化を行なっていました。
この「どうやったら自動化できるか」を考える習慣は、データエンジニアにとって、データパイプラインをどう構築するかやETL処理をどう実装するか考えるスキルに繋がる部分があるのではと思います。
特に今エンジニアを目指している方や、プログラム学習を始めたばかりで何から始めたらいいかわからないという方は、自分がいつもやっている業務で「自動化できたらいいな」と思っているもの1つ自動化してみてください。
心得2：AI時代は「ビジネス課題」に集中する
AIの登場により、データエンジニアはETL処理の実装のハードルが低くなっていると思います。
これは、 受動的な「求められたデータを提供する」 という役割からどんどん解放されていくからです。
その代わり、これからは顧客に寄り添い、AIが活用しやすいデータ扱うことができる高度なパイプライン構築や、ビジネス課題解決に繋がる提案ができるようなエンジニアが必要になってくると思います。
データアナリスト的な視点を持ち、AIを活用したデータ分析の上流工程の一部を担うことができるようになることで、データエンジニアとしての市場価値は高まります。
心得3：新しい技術への「迅速な順応性」を磨く
データエンジニアは、自身のスキルアップのための学習は欠かせませんが、それ以外にも顧客から新しいツールやサービスを使ってデータ処理したいなどの要望をいただくことも多々あります。
自分が触ったこともない新しいサービスに触れる機会もあります。
そうした未知の技術に対して素早く理解し、順応できる能力も非常に重要になってきます。
これはデータエンジニアの市場価値を高めるうえでも、顧客のビジネス要件に迅速に対応するためにも必要になってきます。
新しい技術を使うことに恐れずチャレンジしていきましょう！
最後に：データエンジニアの「本当のやりがい」
どんな仕事おいても 主体的に関わらない限りやりがいを感じることはできない と私は思います。
求められたデータをただ提供するだけでは、大きなやりがいを感じることはできません。
実装内容が既に決まっている場合もありますが、そうじゃなくゴールだけが決まっている場合、その過程をどう実装するかを自分で考えて実装することができます。
コストパフォーマンスを意識したり処理速度を意識したり、どう実装するかをお客さんと会話しながら仕様を決めていけるため、自分の技術力が上がってくると提案できる幅も広がり今までできなかったこともできたりします。
渡された仕様通りの実装をするだけでなく、いかに効率よく品質のいいデータを作れるかを追求できるのが、データエンジニアとして最も重要で、そして楽しい部分だと感じています。
まとめ：能動的な役割を担うことで市場価値を高めよう
私自身エンジニアとしてまだまだ未熟で、エンジニアに必要な技術や知識を学ぶために日々研鑽に励んでいます。
データエンジニアを目指したい方にとって、AIの登場は実装を効率化してくれる大きな追い風です。
その代わり、データエンジニアは「求められたデータを提供する」という受動的な役割から、「ビジネス課題を解決するために、どのようなデータが、どのような形で必要か」という問いを立てる、能動的な役割を担う必要が出てくると思います。
上流工程の一部を担うことで、市場価値を一緒に高めていきましょう！
おまけ
私が所属するデータ分析基盤構築チームでは、現在採用強化活動を実施しています。
データエンジニアに興味がある方いましたら是非カジュアル面談等に応募いただければと思います！
