バックオフィスAI活用チャレンジ！Cowork使って写真を撮るだけで郵便物の情報を記録する仕組み作ってみた
こんにちは。こやちょです('ω')ノ
今回は、バックオフィスのAI活用の一例として、長年実現できなかった理想をClaude Coworkで実現したお話です。
その理想とはタイトルの通り
「写真を撮るだけで郵便物の情報を記録したい」
会社に届いた郵便物は「記録をとって」「宛先の従業員に連絡をして」「配布をする」のですが、大量の郵便物の記録を細かくとるのは、わたしの入社時から続く時間をとられる定型業務の代表でした。
そして代表なだけあって、これまで何度も改善課題として取り上げられてきましたが、物理の郵便物をデータ化することは難しく、実現できずに諦めてきました。
が、AIが登場したことにより、今なら郵便物のラベルをAIで読み取り、差出人、宛先の情報をデータ化することができるのでは...？と思いやってみたところ、なかなかいい感じのものができたので、今回はその仕組みをご紹介したいと思います。
【事前設定①】郵便物の写真をPCにUPする仕組みをGoogle AppSheetで作る
まずは写真をCoworkが入っているPCにUPしなければ話が始まりません。
自身のスマホでパシャパシャ撮影した写真をSlackにUP...の形がまずは思いつくシンプルな形ですが、
1. 現状CoworkではSlackの写真データが読み込めない、いちいちSlackからダウンロードするのはめんどくさい
2. そもそも個人のスマホに会社の郵便物の写真データを入れるのはセキュリティ上よろしくない
と、課題がありこれは却下。
そこで検討したのが、GoogleAppSheetを利用して、会社のiPadで撮影した写真を指定のGoogleドライブに保存する方法です。
AppSheetで作成したアプリはその名も
「郵便物とるぞうくん」
作成方法と設定は以下です。
AppSheetの作成方法と設定
- 写真を保存していくGoogleドライブを作成する
- Googleスプレッドシートを作成して、手順1で作成したGoogleドライブ内にシートを保管する
- 下記画像のように1行目に以下の列名をつけて「拡張機能」をポチー
※AppSheetのメニューから作成すると、保存先がマイドライブになってしまうので注意
- AppSheetのエディタで以下を設定
＜ID列＞
Type: Text
Key: チェックを入れる
Show?: チェックを外す（非表示にする）
※ チェックを外すことでアプリ実行画面上にIDが表示されなくなります。
Initial value: =UNIQUEID() （ユニークなIDを自動採番）
＜画像列＞
Type: Image（画面上でカメラ起動・ファイル添付が可能になる）
＜撮影日時列＞
Type: DateTime
Initial value: =NOW() （新規登録時の現在日時を自動入力）
これで下記画像のようにiPadで写真撮影が可能になります。
【事前設定②】Googleドライブにある郵便物のラベルから差出人と宛先の情報を読み取る仕組みをCoworkで作る
「郵便物とるぞうくん」で写真を取り込むと、Googleドライブ内に自動でフォルダが作成されます。
このフォルダに保存されていく郵便物の写真をCoworkで読み取らせ、ラベルから、授受記録に必要な情報を、授受記録管理表にそのままコピペできる形に出力させます。
当社の授受記録管理表はスプレッドシートなのですが、2026年8月現在、Coworkからスプレッドシートへ直接書き込みができないため、直接書き込みではなくコピペできる形にしています。
ここで実際の授受記録管理表のイメージをCoworkに渡すのですが、現状スプレッドシートの読み込みにもやや時間がかかるので、Excelに変換したものを渡しました。
Coworkのチャット欄にダウンロードしたExcelを添付したうえでCoworkに指示をだします。
Coworkへ指示をだしてスキル化
細かい部分は省略しますが、大まかに指示した内容を参考に載せておきます。
１，郵便物の写真を格納したGoogleドライブフォルダのURLを指定し、そのフォルダの中身を読み取る
２．郵便物の表と裏に、同じ番号札や手書きメモなどの目印が写っている場合は、宛先と差出人が表裏に分かれた同じ郵便とみなして1件にまとめる、目印が無ければ、見た目が似ていても別便として扱う
３．出力する列（項目）とその意味・順序を指定する
（例：「差出名」欄に差出人の会社名を記載する 等）
４．記載ルールがあればそれも指示する
（例：受取人氏名はフルネーム・姓名の間に半角スペース 等）
５．記録者名（入力欄）は初回だけヒアリングし、以降はアカウントごとに記憶して自動入力する
（※最初にアカウント名から出力すると表記ゆれがでるため）
６．出力はタブ区切りのテキストをコードブロックで出力し、コピペで貼り付けられる形にする
７．処理後に「今回処理した郵便物は◯件です」と件数を添える
上手く処理で来たら「今の動作をスキル化して」でOK。
あとは「郵便物とるぞうくん」で写真を撮影してCoworkに指示をだすだけ！
届いた郵便物のラベルを「郵便物とるぞうくん」でバシャバシャ撮っていきます。
先ほど紹介した指示に含まれていますが、このとき、差出人と宛先のラベルが表と裏で分かれている場合、表、裏それぞれ添付の番号カードと一緒に撮影して、同じ数字のものを同じ郵便物と判断させます。
アプリで撮影→保存するだけでそのままドライブに保存されます。
あとはClaudeを起動して、スキルを指定して「今日の郵便物処理して！」と言うだけで、授受記録管理表にコピペできる形で出力されます。
作業が終わったらドライブ内の写真は全て消します。
（他社の情報が入った郵便物のラベルデータの写真を保管しっぱなしにするのはよろしくないので）
毎回処理後に処理件数を報告するよう指示しているので、最初の内は件数に間違いないか念のため確認します。
（おまけ）学習機能
郵便の中には会社名だけで宛先人の名前がないものも多く、仕分けの判断で人の力が必要になります。
ここを少しでも楽にしたいと思い、1度処理したことのある郵便物と同じ宛先、同じ内容の郵便物は同じ宛先人を入れるよう学習機能をつけてみました。
とはいえ出力されたものをコピペしているこのやりかただと、人の判断の部分はCoworkに見えないので、単純に宛先人の記載がないものはCoworkからのヒアリングを挟み、ログデータとして残す形にしています。
ここはいつか、Googleスプレッドシートの読み込みがもう少し軽くなったら、ヒアリングなしで、授受記録管理表から前回のデータを探れるようになるかもしれませんね。
どれだけ楽になったか聞いてみた
担当者にスキルを共有して実践してもらいました。
「記録をとって」「宛先の従業員に連絡をして」「配布をする」の「記録をとって」の部分が僅か2工程になったわけですが、その結果は...
担当者「1件あたりの処理時間が25%程削減でき、学習が進めば更に半分くらいの時間で処理できそう」「長い会社名や内容物情報を自動で読み取って出力してくれるので、楽になったし記載ミスも防止できている」
ということで、長年の理想が実現化できました！
今回は郵便受領における「記録をとって」「宛先の従業員に連絡をして」「配布をする」作業の中の、「記録をとって」の部分をAI化しましたが、「宛先の従業員に連絡をして」の部分もAI化したり、アイデア次第でまだまだ改善できそうですね。
今後もバックオフィス向けのAI活用アイデア、なにか思いついたら試してご紹介できればと思います。
ここまで読んでいただいてありがとうございました！それではまたﾉｼ
クラスメソッドオペレーションズ株式会社について
クラスメソッドグループのオペレーション企業です。
運用・保守開発・サポート・情シス・バックオフィスの専門チームが、IT・AIをフル活用した「しくみ」を通じて、お客様の業務代行から課題解決や高付加価値サービスまでを提供するエキスパート集団です。
当社は様々な職種でメンバーを募集しています。
「オペレーション・エクセレンス」と「らしく働く、らしく生きる」を共に実現するカルチャー・しくみ・働き方にご興味がある方は、クラスメソッドオペレーションズ株式会社 コーポレートサイトをぜひご覧ください。
（※2026年1月、アノテーション株式会社から社名変更しました。）
