自動文字起こしサービスである、OpenAIの「Whisper API」とAWSの「Amazon Transcribe」の精度を比較してみた

平井裕二

2023.10.20

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

はじめに

今回は、OpenAIのWhisper APIとAmazon Transcribeという2つの音声文字起こしサービスを試し、それぞれの精度を比較してみました。

Amazon Transcribeは、音声をテキストに変換する自動音声認識サービスです。

ストリーミングとバッチ処理のどちらでも文字起こしが可能です。

攻撃的な言葉を指定すると、Amazon Transcribeがそれらの言葉を文字起こしから自動的に削除する語彙フィルタリングなどの機能もあります。

Amazon Transcribeの詳細は、下記の記事をご参考ください。

OpenAIには音声をテキストに変換する「Whisper」という音声認識モデルがあり、WhisperをAPIの形で呼び出すWhisper APIが存在します。

Whisper APIは、主に「音声から文字起こし」と「音声から文字起こしと翻訳処理」の２つ機能があります。

今回の比較検証の環境としては、音声ファイルをS3バケットに保存し、AWS Lambdaが音声ファイルを取得します。その上で、Whisper APIまたはAmazon Transcribeを利用して文字起こしを行い、その結果をLambdaのログに出力します。

前提

2023年10月19日時点での検証内容です。
今回は、あくまでも音声ファイル１サンプルでの検証です。他のサンプルでは同様の結果になるわけではありません。
今回は、LambdaのランタイムPython3.11で検証しました。
今後のバージョンアップによって、それぞれのサービスが改善される可能性が高いので、恒久的な結果ではありません。
精度の比較は、あくまでも私個人の主観での判断になります。

構築

S3バケット

拡張子がwavの音声ファイルをS3バケットに保存しました。

Whisper APIは、デフォルトでは 25 MB 未満のファイルのみをサポートしてますので、20MB程度のサイズにしてます。

ちなみに、音声ファイル元は、以前「Contact Lens for Amazon Connect 入門」というタイトルでビデオセッションした動画のうち、最初の2分を音声ファイルに変換したものです。

Lambdaの作成

LambdaでWhisper APIを利用する方法は、以下の記事に詳しく載っています。

一方、Amazon TranscribeをLambdaで利用する場合には、以下のように手順を踏んで文字起こしを行います。

Lambdaは、ランタイムPython3.11を指定し作成します。

次に、以下の設定を行います

S3バケットとAmazon Transcribeを利用するため、LambdaのIAMロールには、AmazonS3FullAccessとAmazonTranscribeFullAccessをアタッチします
タイムアウトは、3秒から2分に変更します。

今回使用するコードは、下記の通りです

import json
import time
import boto3
import urllib.request

def lambda_handler(event, context):
    transcribe_client = boto3.client('transcribe')
    bucket_name = 'バケット名'
    file_name = 'ファイル名'

    file_url = f'https://s3.amazonaws.com/{bucket_name}/{file_name}'
    
    job_name = context.aws_request_id 
    job_uri = file_url
    transcribe_client.start_transcription_job(
        TranscriptionJobName=job_name,
        Media={'MediaFileUri': job_uri},
        LanguageCode='ja-JP',
        MediaFormat='wav'
    )
    
    while True:
        status = transcribe_client.get_transcription_job(TranscriptionJobName=job_name)
        if status['TranscriptionJob']['TranscriptionJobStatus'] in ['COMPLETED', 'FAILED']:
            break
        print("Not ready yet...")
        time.sleep(5)
    
    if status['TranscriptionJob']['TranscriptionJobStatus'] == 'COMPLETED':
        response_uri = status['TranscriptionJob']['Transcript']['TranscriptFileUri']
        response = urllib.request.urlopen(response_uri).read().decode('utf-8')
        json_response = json.loads(response)
        transcript = json_response['results']['transcripts'][0]['transcript']
    else:
        transcript = "Transcription job failed"
    print('Transcript result:' + transcript)
    return transcript

ここで記述するS3バケットの名前とファイル名は、各自に合わせて変更してください。

start_transcription_jobでは、文字起こし結果を保存するS3バケットを指定しない場合、マネージドS3バケットに結果が保存されます。ただし、マネージドS3バケットに保存した場合、９０日後に自動削除されますので注意しましょう。

認識精度

次に、各Aサービスの文字起こし内容とその認識精度を比較します。

Whisper API

実際の文字起こし内容↓

ーーーここからーーー

ディベロッパーズ IO 2023 このセッションでは Amazon Connect の機能の一つである Contact Lens for Amazon Connect 入門と題しまして主に Amazon Connect を既に利用している方や Contact Lens for Amazon Connect について知りたい方向けの入門セッションとなります本セッションのスピーカーを務めさせていただきます AWS事業本部コンサルティング部所属の平井裕治と申します本日はどうぞよろしくお願いいたします本セッションのアジェンダですまず Amazon Connect について概要を解説し Amazon Connect の機能の一つである Contact Lens for Amazon Connect の概要や機能有効化の設定方法導入するメリットについてご紹介いたします Amazon Connect とは AWS が提供しているスケーラブルかつ信頼性の高い顧客窓口を低コストでセルフサービスにて構築できるクラウド型コンタクトセンターサービスです Connect では電話回線や電話番号の取得チャット通話録音自動音声応答などのコンタクトセンターに必要な機能が提供されていますまたインターネットに接続されたPCがあればどこからでもアクセス可能なため在宅勤務を含む柔軟な働き方を実現できます次に Connect で使用する用語について先にご説明いたします Connect で電話をかけてきたお客様のことを顧客と呼びます電話対応したコールセンターの担当者のことをエージェントと呼びますそのエージェントの上司のことをスーパーエージェントと呼びますそして電話対応したその1件のことをコンタクトと呼びます以上の用語をセッションでは

ーーーここまでーーー

Whisper APIの良いところ

違和感なく漢字や英語に変換されています
音声内容は抜けなく文字起こしされています

気になる点

文中に句読点がないです
関係ないスペースが存在しています
固有名詞の誤記があります
- ディベロッパーズ IO → DevelopersIO
- 平井裕治 → 平井裕二

正確に音声をテキストに変換する能力の高さが垣間見えますが、句読点の欠如や不要なスペースがあるため、読みにくいといった問題も存在します。

Amazon Transcribe

こちらが実際の文字起こし内容↓

ーーーここからーーー

ディベロッパーIO二千二十三コンセッションでは、アマゾンコネクトの機能の一つであるコンタクトレンズフォーアマゾンコネクト入門と題しまして、主にアマゾンコネクトをすでに利用している方やコンタクトレンズフォーアマゾンコネクトについて知りたい方向けの入門セッションとなります。本セッションのスピーカーを務めさせていただきます。AW事業本部コンサルティング部所属の平裕一と申します。本日はどうぞよろしくお願いいたします。コンセッションのアジェンダです。まず、アマゾンコネクトについて概要を解説し、アマゾンコネクトの機能の一つであるコンタクトレンジフォーアマゾンコネクトの概要や機能有効化の設定方法、導入するメリットについてご紹介いたします。アマゾンコネクトとは、Aが提供しているスケーラブルかつ信頼性の高い顧客窓口を低コストでセルスサービスにて構築できるクラウド型コンタクトセンターサービスです。コネクトでは、電話回線や電話番号の取得、チャット、通話録音、自動音声応答などのコンタクトセンターに必要な機能が提供されています。また、インターネットに接続されたPCがあれば、どこからでもアクセス可能なため、在宅勤務を含む柔軟な働き方を実現できます。次に、コネクトで使用する用語について先にご説明いたします。コネクトで電話をかけてきたお客様のことを顧客と呼びます。電話対応したコールセンターの担当者のことをエージェントと呼びます。そのエージェントの上司のこと、スーパーエージェントと呼びます。そして、電話対応したその一件のことをコンタクトと呼びます。衣装の用語セセクション

ーーーここまでーーー

Amazon Transcribeの良いところ

句読点があり、読みやすい。

気になる点

音声内容から一部抜けて文字起こしされている箇所がある
- ディベロッパー → ディベロッパーズ
- 平裕一 → 平井裕二
- Aが提供 → AWSが提供
適切な漢字や英語、数字に変換されていない箇所がある
- 二千二十三 → 2023
- AW事業本部 → AWS事業本部
- 衣装 → 以上
- セセクション → セッション
- コンセッション → このセッション
- ディベロッパーズ IO → DevelopersIO
- アマゾンコネクト → Amazon Connect
- コンタクトレンズフォーアマゾンコネクト → Contact Lens for Amazon Connect

Amazon Transcribeを使用した結果からは、句読点の挿入により読みやすさが確保されています。

ただし、一部で音声内容が適切に文字起こしできていない点や適切な単語に変換できていない点などが目につきます。

精度の比較

基本的には、どちらも比較的精度が高く文字起こしされている印象です。

Amazon Transcribeは句読点があり読みやすいものの、一部の音声内容が文字起こしできていない箇所や適切な漢字や英語に変換できていない箇所があります。

同じAWSサービスであるAmazon Connectなどは英語表記に変換されてほしいですね。

一方、Whisper APIは適切に漢字や英語への変換が見られますが、文中に句読点がなく、無関係なスペースが存在するため、読みにくい面もあります。

今回の検証では、両者の比較をすると、音声認識の精度でいうとWhisper APIが優位と言えます。

一方、読みやすさという観点では、Amazon Transcribeに軍配が上がります。

精度の向上方法

上記の文字起こし内容をふまえて、それぞれのサービスで精度を向上させるための改善方法をご紹介します。

Whisper API

Whisper APIの場合は、下記の記事にある通り、２つあります。

Whisper APIのプロンプトパラメータを使用
GPT-4による追加処理

記事に書いてある通り、プロンプトパラメータよりもGPT-4による追加処理のほうが、全体的な読みやすさを大きく向上させています。

実行したコードも記事に紹介していますので、ご参考ください。

実際の文字起こし後、GPT-4による追加処理した内容↓

ーーーここからーーー

"DevelopersIO 2023、このセッションでは、Amazon Connectの機能の一つである「Contact Lens for Amazon Connect」入門と題しまして、主にAmazon Connectを既に利用している方や、Contact Lens for Amazon Connectについて知りたい方向けの入門セッションとなります。本セッションのスピーカーを務めさせていただきますAWS事業本部コンサルティング部所属の平井裕二と申します。本日はどうぞよろしくお願いいたします。\n\n本セッションのアジェンダです。まず、Amazon Connectについて概要を解説し、Amazon Connectの機能の一つであるContact Lens for Amazon Connectの概要や機能、有効化の設定方法、導入するメリットについてご紹介いたします。Amazon Connectとは、AWSが提供している、スケーラブルかつ信頼性の高い顧客窓口を、低コストでセルフサービスにて構築できるクラウド型コンタクトセンターサービスです。Connectでは、電話回線や電話番号の取得、チャット、通話録音、自動音声応答などのコンタクトセンターに必要な機能が提供されています。また、インターネットに接続されたPCがあれば、どこからでもアクセス可能なため、在宅勤務を含む柔軟な働き方を実現できます。\n\n次に、Connectで使用する用語について先にご説明いたします。Connectで電話をかけてきたお客様のことを「顧客」と呼びます。電話対応したコールセンターの担当者のことを「エージェント」と呼びます。そのエージェントの上司のことを「スーパーエージェント」と呼びます。そして、電話対応したその1件のことを「コンタクト」と呼びます。以上の用語をセッションでは使用します。"

ーーーここまでーーー

GPT-4による追加処理により、句読点や関係ないスペースの削除はもちろん、段落（\n\n）や引用符（「」）も追加され、大変読みやすい形となりました。

ただし、処理時間がその分増え、トータルの実行時間は、今回の場合1分弱になりました。

なお、GPT-4による追加処理はWhisper APIの機能ではないため、Amazon Transcribeで文字起こしした内容にも同様の処理を施すことが可能です。

Amazon Transcribe

Amazon Transcribeの機能だけで精度を改善する方法には以下の2つがあります。

カスタム語彙
- ドメイン固有の単語やフレーズの認識精度を向上させるために、新しい単語を追加する機能
- 参考記事
カスタム言語モデル
- ドメイン固有の用語を認識するために、カスタム言語モデルを構築する機能
- この機能を利用するためには参考になるテキストのデータを準備する必要があります
- 参考記事

カスタム言語モデルは準備に手間がかかるので、検証の目的であれば、カスタム語彙で十分な精度向上が期待できます。

ただし、Whisper APIで解説したGPT-4による追加処理では、単語以外にも段落などもしてくれるため、GPT-4による追加処理を採用します。

実際の文字起こし後、GPT-4による追加処理した内容↓

ーーーここからーーー

"DevelopersIO2023コンセッションでは、Amazon Connectの機能の一つであるContact Lens for Amazon Connect入門と題しまして、主にAmazon Connectをすでに利用している方や、Contact Lens for Amazon Connectについて知りたい方向けの入門セッションとなります。本セッションのスピーカーを務めさせていただきますのは、AWS事業本部コンサルティング部所属の平井裕二と申します。本日はどうぞよろしくお願いいたします。\n\nコンセッションのアジェンダですが、まず、Amazon Connectについて概要を解説し、Amazon Connectの機能の一つであるContact Lens for Amazon Connectの概要や機能有効化の設定方法、導入するメリットについてご紹介いたします。Amazon Connectとは、Amazonが提供しているスケーラブルかつ信頼性の高い顧客窓口を低コストでセルフサービスにて構築できるクラウド型コンタクトセンターサービスです。Connectでは、電話回線や電話番号の取得、チャット、通話録音、自動音声応答などのコンタクトセンターに必要な機能が提供されています。また、インターネットに接続されたPCがあれば、どこからでもアクセス可能なため、在宅勤務を含む柔軟な働き方を実現できます。\n\n次に、Connectで使用する用語について先にご説明いたします。Connectで電話をかけてきたお客様のことを顧客と呼びます。電話対応したコールセンターの担当者のことをエージェントと呼びます。そのエージェントの上司のことをスーパーエージェントと呼びます。そして、電話対応したその一件のことをコンタクトと呼びます。以上が用語セクションです。"

ーーーここまでーーー

以下の単語は正しく変換してくれていますね。