TwilioとGoogle Cloud Speech APIで電話の内容を文章に変換する

masuwo3

2017.02.15

この記事は公開されてから1年以上経過しています。情報が古い可能性がありますので、ご注意ください。

Google Cloud Speech API (以下Speech API) を利用すると、人間が発声した音声をAPIを通してテキストに変換することができます。

Speech APIは日本語にも対応しているため、国内でも電話で話した内容を自動的にテキストに変換するといったようなことが出来るようになります。

ということで、Twilio, Zappa, Speech APIを組み合わせて、サーバレスに電話の内容を文章化する仕組みをつくってみました。

構成

以下が今回作成した仕組みの構成図になります。

voice-recording-structure

Twilioを用いて電話から音声を録音する方法については、こちらの記事を参考にしてください。

上記の記事に加えて、Twilioから録音された音声ファイルのURLをSNSを通して別のLambda Functionに投げ、そこから音声ファイルの取得とSpeech APIへの問い合わせを行っています。最終的に変換されたテキストはchatworkへ投稿されます。

LambdaからSpeech APIへの問い合わせ

Speech APIを利用する場合、GCPへの認証をLambdaを通して行う必要があります。今回はADC(Google Application Default Credentials)と呼ばれる認証ファイルをlambdaのパッケージに含め、その認証情報をもとにSpeech APIへの問い合わせを行いました。

ADCのパスをLambdaの環境変数GOOGLE_APPLICATION_CREDENTIALSに設定することでgoogle-api-python-clientから問い合わせを行うことが出来るようになります。

Speech APIへの問い合わせの具体的な実装は以下のようになります。Speech APIのサンプルコードをベースに作成しています。

# coding=utf-8
import base64
import requests

from googleapiclient import discovery
import httplib2
from oauth2client.client import GoogleCredentials

DISCOVERY_URL = ('https://{api}.googleapis.com/$discovery/rest?'
                 'version={apiVersion}')

def invoke(events):
    for event in events['Records']:

        # SNSから録音ファイルのURLを取得
        recording_url = event['Sns']['Message']

        # 録音ファイルを取得
        r = requests.get(recording_url)

        # Speech APIに問い合わせ
        resp = __recognize_speech(r.content)

        # 問い合わせ結果のテキストを取得
        text = resp['results'][0]['alternatives'][0]['transcript']

        # 結果をchatworkに投稿
        __post_to_chatwork(text)

def __recognize_speech(content):

    # 音声ファイルをBASE64エンコーディング
    content_base64 = base64.b64encode(content)

    # Speech APIに問い合わせ
    service = __get_speech_service()
    service_request = service.speech().syncrecognize(
        body={
            'config': {
                'encoding': 'LINEAR16',
                'sampleRate': 8000,
                'languageCode': 'ja-JP',
            },
            'audio': {
                'content': content_base64.decode('UTF-8')
                }
            })
    response = service_request.execute()

    return response

def __get_speech_service():
    credentials = GoogleCredentials.get_application_default().create_scoped(
        ['https://www.googleapis.com/auth/cloud-platform'])
    http = httplib2.Http()
    credentials.authorize(http)

    return discovery.build(
        'speech', 'v1beta1', http=http, discoveryServiceUrl=DISCOVERY_URL)

def __post_to_chatwork(text):
    ...(snip)...

SNSから録音ファイルのURLを受け取った後、音声ファイルをダウンロードし、BASE64エンコーディングしています。その後、エンコードしたデータを元にSpeech APIに問い合わせを行い、結果をChatworkに投稿しています。

Twilioで録音されたファイルをSpeech APIの分析にかける場合、以下の設定で問い合わせを行う必要があります(WAVファイルの場合です)。