![[Amazon Lex] RaspberryPIでLexクライアントを作ってみました](https://devio2023-media.developers.io/wp-content/uploads/2019/05/amazon-lex.png)
[Amazon Lex] RaspberryPIでLexクライアントを作ってみました
1 はじめに
CX事業本部の平内（SIN）です。
今回は、RaspberryPIでAmazon Lex（以下、Lex）のクライアントを作ってみました。
最初に動作している様子です。スイッチを押している間だけマイクの音声を録音し、スイッチを離したタイミングで、Lexに送信しています。
テストに使用したボットは、以下で作成したものです。
2 スイッチ
マイクのON/OFFは、スイッチで制御しています。
ブレッドボード上のスイッチは、GPIO14に接続され、1Kでプルアップされています。スイッチを押すとGNDに落ちます。
スイッチを制御しているコードです。
GPIO14を入力モードにして、HEIGH/LOWを検出しています。チャタリングを考慮して、変化が少しの間、継続することを確認して、スイッチの変化としています。
GPIO15は、GPIO14のHEIGH/LOWをLEDで表示しているものです。
# -*- coding: utf-8 -*-
"""
スイッチを制御するクラス
"""
import RPi.GPIO as GPIO
import time
# スイッチ制御クラス
class Switch:
def __init__(self, on, off):
GPIO.setmode(GPIO.BCM)
GPIO.setup(15,GPIO.OUT)
GPIO.setup(14,GPIO.IN)
self.__on = on
self.__off = off
self.__loop()
def __loop(self):
status = 'off'
count = 9999
while True:
if(GPIO.input(14) == GPIO.HIGH):
# OFF状態をLEDで表示する
GPIO.output(15,GPIO.LOW)
if(status == 'on'):
status = 'off'
count = 0
else:
count += 1
else:
# ON状態をLEDで表示する
GPIO.output(15,GPIO.HIGH)
if(status == 'off'):
status = 'on'
count = 0
else:
count += 1
if(count == 5): # 状態変が0.25sec継続した場合、スイッチ変化のコールバックを起動する
if(status == 'on'):
self.__on()
else:
self.__off()
time.sleep(0.05)
3 マイク
マイクは、USBに接続するタイプのサンワサプライ USBマイクロホン 単一指向性 直挿し型 MM-MCU02BKを使用しています。
OSからは、以下のように認識されています。
$ lsusb Bus 001 Device 004: ID 0d8c:0016 C-Media Electronics, Inc. $ arecord -l **** List of CAPTURE Hardware Devices **** card 1: Microphone [USB Microphone], device 0: USB Audio [USB Audio] Subdevices: 1/1 Subdevice #0: subdevice #0
以下のコードでマイクの諸元を取得すると、チャンネル数は、1で、サンプリングレートが、44.1KHzであることが分かります。
import pyaudio p = pyaudio.PyAudio() info = p.get_device_info_by_index(0) print(info)
{'index': 0, 'structVersion': 2, 'name': 'USB Microphone: Audio (hw:1,0)', 'hostApi': 0, 'maxInputChannels': 1, 'maxOutputChannels': 0, 'defaultLowInputLatency': 0.008684807256235827, 'defaultLowOutputLatency': -1.0, 'defaultHighInputLatency': 0.034829931972789115, 'defaultHighOutputLatency': -1.0, 'defaultSampleRate': 44100.0}
マイクにアクセスしているコードです。start()で録音を開始し、stop()で、wavファイルに落とします。 なお、Lexへは、16KHzで送信する必要があるので、stopのタイミングで、ffmpegを使用してサンプリングレートを変換しています。
# -*- coding: utf-8 -*-
"""
マイクから録音するクラス
"""
import pyaudio
import wave
import os
import threading
import time
class Record():
def __init__(self, device_index,channels, sample_rate, outfile):
self.__CHANNELS = channels
self.__SAMPLE_RATE = sample_rate # サンプルレート
self.__CHUNK = int(self.__SAMPLE_RATE/4) # 0.25秒ごとに取得する
self.__FORMAT = pyaudio.paInt16
self.__DEVICE_INDEX = device_index
self.__OUTFILE = outfile
self.__p = pyaudio.PyAudio()
def start(self):
self.__frames = []
self.__stream = self.__p.open(format = self.__FORMAT,
channels = self.__CHANNELS,
rate = self.__SAMPLE_RATE,
input = True,
input_device_index = self.__DEVICE_INDEX,
frames_per_buffer = self.__CHUNK)
self.__recording = True
self.__thread = threading.Thread(target=self.__loop)
self.__thread.start()
def __loop(self):
while(self.__recording == True):
data = self.__stream.read(self.__CHUNK)
self.__frames.append(data)
print ("data size:{}".format(len(data)))
def stop(self):
self.__recording = False
data = b''.join(self.__frames)
time.sleep(0.1)
self.__thread.join()
self.__stream.stop_stream()
self.__stream.close()
# save
file_name = "./tmp.wav"
wf = wave.open(file_name, 'wb')
wf.setnchannels(self.__CHANNELS)
wf.setsampwidth(self.__p.get_sample_size(self.__FORMAT))
wf.setframerate(self.__SAMPLE_RATE)
wf.writeframes(data)
wf.close()
# 44.1KHz -> 16KHzへの変換
os.system("ffmpeg -i ./tmp.wav -ar 16000 {}".format(self.__OUTFILE))
os.system("rm ./tmp.wav")
def __del__(self):
self.__p.terminate()
4 再生
再生は、simpleaudioを使用させて頂きました。
$ sudo apt-get install -y python3-pip libasound2-dev $ pip3 install simpleaudio
# -*- coding: utf-8 -*-
"""
WAVファルを再生するクラス
"""
import simpleaudio as sa
class Audio:
def play(self, wav_file):
print("audio start")
wave_obj = sa.WaveObject.from_wave_file(wav_file)
play_obj = wave_obj.play()
play_obj.wait_done()
print("audio finish.")
スピーカーの音量は、以下のコマンドで調整しています。
$ alsamixer
5 Lex
Lexへのアクセスは、boto3で行っています。
LexRuntimeService
lex-runtime の post_content() を使用すると、音声ファイルを送信することができ、accept で 'audio/pcm' を指定することで、レスポンスもオディオデータで受け取ることができます。
post_content(**kwargs)
# -*- coding: utf-8 -*-
"""
Amazon Lexにアクセスするクラス
"""
import boto3
from cognito import createSession # CognitoのPoolIdでSessionを取得する
import os
import wave
class LexBot:
def __init__(self, pool_id, region):
session = createSession(pool_id, region)
self.__client = session.client('lex-runtime', region_name=region)
self.__alias = "$LATEST"
self.__username = "raspi_client"
self.__bot_name = "OrderFlowers_jaJP"
def post_content(self, audio_file):
f = open(audio_file, 'rb')
response= self.__client.post_content(
botName = self.__bot_name,
botAlias = self.__alias,
userId = self.__username,
inputStream=f,
accept='audio/pcm',
contentType="audio/l16; rate=16000; channels=1")
print(response)
audio_stream = response['audioStream'].read()
response['audioStream'].close()
f = wave.open(audio_file, 'wb')
f.setnchannels(1)
f.setsampwidth(2)
f.setframerate(16000)
f.setnframes(0)
f.writeframesraw(audio_stream)
f.close()
6 Cognito
Lexへアクセスする権限は、CognitoのプールIDに最小限のパーミッションを設定して使用しています。
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"Lex:PostContent"
],
"Resource": "arn:aws:lex:ap-northeast-1:*:bot:OrderFlowers_jaJP:$LATEST"
}
]
}
# -*- coding: utf-8 -*-
"""
CognitoのPoolIdでSessionを取得する
"""
import boto3
from boto3.session import Session
def createSession(poolId, region):
client = boto3.client('cognito-identity', region)
resp = client.get_id(IdentityPoolId = poolId)
identityId = client.get_credentials_for_identity(IdentityId=resp['IdentityId'])
secretKey = identityId['Credentials']['SecretKey']
accessKey = identityId['Credentials']['AccessKeyId']
token = identityId['Credentials']['SessionToken']
return boto3.Session(aws_access_key_id = accessKey, aws_secret_access_key = secretKey, aws_session_token = token)
7 最後に
マイクの入力レベルで、発話の終わりを検出するようにすれば、いちいちスイッチを押さなくていいのですが・・・ちょっと安定させるのが難しかったので、とりあえずスイッチでやってみました。この後、スイッチ無しもやってみたいと考えています。
RasPi上の全てのコードは、下記に置きました。
https://github.com/furuya02/LexClient_made_with_RasPI
8 参考にさせて頂いたリンク
Github amazon-pollexy/lex/
[Amazon Lex] HTML+JavaScriptでLexクライアントを作ってみました（音声対応）
