【python实战】批改作业小助手，科大讯飞的语音听写
1.背景
郑老师每次改学生的口语作业，都要从手机里下载下学生的音频，再倒腾进讯飞听见的app，再将转录结果倒腾进电脑上，逐字逐句地给学生反馈。
整个过程很机械，虽然一次时间短，但每次加起来的时间就长了。
所以，想着直接在电脑上直接转录就行。
2.思路
搜了一下网上的语音识别API，尝试了IBM的Speech to Text，以为识别英文会更好，但结果和人耳识别的差别较大，可能是自己参数设置不对吧。倒腾了一通后，反正最后还是回到了科大讯飞。
整个思路过程就是：
1.将文件夹下所有的音频文件（m4a, mp3, mav）转为科大讯飞语音听写（流式版）要求的音频格式(pcm)；
2.将各个符合要求的音频格式转录后导出各自的txt；
3.删掉中转音频；
3.过程
1.音频批量转换格式
网上搜到，FFmpeg是比较好且常用的音频视频处理开源软件，可以下载下来，再通过python代码调用FFmpeg将音频批量处理了。
首先，安装ffmpeg
下载地址：https://ffmpeg.zeranoe.com/builds/，根据电脑系统情况下载相应版本。
ffmpeg下载.png
PS：用chrome浏览器下载的时候，特别慢，而且容易中断，后来搜网上，看到说，可以试试换个浏览器，就换成世界之窗浏览器后，一下子就下载好了。
解压后的内容：
下载后的ffmpeg.png
其次，将其中的bin文件夹，加到系统环境变量path中
添加方式：以win10为例，
①右键此电脑——属性——左侧的高级系统设置，打开了环境变量，双击下面的系统变量（S）里的Path
系统变量path.png
②点击新建，将bin文件夹所在路径写入（例如，C:\Users\Ressia\Downloads\ffmpeg-20200315-c467328-win64-static\bin），然后一路点击确定。
③确认是否安装成功：win下，按win键+R，输入cmd，再输入ffmpeg，如果出现如下界面，表明安装成功了。
安装成功ffmpeg.png
最后，写python代码批量转换：
import os
# 获取所有原音频
def get_all_audio(path):
all_file=os.listdir(path)
source_file=[]
for i in all_file:
if ('m4a' in i) or ('wav' in i) or ('mp3' in i):
source_file.append(i)
return source_file
# 所有原音频转为.pcm文件
def transfer_to_pcm(source_file):
for s in source_file:
name=s[:-4]
os.system('ffmpeg -loglevel error -y -i '+path+'\\\\'+s+' '+'-acodec pcm_s16le -f s16le -ac 1 -ar 16000 '+path+'\\\\'+name+'.pcm')
path='音频所在目录'
source_file=get_all_audio(path)
transfer_to_pcm(source_file)
2.语音听写导出txt
将音频转为符合要求的pcm格式之后，将这些pcm格式音频转录，分别存至txt中。
这里用的是科大讯飞的语音听写（流式版）WebAPI，这个接口是用于1分钟内的即时语音转文字技术，而郑老师的音频每个都在1分钟以内，正好满足需求~
①打开讯飞开放平台，注册-登录，然后，在控制台，创建应用，从而得到自己的语音听写（流式版）的APPID、APISecret以及APIKey。
讯飞api.png
②把能开通的高级功能都开通，转录后的效果会更好。
高级功能.png
③在语音听写（流式版）WebAPI 文档中，文档中详细解释了接口说明、接口Demo、接口要求、接口调用流程、错误码，调用示例，音频样例和常见问题；这里，下载调用示例：语音听写流式API demo python3语言。
python调用示例.png
④根据代码要求，安装好相应的多个第三方库，然后根据需求修改示例代码即可。
根据需求，先填写了APPID、APISecret以及APIKey信息；然后，修改了业务参数(business)，language改为‘en_us’；接着，修改# 收到websocket消息的处理中代码，将结果文本提取出来；并补充文本写入txt文件的代码。
注意：需要在控制台里将白名单关闭，不然，总是会出现403错误，这个让我找了半天原因，才搞好，差点因此放弃了。
3.删除中转音频
在demo代码中，加几行代码把中转的pcm文件删掉就行了。
整体代码如下：
# -*- coding:utf-8 -*-
import websocket
import datetime
import hashlib
import base64
import hmac
import json
from urllib.parse import urlencode
import time
import ssl
from wsgiref.handlers import format_date_time
from datetime import datetime
from time import mktime
import _thread as thread
import os
# 获取所有原音频
def get_all_audio(path):
all_file=os.listdir(path)
source_file=[]
for i in all_file:
if ('m4a' in i) or ('wav' in i) or ('mp3' in i):
source_file.append(i)
return source_file
# 所有原音频转为.pcm文件
def transfer_to_pcm(source_file):
for s in source_file:
name=s[:-4]
os.system('ffmpeg -loglevel error -y -i '+path+'\\\\'+s+' '+'-acodec pcm_s16le -f s16le -ac 1 -ar 16000 '+path+'\\\\'+name+'.pcm')
# print('完成音频转换为pcm文件:{}'.format(s))
STATUS_FIRST_FRAME = 0 # 第一帧的标识
STATUS_CONTINUE_FRAME = 1 # 中间帧标识
STATUS_LAST_FRAME = 2 # 最后一帧的标识
class Ws_Param(object):
# 初始化
def __init__(self, APPID, APIKey, APISecret, AudioFile):
self.APPID = APPID
self.APIKey = APIKey
self.APISecret = APISecret
self.AudioFile = AudioFile
# 公共参数(common)
self.CommonArgs = {"app_id": self.APPID}
# 业务参数(business)，更多个性化参数可在官网查看
self.BusinessArgs = {"domain": "iat", "language": "en_us","accent":"mandarin","vinfo":1,"vad_eos":10000}
# 生成url
def create_url(self):
url = 'wss://ws-api.xfyun.cn/v2/iat'
# 生成RFC1123格式的时间戳
now = datetime.now()
date = format_date_time(mktime(now.timetuple()))
# 拼接字符串
signature_origin = "host: " + "ws-api.xfyun.cn" + "\n"
signature_origin += "date: " + date + "\n"
signature_origin += "GET " + "/v2/iat " + "HTTP/1.1"
# 进行hmac-sha256进行加密
signature_sha = hmac.new(self.APISecret.encode('utf-8'), signature_origin.encode('utf-8'),
digestmod=hashlib.sha256).digest()
signature_sha = base64.b64encode(signature_sha).decode(encoding='utf-8')
authorization_origin = "api_key=\"%s\", algorithm=\"%s\", headers=\"%s\", signature=\"%s\"" % (
self.APIKey, "hmac-sha256", "host date request-line", signature_sha)
authorization = base64.b64encode(authorization_origin.encode('utf-8')).decode(encoding='utf-8')
# 将请求的鉴权参数组合为字典
v = {
"authorization": authorization,
"date": date,
"host": "ws-api.xfyun.cn"
}
# 拼接鉴权参数，生成url
url = url + '?' + urlencode(v)
# print("date: ",date)
# print("v: ",v)
# 此处打印出建立连接时候的url,参考本demo的时候可取消上方打印的注释，比对相同参数时生成的url与自己代码生成的url是否一致
# print('websocket url :', url)
return url
# 收到websocket消息的处理
def on_message(ws, message):
try:
code = json.loads(message)["code"]
sid = json.loads(message)["sid"]
if code != 0:
errMsg = json.loads(message)["message"]
print("sid:%s call error:%s code is:%s" % (sid, errMsg, code))
else:
data = json.loads(message)["data"]["result"]["ws"]
# print(json.loads(message))
global result,txt
result = ""
for i in data:
for w in i["cw"]:
result += w["w"]
txt+=result
# print(txt)
# print("sid:%s call success!,data is:%s" % (sid, json.dumps(data, ensure_ascii=False)))
except Exception as e:
print("receive msg,but parse exception:", e)
return txt
# 收到websocket错误的处理
def on_error(ws, error):
print("### error:", error)
# 收到websocket关闭的处理
def on_close(ws):
print("### close ###")
# 收到websocket连接建立的处理
def on_open(ws):
def run(*args):
frameSize = 8000 # 每一帧的音频大小
intervel = 0.04 # 发送音频间隔(单位:s)
status = STATUS_FIRST_FRAME # 音频的状态信息，标识音频是第一帧，还是中间帧、最后一帧
with open(wsParam.AudioFile, "rb") as fp:
while True:
buf = fp.read(frameSize)
# 文件结束
if not buf:
status = STATUS_LAST_FRAME
# 第一帧处理
# 发送第一帧音频，带business 参数
# appid 必须带上，只需第一帧发送
if status == STATUS_FIRST_FRAME:
d = {"common": wsParam.CommonArgs,
"business": wsParam.BusinessArgs,
"data": {"status": 0, "format": "audio/L16;rate=16000",
"audio": str(base64.b64encode(buf), 'utf-8'),
"encoding": "raw"}}
d = json.dumps(d)
ws.send(d)
status = STATUS_CONTINUE_FRAME
# 中间帧处理
elif status == STATUS_CONTINUE_FRAME:
d = {"data": {"status": 1, "format": "audio/L16;rate=16000",
"audio": str(base64.b64encode(buf), 'utf-8'),
"encoding": "raw"}}
ws.send(json.dumps(d))
# 最后一帧处理
elif status == STATUS_LAST_FRAME:
d = {"data": {"status": 2, "format": "audio/L16;rate=16000",
"audio": str(base64.b64encode(buf), 'utf-8'),
"encoding": "raw"}}
ws.send(json.dumps(d))
time.sleep(1)
break
# 模拟音频采样间隔
time.sleep(intervel)
ws.close()
thread.start_new_thread(run, ())
if __name__ == "__main__":
path=os.path.normpath(os.getcwd())
source_file=get_all_audio(path)
transfer_to_pcm(source_file)
print('共需要转换{}个音频'.format(len(source_file)))
for i,n in enumerate(source_file):
audio_name=n[:-4]
to_audio=path+'\\'+audio_name+'.pcm'
# 测试时候在此处正确填写相关信息即可运行
print('开始第{}个音频转换文本:{}'.format(i+1,n))
time1 = datetime.now()
# print(time1)
txt=""
wsParam = Ws_Param(APPID='自己的APPID', APIKey='自己的APIKey',
APISecret='自己的APISecret',
AudioFile=to_audio)
websocket.enableTrace(False)
wsUrl = wsParam.create_url()
ws = websocket.WebSocketApp(wsUrl, on_message=on_message, on_error=on_error, on_close=on_close)
ws.on_open = on_open
ws.run_forever(sslopt={"cert_reqs": ssl.CERT_NONE})
# 写入文件
audiotxt_name=path+'\\'+audio_name+'.txt'
audiotxt=open(audiotxt_name,'w')
audiotxt.write(txt)
time2 = datetime.now()
# print(time2)
print('完成第{}个音频转换文本:{}；用时:{}'.format(i+1,n,time2-time1))
audiotxt.close()
# 删除pcm文件
if os.path.exists(to_audio):
os.remove(to_audio)
# print('中转文件已删除：{}'.format(to_audio))
4.最后
将上述.py文件放置音频所在文件，运行该文件就可将所有音频转录为文本了。
中间还折腾了一下，
因为该demo测试时运行的环境为：Windows + Python3.7，
而我把这个在windows系统下运行得很好的文件，弄到郑老师那边的mac os系统下，
就经历了一番在mac下安装ffmpeg、python3.8、各种安装第三方库的问题，
好在最后坚持下来，通过看反馈回来的错误信息，解决了所有问题。
在郑老师那边的mac os系统也能很好的运行了，
这下，郑老师就可以一键转录所有音频了，不用一个一个地倒腾了~
