基于PaddlePaddle实现端到端中文语音识别,从入门到实战,超简单的入门案例,超实用的企业项目。支持当前最流行的DeepSpeech2、Conformer、Squeezeformer模型
APACHE-2.0 License
本项目将分三个阶段分支,分别是入门级 、进阶级 和最终级 分支,当前为最终级的V2版本,如果想使用最终级的V1版本,请在这个分支r1.x。PPASR中文名称PaddlePaddle中文语音识别(PaddlePaddle Automatic Speech Recognition),是一款基于PaddlePaddle实现的语音识别框架,PPASR致力于简单,实用的语音识别项目。可部署在服务器,Nvidia Jetson设备,未来还计划支持Android等移动设备。别忘了star
欢迎大家扫码入知识星球或者QQ群讨论,知识星球里面提供项目的模型文件和博主其他相关项目的模型文件,也包括其他一些资源。
2. 在线使用Dome
3. inscode
本项目使用的环境:
deepspeech2
、conformer
、squeezeformer
,efficient_conformer
,每个模型都支持流式识别和非流式识别,在配置文件中streaming
参数设置。ctc_beam_search
和贪心解码器ctc_greedy
,集束搜索解码器ctc_beam_search
准确率更高。这里介绍如何使用PPASR快速进行语音识别,前提是要安装PPASR,文档请看快速安装。执行过程不需要手动下载模型,全部自动完成。
from ppasr.predict import PPASRPredictor
predictor = PPASRPredictor(model_tag='conformer_streaming_fbank_wenetspeech')
wav_path = 'dataset/test.wav'
result = predictor.predict(audio_data=wav_path, use_pun=False)
score, text = result['score'], result['text']
print(f"识别结果: {text}, 得分: {int(score)}")
from ppasr.predict import PPASRPredictor
predictor = PPASRPredictor(model_tag='conformer_streaming_fbank_wenetspeech')
wav_path = 'dataset/test_long.wav'
result = predictor.predict_long(audio_data=wav_path, use_pun=False)
score, text = result['score'], result['text']
print(f"识别结果: {text}, 得分: {score}")
import time
import wave
from ppasr.predict import PPASRPredictor
predictor = PPASRPredictor(model_tag='conformer_streaming_fbank_wenetspeech')
# 识别间隔时间
interval_time = 0.5
CHUNK = int(16000 * interval_time)
# 读取数据
wav_path = 'dataset/test.wav'
wf = wave.open(wav_path, 'rb')
data = wf.readframes(CHUNK)
# 播放
while data != b'':
start = time.time()
d = wf.readframes(CHUNK)
result = predictor.predict_stream(audio_data=data, use_pun=False, is_end=d == b'')
data = d
if result is None: continue
score, text = result['score'], result['text']
print(f"【实时结果】:消耗时间:{int((time.time() - start) * 1000)}ms, 识别结果: {text}, 得分: {int(score)}")
# 重置流式识别
predictor.reset_stream()
使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集字错率 | 下载地址 |
---|---|---|---|---|---|
conformer | True | fbank | 普通话 | 0.03579(aishell_test)0.11081(test_net)0.16031(test_meeting) | 加入知识星球获取 |
deepspeech2 | True | fbank | 普通话 | 0.05379(aishell_test) | 加入知识星球获取 |
使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集字错率 | 下载地址 |
---|---|---|---|---|---|
conformere | True | fbank | 普通话 | 0.02923(aishell_test)0.11876(test_net)0.18346(test_meeting) | 加入知识星球获取 |
使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集字错率 | 下载地址 |
---|---|---|---|---|---|
squeezeformer | True | fbank | 普通话 | 0.04675 | 加入知识星球获取 |
conformer | True | fbank | 普通话 | 0.04178 | 加入知识星球获取 |
efficient_conformer | True | fbank | 普通话 | 0.04143 | 加入知识星球获取 |
deepspeech2 | True | fbank | 普通话 | 0.09732 | 加入知识星球获取 |
使用模型 | 是否为流式 | 预处理方式 | 语言 | 测试集词错率 | 下载地址 |
---|---|---|---|---|---|
squeezeformer | True | fbank | 英文 | 0.13033 | 加入知识星球获取 |
conformer | True | fbank | 英文 | 0.08109 | 加入知识星球获取 |
efficient_conformer | True | fbank | 英文 | 加入知识星球获取 | |
deepspeech2 | True | fbank | 英文 | 0.15294 | 加入知识星球获取 |
说明:
eval.py
程序并使用集束搜索解码ctc_beam_search
方法计算得到的。export_model.py
导出预测模型。streaming
参数设置。有问题欢迎提 issue 交流