Fine-tune the Whisper speech recognition model to support training without timestamp data, training with timestamp data, and training without speech data. Accelerate inference and support Web deployment, Windows desktop deployment, and Android deployment
APACHE-2.0 License
简体中文 | English
OpenAI在开源了号称其英文语音辨识能力已达到人类水准的Whisper项目,且它亦支持其它98种语言的自动语音辨识。Whisper所提供的自动语音识与翻译任务,它们能将各种语言的语音变成文本,也能将这些文本翻译成英文。本项目主要的目的是为了对Whisper模型使用Lora进行微调,支持无时间戳数据训练,有时间戳数据训练、无语音数据训练。目前开源了好几个模型,具体可以在openai查看,下面列出了常用的几个模型。另外项目最后还支持CTranslate2加速推理和GGML加速推理,提示一下,加速推理支持直接使用Whisper原模型转换,并不一定需要微调。支持Windows桌面应用,Android应用和服务器部署。
欢迎大家扫码入知识星球(左)或者QQ群(右)讨论,知识星球里面提供项目的模型文件和博主其他相关项目的模型文件,也包括其他一些资源。
使用环境:
aishell.py
:制作AIShell训练数据。finetune.py
:微调模型。merge_lora.py
:合并Whisper和Lora的模型。evaluation.py
:评估使用微调后的模型或者Whisper原模型。infer.py
:使用调用微调后的模型或者transformers上的Whisper模型预测。infer_ct2.py
:使用转换为CTranslate2的模型预测,主要参考这个程序用法。infer_gui.py
:有GUI界面操作,使用调用微调后的模型或者transformers上的Whisper模型预测。infer_server.py
:使用调用微调后的模型或者transformers上的Whisper模型部署到服务器端,提供给客户端调用。convert-ggml.py
:转换模型为GGML格式模型,给Android应用或者Windows应用使用。AndroidDemo
:该目录存放的是部署模型到Android的源码。WhisperDesktop
:该目录存放的是Windows桌面应用的程序。使用模型 | 指定语言 | aishell_test | test_net | test_meeting | 粤语测试集 | 模型获取 |
---|---|---|---|---|---|---|
whisper-tiny | Chinese | 0.31898 | 0.40482 | 0.75332 | N/A | 加入知识星球获取 |
whisper-base | Chinese | 0.22196 | 0.30404 | 0.50378 | N/A | 加入知识星球获取 |
whisper-small | Chinese | 0.13897 | 0.18417 | 0.31154 | N/A | 加入知识星球获取 |
whisper-medium | Chinese | 0.09538 | 0.13591 | 0.26669 | N/A | 加入知识星球获取 |
whisper-large | Chinese | 0.08969 | 0.12933 | 0.23439 | N/A | 加入知识星球获取 |
whisper-large-v2 | Chinese | 0.08817 | 0.12332 | 0.26547 | N/A | 加入知识星球获取 |
whisper-large-v3 | Chinese | 0.08086 | 0.11452 | 0.19878 | 0.18782 | 加入知识星球获取 |
使用模型 | 指定语言 | 数据集 | aishell_test | test_net | test_meeting | 粤语测试集 | 模型获取 |
---|---|---|---|---|---|---|---|
whisper-tiny | Chinese | AIShell | 0.13043 | 0.4463 | 0.57728 | N/A | 加入知识星球获取 |
whisper-base | Chinese | AIShell | 0.08999 | 0.33089 | 0.40713 | N/A | 加入知识星球获取 |
whisper-small | Chinese | AIShell | 0.05452 | 0.19831 | 0.24229 | N/A | 加入知识星球获取 |
whisper-medium | Chinese | AIShell | 0.03681 | 0.13073 | 0.16939 | N/A | 加入知识星球获取 |
whisper-large-v2 | Chinese | AIShell | 0.03139 | 0.12201 | 0.15776 | N/A | 加入知识星球获取 |
whisper-large-v3 | Chinese | AIShell | 0.03660 | 0.09835 | 0.13706 | 0.20060 | 加入知识星球获取 |
whisper-large-v3 | Cantonese | 粤语数据集 | 0.06857 | 0.11369 | 0.17452 | 0.03524 | 加入知识星球获取 |
whisper-tiny | Chinese | WenetSpeech | 0.17711 | 0.24783 | 0.39226 | N/A | 加入知识星球获取 |
whisper-base | Chinese | WenetSpeech | 0.14548 | 0.17747 | 0.30590 | N/A | 加入知识星球获取 |
whisper-small | Chinese | WenetSpeech | 0.08484 | 0.11801 | 0.23471 | N/A | 加入知识星球获取 |
whisper-medium | Chinese | WenetSpeech | 0.05861 | 0.08794 | 0.19486 | N/A | 加入知识星球获取 |
whisper-large-v2 | Chinese | WenetSpeech | 0.05443 | 0.08367 | 0.19087 | N/A | 加入知识星球获取 |
whisper-large-v3 | Chinese | WenetSpeech | 0.04947 | 0.10711 | 0.17429 | 0.47431 | 加入知识星球获取 |
test_long.wav
,时长为3分钟整,测试程序在tools/run_compute.sh
。加速方式 | tiny | base | small | medium | large-v2 | large-v3 |
---|---|---|---|---|---|---|
Transformers (fp16 + batch_size=16 ) |
1.458s | 1.671s | 2.331s | 11.071s | 4.779s | 12.826s |
Transformers (fp16 + batch_size=16 + Compile ) |
1.477s | 1.675s | 2.357s | 11.003s | 4.799s | 12.643s |
Transformers (fp16 + batch_size=16 + BetterTransformer ) |
1.461s | 1.676s | 2.301s | 11.062s | 4.608s | 12.505s |
Transformers (fp16 + batch_size=16 + Flash Attention 2 ) |
1.436s | 1.630s | 2.258s | 10.533s | 4.344s | 11.651s |
Transformers (fp16 + batch_size=16 + Compile + BetterTransformer ) |
1.442s | 1.686s | 2.277s | 11.000s | 4.543s | 12.592s |
Transformers (fp16 + batch_size=16 + Compile + Flash Attention 2 ) |
1.409s | 1.643s | 2.220s | 10.390s | 4.377s | 11.703s |
Faster Whisper (fp16 + beam_size=1 ) |
2.179s | 1.492s | 2.327s | 3.752s | 5.677s | 31.541s |
Faster Whisper (8-bit + beam_size=1 ) |
2.609s | 1.728s | 2.744s | 4.688s | 6.571s | 29.307s |
数据列表处理方式 | AiShell | WenetSpeech |
---|---|---|
添加标点符号 | 加入知识星球获取 | 加入知识星球获取 |
添加标点符号和时间戳 | 加入知识星球获取 | 加入知识星球获取 |
重要说明:
aishell_test
为AIShell的测试集,test_net
和test_meeting
为WenetSpeech的测试集。dataset/test_long.wav
,时长为3分钟整。conda install pytorch==2.1.0 torchvision==0.16.0 torchaudio==2.1.0 pytorch-cuda=11.8 -c pytorch -c nvidia
sudo docker pull pytorch/pytorch:2.1.0-cuda11.8-cudnn8-devel
然后进入到镜像中,同时将当前路径挂载到容器的/workspace
目录下。
sudo nvidia-docker run --name pytorch -it -v $PWD:/workspace pytorch/pytorch:2.1.0-cuda11.8-cudnn8-devel /bin/bash
python -m pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
python -m pip install https://github.com/jllllll/bitsandbytes-windows-webui/releases/download/wheels/bitsandbytes-0.41.2.post2-py3-none-win_amd64.whl
训练的数据集如下,是一个jsonlines的数据列表,也就是每一行都是一个JSON数据,数据格式如下。本项目提供了一个制作AIShell数据集的程序aishell.py
,执行这个程序可以自动下载并生成如下列格式的训练集和测试集,注意: 这个程序可以通过指定AIShell的压缩文件来跳过下载过程的,如果直接下载会非常慢,可以使用一些如迅雷等下载器下载该数据集,然后通过参数--filepath
指定下载的压缩文件路径,如/home/test/data_aishell.tgz
。
小提示:
sentences
字段的数据。language
字段数据。sentences
字段为[]
,sentence
字段为""
,language
字段可以不存在。{
"audio": {
"path": "dataset/0.wav"
},
"sentence": "近几年,不但我用书给女儿压岁,也劝说亲朋不要给女儿压岁钱,而改送压岁书。",
"language": "Chinese",
"sentences": [
{
"start": 0,
"end": 1.4,
"text": "近几年,"
},
{
"start": 1.42,
"end": 8.4,
"text": "不但我用书给女儿压岁,也劝说亲朋不要给女儿压岁钱,而改送压岁书。"
}
],
"duration": 7.37
}
准备好数据之后,就可以开始微调模型了。训练最重要的两个参数分别是,--base_model
指定微调的Whisper模型,这个参数值需要在HuggingFace存在的,这个不需要提前下载,启动训练时可以自动下载,当然也可以提前下载,那么--base_model
指定就是路径,同时--local_files_only
设置为True。第二个--output_path
是是训练时保存的Lora检查点路径,因为我们使用Lora来微调模型。如果想存足够的话,最好将--use_8bit
设置为False,这样训练速度快很多。其他更多的参数请查看这个程序。
单卡训练命令如下,Windows系统可以不添加CUDA_VISIBLE_DEVICES
参数。
CUDA_VISIBLE_DEVICES=0 python finetune.py --base_model=openai/whisper-tiny --output_dir=output/
多卡训练有两种方法,分别是torchrun和accelerate,开发者可以根据自己的习惯使用对应的方式。
--nproc_per_node
指定使用的显卡数量。torchrun --nproc_per_node=2 finetune.py --base_model=openai/whisper-tiny --output_dir=output/
首先配置训练参数,过程是让开发者回答几个问题,基本都是默认就可以,但有几个参数需要看实际情况设置。
accelerate config
大概过程就是这样:
--------------------------------------------------------------------In which compute environment are you running?
This machine
--------------------------------------------------------------------Which type of machine are you using?
multi-GPU
How many different machines will you use (use more than 1 for multi-node training)? [1]:
Do you wish to optimize your script with torch dynamo?[yes/NO]:
Do you want to use DeepSpeed? [yes/NO]:
Do you want to use FullyShardedDataParallel? [yes/NO]:
Do you want to use Megatron-LM ? [yes/NO]:
How many GPU(s) should be used for distributed training? [1]:2
What GPU(s) (by id) should be used for training on this machine as a comma-seperated list? [all]:
--------------------------------------------------------------------Do you wish to use FP16 or BF16 (mixed precision)?
fp16
accelerate configuration saved at /home/test/.cache/huggingface/accelerate/default_config.yaml
配置完成之后,可以使用以下命令查看配置。
accelerate env
开始训练命令如下。
accelerate launch finetune.py --base_model=openai/whisper-tiny --output_dir=output/
输出日志如下:
{'loss': 0.9098, 'learning_rate': 0.000999046843662503, 'epoch': 0.01}
{'loss': 0.5898, 'learning_rate': 0.0009970611012927184, 'epoch': 0.01}
{'loss': 0.5583, 'learning_rate': 0.0009950753589229333, 'epoch': 0.02}
{'loss': 0.5469, 'learning_rate': 0.0009930896165531485, 'epoch': 0.02}
{'loss': 0.5959, 'learning_rate': 0.0009911038741833634, 'epoch': 0.03}
微调完成之后会有两个模型,第一个是Whisper基础模型,第二个是Lora模型,需要把这两个模型合并之后才能之后的操作。这个程序只需要传递两个参数,--lora_model
指定的是训练结束后保存的Lora模型路径,其实就是检查点文件夹路径,第二个--output_dir
是合并后模型的保存目录。
python merge_lora.py --lora_model=output/whisper-tiny/checkpoint-best/ --output_dir=models/
执行以下程序进行评估模型,最重要的两个参数分别是。第一个--model_path
指定的是合并后的模型路径,同时也支持直接使用Whisper原模型,例如直接指定openai/whisper-large-v2
,第二个是--metric
指定的是评估方法,例如有字错率cer
和词错率wer
。提示: 没有微调的模型,可能输出带有标点符号,影响准确率。其他更多的参数请查看这个程序。
python evaluation.py --model_path=models/whisper-tiny-finetune --metric=cer
执行以下程序进行语音识别,这个使用transformers直接调用微调后的模型或者Whisper原模型预测,支持Pytorch2.0的编译器加速、FlashAttention2加速、BetterTransformer加速。第一个--audio_path
参数指定的是要预测的音频路径。第二个--model_path
指定的是合并后的模型路径,同时也支持直接使用Whisper原模型,例如直接指定openai/whisper-large-v2
。其他更多的参数请查看这个程序。
python infer.py --audio_path=dataset/test.wav --model_path=models/whisper-tiny-finetune
--model_path
指定Transformers模型。其他更多的参数请查看这个程序。
python infer_gui.py --model_path=models/whisper-tiny-finetune
启动后界面如下:
--host
指定服务启动的地址,这里设置为0.0.0.0
,即任何地址都可以访问。--port
指定使用的端口号。--model_path
指定的Transformers模型。--num_workers
指定是使用多少个线程并发推理,这在Web部署上很重要,当有多个并发访问是可以同时推理。其他更多的参数请查看这个程序。
python infer_server.py --host=0.0.0.0 --port=5000 --model_path=models/whisper-tiny-finetune --num_workers=2
目前提供识别接口/recognition
,接口参数如下。
字段 | 是否必须 | 类型 | 默认值 | 说明 |
---|---|---|---|---|
audio | 是 | File | 要识别的音频文件 | |
to_simple | 否 | int | 1 | 是否繁体转简体 |
remove_pun | 否 | int | 0 | 是否移除标点符号 |
task | 否 | String | transcribe | 识别任务类型,支持transcribe和translate |
language | 否 | String | zh | 设置语言,简写,如果为None则自动检测语言 |
返回结果:
字段 | 类型 | 说明 |
---|---|---|
results | list | 分割的识别结果 |
+result | str | 每片分隔的文本结果 |
+start | int | 每片分隔的开始时间,单位秒 |
+end | int | 每片分隔的结束时间,单位秒 |
code | int | 错误码,0即为成功识别 |
示例如下:
{
"results": [
{
"result": "近几年,不但我用书给女儿压碎,也全说亲朋不要给女儿压碎钱,而改送压碎书。",
"start": 0,
"end": 8
}
],
"code": 0
}
为了方便理解,这里提供了调用Web接口的Python代码,下面的是/recognition
的调用方式。
import requests
response = requests.post(url="http://127.0.0.1:5000/recognition",
files=[("audio", ("test.wav", open("dataset/test.wav", 'rb'), 'audio/wav'))],
json={"to_simple": 1, "remove_pun": 0, "language": "zh", "task": "transcribe"}, timeout=20)
print(response.text)
提供的测试页面如下:
首页http://127.0.0.1:5000/
的页面如下:
文档页面http://127.0.0.1:5000/docs
的页面如下:
这里提供了一个CTranslate2加速的方式,尽管使用Transformers的pipeline推理速度已经很快了,首先要转换模型,把合并后的模型转换为CTranslate2模型。如下命令,--model
参数指定的是合并后的模型路径,同时也支持直接使用Whisper原模型,例如直接指定openai/whisper-large-v2
。--output_dir
参数指定的是转换后的CTranslate2模型路径,--quantization
参数指定的是量化模型大小,不希望量化模型的可以直接去掉这个参数。
ct2-transformers-converter --model models/whisper-tiny-finetune --output_dir models/whisper-tiny-finetune-ct2 --copy_files tokenizer.json preprocessor_config.json --quantization float16
执行以下程序进行语音识别,--audio_path
参数指定的是要预测的音频路径。--model_path
指定的是转换后的CTranslate2模型。其他更多的参数请查看这个程序。
python infer_ct2.py --audio_path=dataset/test.wav --model_path=models/whisper-tiny-finetune-ct2
输出结果如下:
----------- Configuration Arguments -----------
audio_path: dataset/test.wav
model_path: models/whisper-tiny-finetune-ct2
language: zh
use_gpu: True
use_int8: False
beam_size: 10
num_workers: 1
vad_filter: False
local_files_only: True
------------------------------------------------
[0.0 - 8.0]:近几年,不但我用书给女儿压碎,也全说亲朋不要给女儿压碎钱,而改送压碎书。
安装部署的源码在AndroidDemo目录下,具体文档可以到该目录下的README.md查看。
程序在WhisperDesktop目录下,具体文档可以到该目录下的README.md查看。