YouDub-webui
是 YouDub
项目的网页交互版本,基于 Gradio
构建,为用户提供简易操作界面来访问和使用 YouDub
的强大功能。YouDub
是一个开创性的开源工具,旨在将 YouTube 和其他平台上的高质量视频翻译和配音成中文版本。该工具结合了最新的 AI 技术,包括语音识别、大型语言模型翻译,以及 AI 声音克隆技术,提供与原视频相似的中文配音,为中文用户提供卓越的观看体验。
YouDub-webui
适用于多种场景,包括教育、娱乐和专业翻译,特别适合那些希望将国外优秀视频内容本地化的用户。此工具的简洁界面使得即使是非技术用户也能轻松上手,实现视频的快速中文化处理。
了解更多关于 YouDub-webui
的信息和示例,请访问我们的 bilibili 视频主页。为了更好地服务社区,我们也设立了微信群组,欢迎通过扫描下方的二维码加入我们,共同探讨和贡献于 YouDub-webui
的发展。
当然,我将重新撰写 YouDub-webui
的主要特点部分。
YouDub-webui
融合了多项先进技术,提供了一套完整的视频中文化工具包,其主要特点包括:
YouDub-webui
的情况下,将视频上传到 Bilibili 平台,实现一键式的视频中文化处理。YouDub-webui
的这些特点使其成为一个强大且易于使用的视频中文化工具,无论是个人用户还是专业团队,都能从中受益。
为了使用 YouDub-webui
,请遵循以下步骤来安装和配置您的环境:
首先,克隆 YouDub-webui
仓库到您的本地系统:
git clone https://github.com/liuzhao1225/YouDub-webui.git
您可以选择自动安装或手动安装依赖:
YouDub-webui
目录,运行 setup_windows
脚本。venv
虚拟环境,并自动安装所需依赖,包括 CUDA 12.1 版本的 PyTorch。YouDub-webui
目录,使用以下命令安装依赖:
cd YouDub-webui
pip install -r requirements.txt
requirements.txt
,需要手动安装:
pip install TTS
在运行前,请配置环境变量:
.env.example
改名为 .env
并填入以下环境变量:
OPENAI_API_KEY
: OpenAI API 密钥,格式通常为 sk-xxx
。MODEL_NAME
: 模型名称,如 'gpt-4' 或 'gpt-3.5-turbo'。OPENAI_API_BASE
: OpenAI API 基础 URL,如果使用自己部署的模型,请填入。HF_TOKEN
: Hugging Face token,用于 speaker diarization 功能。HF_ENDPOINT
: 如果从 huggingface
下载模型时出错,可以添加此环境变量。APPID
和 ACCESS_TOKEN
: 火山引擎 TTS 所需的凭据。BILI_BASE64
: Bilibili API 所需的凭据。获取方法请参考 bilibili-toolman 准备凭据。选择以下任一方式运行程序:
YouDub-webui
目录下运行 run_windows.bat
。python app.py
此界面是一个一站式的解决方案,它将执行从视频下载到视频合成的所有步骤。
此界面用于单独下载视频。
此界面用于从视频中分离人声。
此界面用于从视频音频中进行语音识别。
此界面用于将识别出的语音转换为字幕并翻译。
此界面用于将翻译后的文字转换为语音。
此界面用于将视频、字幕和语音合成为最终视频。
我们的 AI 语音识别功能现在基于 WhisperX 实现。WhisperX 是一个高效的语音识别系统,建立在 OpenAI 开发的 Whisper 系统之上。它不仅能够精确地将语音转换为文本,还能自动对齐时间,并识别每句话的说话人物。这种先进的处理方式不仅提高了处理速度和准确度,还为用户提供了更丰富的信息,例如说话者的识别。
我们的翻译功能继续使用 OpenAI API 提供的各种模型,包括官方的 GPT 模型。同时,我们也在利用诸如 api-for-open-llm 这样的项目,这使我们能够更灵活地整合和利用不同的大型语言模型进行翻译工作,确保翻译质量和效率。
在声音克隆方面,我们已经转向使用 Coqui AI TTS。同时,对于单一说话人的情况,我们采用了火山引擎进行 TTS,以获得更优质的音质。火山引擎的高级技术能够生成极其自然且流畅的语音,适用于各种应用场景,提升了最终产品的整体质量。
在视频处理方面,我们依然强调音视频的同步处理。我们的目标是确保音频与视频画面的完美对齐,并生成准确的字幕,从而为用户提供一个无缝且沉浸式的观看体验。我们的处理流程和技术确保了视频内容的高质量和观看的连贯性。
欢迎对 YouDub-webui
进行贡献。您可以通过 GitHub Issues 或 Pull Request 提交改进建议或报告问题。
YouDub-webui
遵循 Apache License 2.0。使用本工具时,请确保遵守相关的法律和规定,包括版权法、数据保护法和隐私法。未经原始内容创作者和/或版权所有者许可,请勿使用此工具。
如需帮助或有任何疑问,请通过 GitHub Issues 联系我们。 加入我们的Discord服务器进行讨论和获取支持:Discord服务器 你也可以加入我们的微信群,扫描下方的二维码即可: