luler 一、简介 该工具是一个可以把将视频从一种语言翻译为另一种语言,同时支持语音识别转录、字幕翻译、语音合成 目前默认支持英文视频转录成中文视频(可以扩展更多语言) 提供Gradio图形界面,操作简单便捷 支持Docker快速部署启用 开源代码地址参考:https://github.com/luler/hello_video_dubbing 以下是这个工具的系统架构图 二、安装 准备一台主机,至少为2H4G的配置,可以是纯CPU,也可以配置GPU加速(可选) 提前安装好Docker、docker-compose软件运行环境 拉取项目代码 git clone https://github.com/luler/hello_video_dubbing.git 进入代码目录,编辑docker-compose.yml,配置内容参考如下 version: '3' services: hello_video_dubbing: image: ghcr.io/luler/hello_video_dubbing:latest # build: # context: . # dockerfile: Dockerfile restart: always ports: - 17860:7860 #查看主机端口17860是否被占用,占用则修改为其他 volumes: - .:/app 复制默认参考配置.env.example为.env,按需要修改相关配置 #翻译类型,默认是 google,可选 openai,选openai时需要配置openai接口兼容的模型服务 TRANSLATE_TYPE=google # 大语言模型翻译配置,当TRANSLATE_TYPE=openai才需要设置 OPENAI_BASE_URL=https://api.openai.com/v1 OPENAI_API_KEY=sk-xxx OPENAI_MODEL=gpt-xx #设置代理,如果主机在国内需要设置代理,因为白嫖的google翻译、tts语音服务只能外部网络可用 #http_proxy=http://127.0.0.1:10808 #https_proxy=http://127.0.0.1:10808 配置完成,可以直接执行如下命令启动服务,镜像拉取可能比较缓慢,请自行配置加速 docker-compose up -d 执行完成,查看服务是否正常运行,参考下图 三、使用 安装部署完成,可以访问地址:http://server_ip:17860/,可以看到一个gradio搭建的可视化界面,如下 接下来就是非常简单的操作了,点击上传视频、选择处理类型、提交处理 系统后台处理完成,实时输出处理日志,最终输出处理完毕的结果 四、总结 这是一个简易的视频语言转录工具,方便将视频从一种语言翻译为另一种语言,有助于目标语言用户观看、学习和理解视频内容 运行部署要求低,CPU/GPU均可运行,支持Docker快速部署启动 配置简单、低依赖,翻译、配音等组件均采用免费方案,也支持通过大语言模型来优化翻译结果(建议) 提供gradio可视化操作界面,可以远程在线使用