数字人实践教程
本教程主要是讲如何在本地UE部署Fay数字人的开源框架。
最终效果可以与人进行自然语言的对话,花了大概10个h的时间到,踩了很多坑,同样想实现的朋友可以作为参考
参考文档:Fay 数字人开源框架 - 飞书云文档
官方的教程已经讲的相对详细了,我在官方教程的基础上补充几点。
主流程
一、环境安装
1、下载安装 python 3.12
访问: https://www.python.org/downloads/release
2、安装 python 3.12
这里必须是python3.12,我试过python3.13会遇见很多错误,如果你有能力解决就当我没说~~
3、下载 Visual Studio 2019 Installer(windows)
下载地址:https://learn.microsoft.com/zh-cn/visualstudio/releases/2019/release-notes
4、Visual Studio 2019 安装(windows)
二、工程下载
1、工程下载
2、解压到当前目录
3、安装运行依赖库
在安装依赖库之前需要把仓库中的gevent改成23.9.1或23.10.1,不然会出现依赖报错。(截止今天25.3.7)版本
选中导行栏输入“cmd”回车,在命令提示符窗口输入”pip install -r requirements.txt”回车,等待安装完成
4、 安装启动funasr
1、进入Fay/asr/funasr代码目录
2、安装依赖
在终端或cmd中分别执行以下命令
pip install torch
pip install modelscope
pip install testresources
pip install websockets
pip install torchaudio
pip install FunASR
3、终端或cmd启动funasr服务端(保持启动)
python -u ASR_server.py --host "0.0.0.0" --port 10197 --ngpu 0
三、控制器运行
在启动Fay之前需要配置一些东西:
1. 阿里元的服务秘钥
选择开通并购买,前3个月免费智能语音交互_语音识别系统_自然语言处理-阿里云
选择试用立即开通
点击全部项目
复制项目功能配置后面的appKey
很重要,之后要填入配置文件。
然后点击后面的
点击我以及知晓,然后使用云账号
接下来创建key,通过手机号验证
让后就是复制AccessKeyID
以及AccessKey Secret
里面的字符串。
找到项目中的system.conf
文件,然后填入刚刚我们申请的ID,Key和secret。
2.本地大模型下载
打开ollama官网:Ollama Search,先傻瓜式安装软件。
然后选择模型
在本地启动命令行,并在命令行输入命令
ollama run deepseek-r1:1.5b
3.启动Fay
1)、进入Fay根代码目录
2)、运行命令
在终端或者cmd运行命令并回车
python main.py
3)、访问管理
浏览器访问 http://127.0.0.1:5000
四、接入虚幻
写到这没啥时间了,把上面完成之后基本打开虚幻运行就可以了。下次有时间在把虚幻的补上~~
虚幻就主要是插件不好找以及插件收费的问题了。
github源码仓库:https://github.com/xszyou/Fay
UE5工程请git仓库里面找,里面有他们的百度网盘链接。