一个高自由度的端到端的可定制AI-VTuber。
支持对接哔哩哔哩直播间,以智谱API作为语言基座模型,拥有意图识别、长短期记忆(直接记忆和联想记忆),支持搭建认知库、歌曲作品库,接入了当前热门的一些语音转换、语音合成、图像生成、数字人驱动项目,并提供了一个便于操作的客户端。
做虚拟直播吗?
项目简介(推荐优先看)
本项目旨在实现一个高自由度的可定制AI-VTuber。支持对接哔哩哔哩直播间,以智谱API作为语言基座模型,拥有意图识别、长短期记忆(直接记忆和联想记忆),支持搭建认知库、歌曲作品库,接入了当前热门的一些语音转换、语音合成、图像生成、数字人驱动项目,并提供了一个便于操作的客户端。本项目特色:
1.本项目对于本地显卡的要求并不高,能正常运行stable-diffusion的电脑基本都能安心食用本项目。
2.本项目占地面积可能会比较大(完整部署后大约20多g,还不算第三方项目),主要是因为虚拟环境体积比较大,日后会着手解决该问题。
3.本项目内置miniconda3管理虚拟环境,便于用户自行扩展第三方模块。
4.本项目提供了一个可视化的客户端(基于streamlit框架构建),支持:环境管理、虚拟主播定制、扩展项目自启动、一些实用的小工具、直播后端监听、图数据库编辑等操作。
5.本项目提供了对于so-vits-svc4.1项目的训练-推理一条龙服务。
6.本项目提供了一个后端API服务器,支持通过get/post请求获得本项目绝大多数服务。
7.本项目支持虚拟主播模板构建、多人设模板管理、实时切换虚拟主播模板等操作。
8.当前版本中,本项目对接的开源项目包括:so-vits-svc4.1(语音转换)、GPT-Sovits(语音合成)、UVR5(人声分离)、fast-whisper(语音识别)、stable-diffusion-webui(图像生成)、stable-diffusion-comfyui、easyaivtuber(数字人驱动)、rembg(背景扣除)
9.本项目提供的实用小工具包括:视频/音频爬虫、语音识别、人声分离、语音合成、语音转换、AI画画、图片去背景。
10.本项目通过构建角色提示词模板、基于知识图谱查询的认知/作品知识库、基于向量数据库的知识库查询构建AI虚拟主播人设(技术实现可以去看作者的语雀文档或者博客)。