主要目的
提升Coding能力,掌握一项比较实用的技术。同时也为后续可能存在的场景大模型训练打下基础
预期目标(希望能一两个月内完成)
了解训练用框架:pytorch-lighting
了解训练用框架:accelerate
了解训练用框架:DeepSpeed
了解推理框架:TensorRT
了解推理框架:onnx
整理DreamScene的代码,重构&精简。
GUI可能需要暂时搁置(可能的解决方案:基于Konva.js计算参数配置,使用FastAPI或Gradio本身构建后端交互服务,可能会需要比较多的前后端交互设计。但是如果能做出一个Demo其实是很有用的)
GPT-SoVITS的内网穿透websocket后端+公网后端,目前不太能实现并发,等待队列也很粗暴,而且推理速度有点太慢了。(需要进一步优化快速推理分支,目前来看似乎暂时有点缺乏维护)
可能需要探索一下其他的TTS方法的训练,改善推理稳定性&加快速度,减少吞字多字的问题。
LiteLoaderQQNT-TTS的改进。(可能需要借助大模型的帮助了,看看如何实现动态配置等操作。(其实可以做个在线的配置加载服务?借助自定义协议功能什么的(这部分可以参考installer的实现。)
Comments | NOTHING