【学习目标安排与记录】多机多卡训练&快速推理&个人项目优化


主要目的

提升Coding能力,掌握一项比较实用的技术。同时也为后续可能存在的场景大模型训练打下基础

预期目标(希望能一两个月内完成)

了解训练用框架:pytorch-lighting
了解训练用框架:accelerate
了解训练用框架:DeepSpeed
了解推理框架:TensorRT
了解推理框架:onnx

整理DreamScene的代码,重构&精简。

GUI可能需要暂时搁置(可能的解决方案:基于Konva.js计算参数配置,使用FastAPI或Gradio本身构建后端交互服务,可能会需要比较多的前后端交互设计。但是如果能做出一个Demo其实是很有用的)

GPT-SoVITS的内网穿透websocket后端+公网后端,目前不太能实现并发,等待队列也很粗暴,而且推理速度有点太慢了。(需要进一步优化快速推理分支,目前来看似乎暂时有点缺乏维护)
可能需要探索一下其他的TTS方法的训练,改善推理稳定性&加快速度,减少吞字多字的问题。

LiteLoaderQQNT-TTS的改进。(可能需要借助大模型的帮助了,看看如何实现动态配置等操作。(其实可以做个在线的配置加载服务?借助自定义协议功能什么的(这部分可以参考installer的实现。)

学习记录(持续更新)

声明:烈火灼冰|版权所有,违者必究|如未注明,均为原创|本网站采用BY-NC-SA协议进行授权

转载:转载请注明原文链接 - 【学习目标安排与记录】多机多卡训练&快速推理&个人项目优化


离离沐雪踏轻尘