趋境科技的KTransformers与LLaMA-Factory的集成，为微调千亿模型提供低成本、高效方案。该方案支持LoRA微调，仅需少量GPU资源，显存占用41GB，内存2T即可实现46.55 token/s的吞吐量。操作简便，支持消费级显卡，如4090。在性能测试中，KTransformers在吞吐速度和显存占用方面优于传统方案，降低创新门槛，提高研发效率。
免责声明：凡本站未注明来源为"暗传播"的所有作品，均转载、编译或摘编自其它媒体，转载、编译或摘编的目的在于传递更多信息，并不代表本站赞同其观点和对其真实性负责。如因作品内容、版权和其他问题，请与我们联系。
