扫码阅读
手机扫码阅读

Datawhale出品:《GLM-4 大模型部署微调教程》发布!

92 2024-09-29

我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。

查看原文:Datawhale出品:《GLM-4 大模型部署微调教程》发布!
文章来源:
Datawhale
扫码关注公众号

Datawhale开源贡献摘要

开源贡献:Datawhale self-llm团队近日关注到智谱AI发布的GLM4模型,该模型使用了10T多语言数据,并应用了先进的训练技术,在仅有9B参数的情况下,在多个任务上表现出色。

教程介绍

Datawhale团队秉持开源精神,在模型发布后迅速编写了GLM-4的教学流程,涉及模型API部署、Langchain接入、WebDemo部署、vLLM部署和LoRA高效指令微调等内容。为了方便学习者操作,教程提供了训练数据与AutoDL环境镜像。教程和相关资源可以在Datawhale的官方GitHub项目地址找到。

教程内容抽取

教程中的LoRA微调部分详细介绍了通过分析子词嵌入模板来构造微调数据,确保嵌入对应。使用PEFT工具进行低秩转换层的指定,以开启LoRA微调,并展示了微调效果。

项目介绍

《开源大模型食用指南》是专门为中国学习者设计的教程,提供全流程指导,简化开源大模型的部署和使用流程。项目支持多个开源模型的教程,全部代码开源,并提供示例数据和环境镜像。目前项目在GitHub上获得了显著的关注。

文章最后

教程的制作团队由于时间和精力限制,可能存在疏漏。团队欢迎学习者提供反馈和直接对项目做出贡献,以提升教程内容的质量。

想要了解更多内容?

查看原文:Datawhale出品:《GLM-4 大模型部署微调教程》发布!
文章来源:
Datawhale
扫码关注公众号