阿里云部署 ChatGLM2-6B 与 langchain+ChatGLM

发布于 2024-07-21
2469
版权声明

我们非常重视原创文章，为尊重知识产权并避免潜在的版权问题，我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容，访问作者的公众号页面获取完整文章。

查看原文：阿里云部署 ChatGLM2-6B 与 langchain+ChatGLM
文章来源：
BUG弄潮儿
扫码关注公众号
扫码阅读
手机扫码阅读

摘要

ChatGLM2-6B 部署

部署 ChatGLM2-6B 模型的过程开始于更新系统和安装 Git，紧接着克隆 ChatGLM2-6B 的源码和模型文件。在安装了必须的依赖之后，需要修改模型路径指向本地模型文件夹。最后，通过运行 web_demo.py 脚本启动服务。

langchain+chatGLM 部署

langchain-ChatGLM 的部署包括克隆其源码和相关的模型文件夹。在安装所需依赖后，进行配置文件的修改，包括指向本地的 text2vec 模型路径、ChatGLM2-6B 模型路径，以及开启 8bit 模型的量化加载。如果在启动服务时遇到缺少依赖的错误，需安装缺失的依赖包。最终通过运行 webui.py 脚本来启动服务。

BUG弄潮儿

查看原文：阿里云部署 ChatGLM2-6B 与 langchain+ChatGLM
文章来源：
BUG弄潮儿
扫码关注公众号
相关推荐
运维排查篇 | Linux 连接跟踪表满了怎么处理
2539
nf_conntrack bucket 连接 entry
Linux 跟踪连接表满了怎么办？
既然测试也要求写代码，那干脆让开发兼任测试不就好了吗？
2291
【温馨提示】由于公众号更改了推送规则，不再按照?
【SpringSecurity系列（二十七）】Swagger中怎么处理认证问题？
1557
。
C#字符串拼接你用的是哪种方式？
2046
方式 a. StringBuilder 拼接
今天（2021-11-02）在查看代码复盘的时候，看到字符串拼接这一块，突然福如心至，回忆起用过的几种字符串拼接方式。\x0a\x0a然后百度简单梳理一下，看一看你用过哪种，如有其他方式，可以在评论区聊聊用用。
你还记得数据库三范式吗？
2003
范式 数据库 主键 第二
第一范式(1NF)：第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。
SqlServer触发器的创建与使用
1736
触发器 发器 执行 语句
触发器（Trigger）是针对某个表或视图所编写的特殊存储过程，它不能被显式地调用，\x0a而是当该表或视图中的数据发生添加INSERT、更新UPDATE或删除DELETE等事件时自动被执行。\x0a主要作用是实现由主键和外键所不能保证的复杂的....
BUG弄潮儿

多年开发经验，专注软件开发、架构；推送 微服务，分布式，Spring全家桶，Redis，Linux，Nginx等技术，欢迎一起学习、探讨。

105 篇文章
浏览 194.5K

还在用多套工具管项目？

一个平台搞定产品、项目、质量与效能，告别整合之苦，实现全流程闭环。

查看方案
BUG弄潮儿的其他文章
标准&有效的项目开发流程
代码版本管理在项目中，代码的版本管理非常重要。每个需求版本的代码开发在版本控制里都应该经过以下几个步骤。在m
JNI：如何操作数组
1. 数组的分类数组分为两种基本数据类型的数组对象类型（Object[]）的数组一个能通用于两种不同数据类型
JNI：全局引用&局部引用&弱全局引用
从Java虚拟机创建的对象传到本地 C/C++ 代码时就会产生引用。根据Java的垃圾回收机制，只要有引用存
Springboot 之 HandlerMethodReturnValueHandler 运用
Springboot 之 HandlerMethodReturnValueHandler 运用
Windows 下 JNA 调用动态链接库 dll
1. 创建动态链接库项目创建jnaTest项目下一步中填写项目名称和存储的目录；然后直接创建即可创建结果2.
随机阅读
如何有效改进回顾会议（下）？
08-21
敏捷史话（十七）：维基（Wiki）背后的灵感来源—— Ward Cunningham
08-21
暴露阻碍还是让他“顺利”的流动
08-22
如何写产品规划报告？
08-19
如何把B端项目产品化？
07-15
加入社区微信群
与行业大咖零距离交流学习
PMO实践白皮书
白皮书上线
去下载