四个软件三个步骤搭建本地知识库
发布于 2026-06-10
670
版权声明
我们非常重视原创文章,为尊重知识产权并避免潜在的版权问题,我们在此提供文章的摘要供您初步了解。如果您想要查阅更为详尽的内容,访问作者的公众号页面获取完整文章。
麦哲思科技任甲林
扫码关注公众号
扫码阅读
手机扫码阅读
文章主旨:
本文详细指导如何利用开源工具(Ollama、BGE-M3、Qwen2.5、AnythingLLM)在本地搭建一套完全离线、免费的RAG知识库系统,实现基于私有文档的智能问答,并强调原始资料质量是系统有效性的基石。
关键要点:
- RAG系统由四个核心组件组成:AnythingLLM(编排框架)、BGE-M3(嵌入模型)、Qwen2.5(大语言模型)、Ollama(模型运行引擎),缺一不可。
- BGE-M3是中文嵌入模型的优选,支持多语言、长上下文(8192 token)和多种检索策略,避免跨语言混淆。
- Qwen2.5(7B参数)是本地部署最佳中文LLM之一,支持128K上下文,开源免费,适合普通硬件。
- 搭建流程包括安装Ollama、下载bge-m3和qwen2.5模型、安装AnythingLLM、配置嵌入模型和对话模型、创建工作区并上传文档。
- 参数调优(文本块大小512-1024、重叠50-100、相似度阈值0.5、Top K 4-6)影响检索效果,修改后需重新上传文档。
内容结构:
- 引言:指出企业历史资料的价值,引出RAG系统的本地化解决方案。
- 系统架构:用表格展示四个组件的角色和职责,强调Ollama作为模型运行引擎的必要性。
- 组件选型理由:
- AnythingLLM(开箱即用、多格式支持、本地优先、工作区隔离)。
- BGE-M3(多语言性、多粒度性、多功能性)。
- Qwen2.5(中文原生、超长上下文、开源免费、轻量可选)。
- Ollama(统一管理、硬件适配、API兼容、轻量高效)。
- 完整搭建流程(Mac OS):
- 安装Ollama并下载bge-m3和qwen2.5模型。
- 安装AnythingLLM。
- 配置嵌入模型(必须用bge-m3,不能用LLM替代)和对话模型(qwen2.5)。
- 创建工作区,上传文档。
- 参数调优指南:表格列出文本块大小、重叠、相似度阈值、Top K的推荐值和调优方向,并提醒修改后需重新上传文档。
- 结论:强调工具系统的“智商”依赖于原始资料的质量,避免“垃圾进,垃圾出”。
文章总结:
本文是一份实用的本地RAG系统搭建指南,强调组件选型、配置细节和资料质量的重要性,适合希望安全、低成本地利用私有文档进行智能问答的用户。
麦哲思科技任甲林
麦哲思科技任甲林
扫码关注公众号
麦哲思科技(北京)有限公司总经理 敏捷性能合弄模型评估师 认证的Scrum Master 认证的大规模敏捷顾问SPC CMMI高成熟度主任评估师 COSMIC MPC,IAC 成员,中国分部主席
471 篇文章
浏览 927.6K
还在用多套工具管项目?
一个平台搞定产品、项目、质量与效能,告别整合之苦,实现全流程闭环。
查看方案
麦哲思科技任甲林的其他文章
案例:客观比较年度改进效果
年底将至,很多公司会做年底总结,比较今年的质量、效率等各方面与去年的变化,怎么比较呢?计算比较年度的平均值是常见的做法,但是比较平均值有2个突出的缺点: 1 平均值容易受到极大值或极小值的影响,可能不能代表整体的变化趋势; 2 平均值是一个单点值,看不到整体的变异范围。 因此我们需要更科学的方法比较年度的改进效果,这个利器就是箱线图。 如某公司积累了最近三年的缺陷及时修复
为谁而活
我最近在反思人生存的目的,后来在和朋友的一次聊天中,总结了如下结论,从最根本上来讲,人活着就2个目的: 1 为自己而活。 最常见的是一些社会精英,这一类的人往往高举着为事业而奋斗,为理想而奋斗的旗号,抛家舍业,劳苦工作,其实,他们是为自己而活,是为了让自己快乐而活,实现了自己的价值,他们很高兴,很快乐,古语讲:一将功成万骨枯,得到的是自己快乐,而丧失了其他的很多东西。 2 为孩子而活。 世
《敏捷估计与规划》读书笔记
CH1-1 策划过程比计划书更重要。CH1-2 必须做计划,但是不必过度投入时间。CH1-3 对瀑布模型的不确定性锥:CH1-4 PMI认为的估算偏差率:初步估算,order of magnitude estimate, 误差范围+75%到-25%;预算估算,budgetary estimate, 误差范围+25%到-10%;确定性估算,definitive est...
职业的程序员与业余程序员
(1)职业的程序员设计的时间长于编码的时间,业余程序员编码的时间长于设计的时间; (2)职业的程序员是设计程序,业余程序员是调试程序; (3)职业的程序员是预防BUG,业余程序员是修改BUG; (4)职业的程序员无论何时都能读懂自己的代码,业务程序员总是读不懂自己的10天前的代码; (5)职业的程序员总能读懂别人的代码,业余程序总是读不懂别人的代码; (6)职业的程序员习惯了读别人的代码,业余程序
豆包对伊朗与美国的交战水平的CMMI评级结果!
如果用CMMI评价一下美国与伊朗的作战水平,分别是什么级别呢?
加入社区微信群
与行业大咖零距离交流学习
PMO实践白皮书
白皮书上线
白皮书上线