RAG创始人关于RAG Agent的10个思考(上)

文章主旨：作者结合 RAG 创始人 Douwe Kiela 分享的五个教训与自身实践，强调 RAG 系统整体优化与专业化数据处理比单纯提升 LLM 模型能力更具落地价值。

关键要点：

• 更好的 LLM 不是唯一答案，RAG 系统整体效果（提取、检索、生成、优化）比单一模型更重要，通过数据格式化、多路召回、提示词工程可显著提升准确率。
• 企业内部专业知识是 AI 驱动价值的核心燃料，通用大模型难以获取特殊的领域知识，须利用自有数据构建差异化壁垒。
• 企业规模带来的独特数据是护城河，真实数据往往带有噪声，应让 AI 适应噪声而非花大量时间清洗。
• 试点与生产之间存在巨大鸿沟，需提前考虑规模化后的索引速度、召回效率等问题，不能只关注小体量表现。
• 速度比完美更重要，应尽早交付不完美的系统给用户，通过快速迭代和反馈爬山，并在试点阶段兼顾系统设计的可扩展性。

内容结构：

教训一：更好的 LLM 不是（唯一）答案

• 原话：LLM 仅占 RAG 系统约 20%，优良 RAG + 普通 LLM 可能优于顶尖 LLM + 糟糕 RAG。
• 实践：优化前准确率低于 50%，通过数据格式化（Markdown）、清洗无效标签、多路召回（向量+关键词）、重排、提示词工程（限定知识范围、Few-Shot）后准确率超 80%，使用成本更低的 GPT-4o mini 效果最佳。

教训二：专业知识是你的燃料

• 原话：企业内部积累的专业知识是驱动 AI 产生价值的核心燃料。
• 实践：某学校利用自有教材与独特教学方法构建 AI 私人教师 RAG 系统，成为其行业壁垒，通用大模型无法获得此类领域知识。

教训三：企业规模是你的护城河

• 原话：核心竞争力在于独特数据，挑战在于大规模利用嘈杂的真实数据。
• 实践：初期数据清洗工作量大，推广阶段发现大量数据带有噪声，与其浪费时间清洗，不如让 AI 适应已有的噪声数据。

教训四：试点与生产之间的鸿沟总是比预想的要大

• 原话：小规模试点容易，扩展至生产面临海量文档、多用户、高安全等挑战。
• 实践：50 个文档数据召回率好，但企业实际数据量大、文件大小不一，规模化后索引和召回速度成问题，需在试点阶段就考虑规模化方案。

教训五：速度比完美更重要

• 原话：尽早交付不完美系统给用户，快速迭代爬山，而非一次性设计完美方案。
• 实践：某 AI 教师项目先选单一问题（数学、语文、自然科学），小规模（5M 数据、20 人）用 1 个月验证，再扩充到 200M、300 人用 2 个月多次 UAT，后续再优化模型与吞吐量。快速交付与用户参与是关键。

文章总结：本文以实践案例验证了 RAG 系统落地应重视整体架构、专业数据、规模适应性与快速迭代，而非单纯追求最新模型。

你做的产品，为什么不受欢迎？ ——IPD（集成产品开发）模式下的产品研发揭秘

了解更多

Bruce Talk

查看原文：RAG创始人关于RAG Agent的10个思考(上)

文章来源：

Bruce Talk

扫码关注公众号