博鱼体育- 博鱼体育官方网站- 最新网址RAG技术演进的四大核心命题

　　博鱼,博鱼体育,博鱼官方网站,博鱼体育登录入口,博鱼体育官方平台,博鱼中国官方网站,博鱼官网,博鱼体育登录入口,博鱼体育官网,博鱼体育下载,博鱼体育平台,博鱼app下载,博鱼注册网址,博鱼官方网站

　　自2022年11月30日OpenAI发布ChatGPT-3.5以来，预训练大模型技术开启了指数级发展进程。这一革新热潮在2023年3月至4月达到阶段性高峰：阿里通义千问和百度文心一言等国内头部企业相继发布自主训练的大模型，正式宣告人工智能领域迈入大模型驱动的新纪元。尤其值得注意的是，2025年1-3月期间DeepSeek-R1和QwQ-32B推理大模型的开源举措，进一步加速了技术的进程。回顾过去两年间，大模型技术在金融、医疗、教育、客服等垂直领域实现深度渗透，尤其是在智能问答服务领域的突破性进展，通过大模型理解与推理能力的融合，实现了用户服务体验的指数级跃迁。

　　接下来看下RAG的发展趋势，从市场份额看，Menlo Partners（门罗的合作伙伴）在2024年11月20日发布的市场调研报告[3]显示，他们调查了600名美国企业IT决策者，这些企业员工人数均在50人以上，覆盖了广泛的行业和应用场景。数据显示，今年企业AI设计模式（用于构建高效、可扩展AI系统的标准化架构）正在快速发展。2024年，RAG（检索增强生成）目前占据主导地位，采用率为51%，较去年的31%大幅上升。与此同时，经常被吹捧的微调（Fine-tuning）和RLHF（Reinforcement Learning from Human Feedback），尤其是在领先的应用提供商中，采用率仍然较低，分别只有9%和5%。

　　尽管检索增强生成（RAG）技术通过外部信息注入显著拓宽了大型语言模型( LLM )的认知维度，但该技术框架在关键决策场景下的缺陷也日益凸显。实证数据显示初期，小二智能辅助Copilot面临用户信任度危机的核心根源，在于其LLM输出结果存在显著缺陷，虽然内容检索准确率达到83%，但最终LLM生成答案的精准度仅为66%（两者间形成17pt的可信度断层）。这种信息处理链路中的质量衰减效应，在售后服务问答场景，这种要求高度确定性的领域将直接引发严重后果。针对该技术瓶颈，我们通过系统性梳理RAG技术全链路，提炼出制约RAG效果的核心挑战：

　　作为RAG系统的核心基础设施，知识库的构建直接决定知识检索与生成的质量边界。前期，我们重点根据文档结构进行提供预分好段落的chunk语料（structure hierarchical），但这远远不足让模型获得更加深层次的信息，也是造成模型生成幻觉的重要原因之一。后期，我们更加聚焦真实业务场景中的复杂挑战：多模态数据格式的解析、跨chunk显式和隐式关系建模（超链接/引用/章节关联）以及业务专家隐性知识的结构化挖掘等。通过构建分层知识图谱（Graph），我们开始实现从简单文本/语义检索，到复杂逻辑检索的维度突破。

　　RAG Diagnoser的核心目标是成为RAG链路优化的“后盾”。它通过对模型输出的每个环节进行深入剖析，帮助团队快速识别问题根源，并制定针对性的改进策略。具体来说，这套体系具备三大功能：支持细粒度评估、识别性能瓶颈以及指导迭代优化。为了实现这些目标，第一步，我们先对用户Query进行了细致分类。在评估RAG时对问题进行分类这种模式在之前的工作中也不鲜见，例如阿里NLP团队提出的CoFE-RAG从通用RAG的视角将Query拆分成了Factual, Analytical, Comparative, Tutorial四类[4]。在RAG Diagnoser中，Query的不同类别会影响后文提及的原子事实的定义和检查方式。我们从对客RAG和智能辅助的实际应用的角度出发，经过多轮迭代标注和分析，构建了一套符合自身业务特点的Query分类体系，涵盖以下主要类别：

　　第三步，为了实现细粒度评估，我们引入了“原子事实”这一概念，作为评估的基础单元。所谓原子事实，是指在RAG链路诊断过程中能够被单独分析、不可进一步拆分的具体且可验证的事实或结论。这一概念的灵感借鉴了亚马逊RAG-Checker[5]和经典RAG评测框架RAGAS[6]中的claims。例如对于以下句子：“尼罗河是一条向北流的大河，位于非洲东北部。它最终流入地中海。”可以提取出3条原子事实：尼罗河是一条北流的大河、尼罗河位于非洲东北部和尼罗河流入地中海。在我们的场景中，原子事实并不是固定的定义，而是根据业务特点进行了定制化设计。通过原子事实化，我们可以清晰地判断模型是否遗漏了某个关键信息，或者是否违背了某项事实。相比传统端到端的评估方法，这种细粒度的方式更能揭示问题的本质。