一个人工智能模块通过向另一个模块提供答案来伪造了管道86%的准确性收益

构建检索增强生成（RAG）系统是为了严格根据其检索到的文档进行回答。但当工程师端到端优化这些人工智能管道时，阅读器模块可以学到一条捷径：它不再依赖检索到的证据，而是开始从自己的内部存储器中进行回答，而系统的整体准确性不断攀升。这是“角色漂移”的隐藏挑战，这是复合人工智能系统中的一种失败模式，即使端到端性能有所提高，各个模块也会学会绕过分配的任务。 为了解决这个问题，麻省理工学院和哈佛大学的研究人员引入了 角色锚 这是一种迫使模块在训练过程中保持在车道上的技术。当应用时，该技术减轻了角色漂移。例如，它迫使RAG阅读器依赖于检索到的证据，而不是基于其内部知识进行回答。 从业者的主要收获是，端到端的准确性本身就可以夸大复合人工智能系统真正学到的东西。工程师必须评估各个组件，并确保它们按预期工作。 在优化多步LLM管道时，Role Anchor既可以作为护栏，也可以作为诊断工具。它对于需要模块之间严格分工的真实世界AI应用程序至关重要。 复合LLM系统将复杂任务划分为专业模块。例如，为多跳推理而设计的系统可能会在“分解器”和“求解器”之间拆分任务。分解器将一个大问题分解为可管理的子任务，而求解器则计算这些子问题的答案。这种分工允许人工智能工程师将执行任务委托给更小、更便宜的模型，并使可能并行处理子任务。 为了提高人工智能管道的性能，工程师通常会使用端到端对其进行优化 强化学习 (RL)由单一的“最终奖励”引导。这意味着系统将根据最终答案是否为

注：以上内容摘选自原始新闻，点击「访问原文」查看完整内容。