技术博客
卡罗琳·布迪埃、克里斯蒂娜·萧、费雯·陈天
您是否曾尝试过从一份长达 300 页的财务 10-K 报告或一份充斥着细则的冗长法律合同中快速获得答案？这并不容易！对于许多组织来说，处理此类海量文件只是日常工作的一部分。虽然它们包含关键信息，但其庞大的规模对人类和大型语言模型(LLM) 都构成了挑战。
在生成式人工智能和法学硕士 (LLM) 快速发展的时代，出现了两种分析或从大型文档中提取见解的主要方法：利用扩展上下文窗口或使用检索增强生成 (RAG)。最近，一位在采购环 巴西 WhatsApp 号码列表 境中处理法律文件和工作说明的数据科学家告诉我们，在使用 RAG 管道之前，他总是首先尝试使他的 GenAI 用例与长上下文提示一起工作，即使文档有十几页。这就引出了一个问题：随着上下文窗口的迅速扩展，RAG 会过时吗？
将整个文档直接输入具有巨大上下文窗口的模型的吸引力是不可否认的，因为它减少了对复杂的提示工程和数据预处理工作流程的需求。然而，RAG 方法是一种强大且经过验证的技术，它策略性地选择相关的文本部分来通知模型的响应。因此，组织在处理这些类型的长文档时需要仔细考虑每种方法的优势和局限性。在本博客中，我们将探讨这两种方法的含义、它们之间的比较以及它们对企业 AI 应用程序的意义。