随着企业越来越多地转向对话式 AI 来提高生产力和用户体验，构建有效的检索增强生成 (RAG)管道对于利用组织知识至关重要。在 Dataiku，我们一直在密切倾听客户的意见，我们的许多最新产品更新旨在简化 RAG 工作流程，使其更简单、更快速、更灵活地开发和维护。
在这篇博客中，我们将向您介绍我们预构建的 RAG 组件的最新增强功能 — 这些工具已经帮助数百名客户在创纪录的时间内创建了可用于生产的问答应用程序。从更智能的文本分块到高效的知识库更新，再到对更多向量存储的支持，这里有您需要了解的有关 AI 构建者的最新动态和未来发展的所有信息！
可交付成果的预构建 RAG 组件
Dataiku 的预构建组件套件（文本提取、嵌入工具、与流行矢量存储的集成以及随时可用的前端聊天界面）使得部署由 RAG 驱动的应用程序变得非常容易。
以Dataiku Answers为例。近 100 家组织已实施此打包功能，在短短几天内提供对话式问答系统，为数千名最终用户提供无缝的聊天体验。但早期的成功仅仅是个开始。随着客户处理更复杂的用例，他们告诉我们他们接下来需要什么。以下是我们交付的方式。
1. 更灵活、更能控制文本分块
文本分块对于传统 RAG 方法至关重要。有效的分块旨在将长文本分解成更小、更有意义的部分，以减少不必要的“噪音”，并使其足够简洁以适合 LLM 的上下文窗口，同时仍然足够强大以保留准确检索和响应所需的 波兰电话号码数据 精确和相关信息。良好的分块策略可确保关键信息不会丢失，并且不会出现句子中间被切断或忽略章节标题的情况。
新功能：我们在准备配方中添加了“分块” 处理器，其中包含用于自定义分块过程的高级选项。您可以配置块大小和重叠、指定分隔符、以交互方式可视化结果，并在嵌入之前应用其他处理步骤。例如，您可能希望过滤掉太小而无用的块。借助这个点击式、无代码处理器，团队中的任何人都可以轻松修改分块过程以满足您的用例需求。
分割块处理器 Dataiku
2. 更智能的知识库更新
许多 RAG 用例涉及长期且缓慢演变的文档集，例如财务报告、研究论文或法律文件。每次重建整个知识库既昂贵又耗时。
新功能：借助附加、智能同步和更新插入等智能更新模式，您现在可以仅更新已更改的文档，或逐步添加到知识库中。这意味着您可以避免重新处理未更改的数据，从而降低嵌入成本并减少延迟。