生成(Generation)：这是一个精准度导向的步骤
Posted: Mon Jan 06, 2025 4:20 am
它筛选检索到的各种数据，过滤它，并产生最终响应内容。 鉴于“路由”和“检索”的分类性质，微调它们相对顺畅：我们构建了开发测试集，并使用提示词工程和内部模型进行优化。 然而，“生成”则是一个完全不同的故事。它遵循80/20法则；很快可以达到80%的准确度，但剩下的20%却耗费了我们大部分人的所有工作时间。
当你的产品期望99%以上的答案都非常出色时，即使使用最先进的模型，每一个%的进步也仍然需要大量的工作和创造力。 对我们而言好使的招数是： 固定的三步流程 用小模型干路由/检索，用大模型干生成 基于内 芬兰电话号码数据 存数据库的EBR（Embedding-Based Retrieval (EBR) ），直接将响应示例注入到我们的提示词中（穷人版微调）。
（注：EBR是个技术名词，感兴趣的自己再查吧。） 在路由和检索过程中针对每个步骤做特定评估 2. 开发速度 我们希望多个团队并行快速推进，因此决定将任务拆分为由不同人员开发的独立智能体（即AI智能体）：岗位评估、理解公司、帖子要点提取等智能体分别由不同团队负责。 这种方法带来了显著的不良影响（compromise）。
当你的产品期望99%以上的答案都非常出色时，即使使用最先进的模型，每一个%的进步也仍然需要大量的工作和创造力。 对我们而言好使的招数是： 固定的三步流程 用小模型干路由/检索，用大模型干生成 基于内 芬兰电话号码数据 存数据库的EBR（Embedding-Based Retrieval (EBR) ），直接将响应示例注入到我们的提示词中（穷人版微调）。
（注：EBR是个技术名词，感兴趣的自己再查吧。） 在路由和检索过程中针对每个步骤做特定评估 2. 开发速度 我们希望多个团队并行快速推进，因此决定将任务拆分为由不同人员开发的独立智能体（即AI智能体）：岗位评估、理解公司、帖子要点提取等智能体分别由不同团队负责。 这种方法带来了显著的不良影响（compromise）。