治理的概念远不止简单的数据治理
Posted: Sun Feb 16, 2025 4:45 am
鉴于上述挑战，组织投入到构建现代 AI 平台的精力不应该花在拼凑整个生命周期的工具上，这最终会导致失去整个数据管道的全局观（更不用说增加技术债务了）。此外，如上所述，另一种点解决方案路线对于企业来说根本不可扩展。
相反，投资一个端到端的人工智能平台（包括生成式人工智能），涵盖整个生命周期，从原始数据的提取到 ETL、从模型构建到这些模型和人工智能系统的操作化，再到这些系统的监控和治理，可以提供：
1. 通过重复使用节省成本
在一个地方查看 AI 流程有助于整个组织重复使用和利用数据。例如，分析师已经清理和准备的数据可供其他业务部门的数据科学家使用，从而避免重复工作，并最终从大规模 AI 中获得更多投资回报。对于任何旨在扩展其 AI 战略的组织来说，将重复使用和利用的概念根植于其结构中都至关重要。
图 4：整个组织的资本化和重用是什么样子，利用大型基石用例的部分内容来支持数百个较小的用例，而几乎不产生额外的边际成本。
图 4：整个组织的资本化和重用是什么样子，利用大型基石用例的部分内容来支持数百个较小的用例，而几乎不产生额外的边际成本。
2. 专注于实施高影响力技术
像Dataiku这样的端到端 AI 平台充当着一个集中的抽象层，使 IT 和架构团队能够专注于底层技术的持续、飞速发展，从而使整个组织受益，而不是专注于维护跨业务部门处理数据的数十种不同工具之间的相互作用。
此外，Dataiku 的愿景始终是提供一个平台，使组织能够快速将机器学习和人工智能领域的新创新集成到其企业技术堆栈和业务流程中。现代生成式人工智能和法学硕士的出现完全符合最初的愿景——Dataiku 包括与 OpenAI、Azure、AWS 和 Hugging Face 等领先的生成式人工智能提供商的集成。借助 Dataiku 的模型和提供商中立方法，团队可以利用最新和最好的生成式人工智能技术。
3. 顺畅的治理和监控
对于大多数组织而言，——它涵盖了企业为降低运营风险和监管原因而必须实施的所有控制措施和相关流程。拥有一个集中式工具可以简化降低民主化带来的 AI 风险的工作。
此外，具有自定义治理流程灵活性的集中式平台有助于系统地实施 AI 项目的运营工作流程。通过提供必要的基础和简化、透明的流程，让您能够在监督下快速调整策略，这可以加快为《欧盟 AI 法案》和其他法规变化做好准备。
监控的情况也类似，主要通过 MLOps 系统完成。MLOps需要集成到企业更大的 DevOps 战略中，以弥合传统 CI/CD 与现代机器学习之间的差距。这意味着系统从根本上是互补的，并且允许 DevOps 团队自动化机器学习测试，就像他们可以自动化传统软件测试一样。随着 LLMOps 的出现以管理 LLM 的复杂性，它带来了独特的挑战，例如用于衡量 LLM 响应质量的专门指标，以及用于动态交换 AI 模型服务的新流程，以及随着更好的服务出现而为生产应用程序提供支持的技术。这些复杂性使得将 LLMOps 与现有的 MLOps 实践相结合以简化部署、健康监测和模型管理至关重要。使用一个端到端平台（如 Dataiku）可以（并且简单地）实现这种级别的自动化。当在整个生命周期中使用多种工具时，它很快就会变得混乱。
4. 结合其他选项的最佳元素
对于几乎所有组织来说，投资人工智能平台都是最好的选择，原因很简单，它允许他们采取其他三种可能路径的最佳方面，同时解决他们的缺点。
借助平台：
服务提供商仍然可以提供人员增补，在平台上工作，以确保他们的交付成 俄罗斯电话号码数据 果在合作结束后得到利用和维护。
当点解决方案为特定应用程序提供增量效益时，就可以将其集成，同时维护所有 AI 计划的整体治理结构。
组织内技术含量高的建设者将看到他们的工作得到加速，同时使他们能够与其业务受益者进行更紧密的合作。
端到端风险
当然，投资一个端到端平台所带来的担忧是，组织会与单一供应商绑定。这是一个不容忽视的风险，风险不小——锁定是一个真正的考虑因素，因为公司会变得依赖于该供应商的路线图、决策等。
为此，重要的是投资开放且可扩展的端到端技术，使组织能够利用现有的底层数据架构，并在存储、计算、算法、语言、框架等方面投资一流的技术。例如，借助 Dataiku，组织可以通过LLM Mesh为给定应用程序选择正确的生成式 AI 模型，LLM Mesh 是一个通用主干，可提供公司使用 LLM 大规模构建安全应用程序所需的组件。例如，在作为服务提供的公共模型之间进行选择，或在自己的私有基础架构上运行开源模型。
相反，投资一个端到端的人工智能平台（包括生成式人工智能），涵盖整个生命周期，从原始数据的提取到 ETL、从模型构建到这些模型和人工智能系统的操作化，再到这些系统的监控和治理，可以提供：
1. 通过重复使用节省成本
在一个地方查看 AI 流程有助于整个组织重复使用和利用数据。例如，分析师已经清理和准备的数据可供其他业务部门的数据科学家使用，从而避免重复工作，并最终从大规模 AI 中获得更多投资回报。对于任何旨在扩展其 AI 战略的组织来说，将重复使用和利用的概念根植于其结构中都至关重要。
图 4：整个组织的资本化和重用是什么样子，利用大型基石用例的部分内容来支持数百个较小的用例，而几乎不产生额外的边际成本。
图 4：整个组织的资本化和重用是什么样子，利用大型基石用例的部分内容来支持数百个较小的用例，而几乎不产生额外的边际成本。
2. 专注于实施高影响力技术
像Dataiku这样的端到端 AI 平台充当着一个集中的抽象层，使 IT 和架构团队能够专注于底层技术的持续、飞速发展，从而使整个组织受益，而不是专注于维护跨业务部门处理数据的数十种不同工具之间的相互作用。
此外，Dataiku 的愿景始终是提供一个平台，使组织能够快速将机器学习和人工智能领域的新创新集成到其企业技术堆栈和业务流程中。现代生成式人工智能和法学硕士的出现完全符合最初的愿景——Dataiku 包括与 OpenAI、Azure、AWS 和 Hugging Face 等领先的生成式人工智能提供商的集成。借助 Dataiku 的模型和提供商中立方法，团队可以利用最新和最好的生成式人工智能技术。
3. 顺畅的治理和监控
对于大多数组织而言，——它涵盖了企业为降低运营风险和监管原因而必须实施的所有控制措施和相关流程。拥有一个集中式工具可以简化降低民主化带来的 AI 风险的工作。
此外，具有自定义治理流程灵活性的集中式平台有助于系统地实施 AI 项目的运营工作流程。通过提供必要的基础和简化、透明的流程，让您能够在监督下快速调整策略，这可以加快为《欧盟 AI 法案》和其他法规变化做好准备。
监控的情况也类似，主要通过 MLOps 系统完成。MLOps需要集成到企业更大的 DevOps 战略中，以弥合传统 CI/CD 与现代机器学习之间的差距。这意味着系统从根本上是互补的，并且允许 DevOps 团队自动化机器学习测试，就像他们可以自动化传统软件测试一样。随着 LLMOps 的出现以管理 LLM 的复杂性，它带来了独特的挑战，例如用于衡量 LLM 响应质量的专门指标，以及用于动态交换 AI 模型服务的新流程，以及随着更好的服务出现而为生产应用程序提供支持的技术。这些复杂性使得将 LLMOps 与现有的 MLOps 实践相结合以简化部署、健康监测和模型管理至关重要。使用一个端到端平台（如 Dataiku）可以（并且简单地）实现这种级别的自动化。当在整个生命周期中使用多种工具时，它很快就会变得混乱。
4. 结合其他选项的最佳元素
对于几乎所有组织来说，投资人工智能平台都是最好的选择，原因很简单，它允许他们采取其他三种可能路径的最佳方面，同时解决他们的缺点。
借助平台：
服务提供商仍然可以提供人员增补，在平台上工作，以确保他们的交付成 俄罗斯电话号码数据 果在合作结束后得到利用和维护。
当点解决方案为特定应用程序提供增量效益时，就可以将其集成，同时维护所有 AI 计划的整体治理结构。
组织内技术含量高的建设者将看到他们的工作得到加速，同时使他们能够与其业务受益者进行更紧密的合作。
端到端风险
当然，投资一个端到端平台所带来的担忧是，组织会与单一供应商绑定。这是一个不容忽视的风险，风险不小——锁定是一个真正的考虑因素，因为公司会变得依赖于该供应商的路线图、决策等。
为此，重要的是投资开放且可扩展的端到端技术，使组织能够利用现有的底层数据架构，并在存储、计算、算法、语言、框架等方面投资一流的技术。例如，借助 Dataiku，组织可以通过LLM Mesh为给定应用程序选择正确的生成式 AI 模型，LLM Mesh 是一个通用主干，可提供公司使用 LLM 大规模构建安全应用程序所需的组件。例如，在作为服务提供的公共模型之间进行选择，或在自己的私有基础架构上运行开源模型。