本博客系列关于Private AI用例的第二篇文章提供了更多关于“实施Private AI”的示例。这些示例已经在博通的业务中证明了其价值，使您更加确信类似的用例可以通过在企业私有的环境中安装VCF来实现。在第一部分中，我们讨论了两个用例，而在第二部分中，我们将探讨另外两个。随着生成式AI的广泛采用，预计这些用例将继续扩展。
构建一个（后台）聊天机器人，帮助客户服务代表在联系中心或后台场景中处理敏感的公司数据
提供一个编码助手，帮助软件工程师开发应用程序
使用文档总结技术，帮助员工理解现有的公司私有内容或创建新内容
创建一个内部托管门户，提供来自开源社区的基础模型，以便数据科学家可以轻松选择不同的模型，找到最适合他们目的的模型
这里简要展示了VMware Private AI Foundation架构的布局。图中展示了来自VMware（下方蓝色层，作为VCF上的高级服务）和NVIDIA（绿色层，NVIDIA AI Enterprise）的各个组件。VMware Private AI Foundation高级服务自2024年5月起由博通提供，作为一款正式发布的产品。可以将这个高级服务视为VCF平台的扩展，专门用于在VCF上实现私有AI基础设施和应用。
图1：VMware Private AI Foundation架构
接下来，我们将继续探讨示例用例#3和#4，基于之前给出的示例。与第一部分中的前两个用例一样，这些用例应用程序目前已在博通内部实施，供我们自己的员工使用。它们可以访问公司私有数据，并且包含我们为自身使用而在内部测试过的模型。
用例3：文档摘要功能
在工作中，您有多少次遇到过与当前业务问题相关的内部PDF、Word文档或网站，但无法在合理的时间内消化它们？公共搜索引擎和模型在训练时无法访问私有数据，因此无法为您提供所需的简洁答案。
一个能够根据需求提供几句话或几段总结关键内容的文档摘要工具将是一个理想的选择。浏览器中的搜索工具并不能完全满足这个需求。
大语言模型在文本摘要任务中表现出色。我们可以将一组PDF文档提供给一个友好的基于浏览器的私有AI工具，该工具会将文档内容分块索引，并将其导入数据库，以便进行查询。在内部的摘要应用程序背后，使用了包括Llama 3 70B和Mixtral 8x7B等多个模型。最终用户可以在每次请求时选择使用的特定模型。以下是用户在处理文档时可以选择的几种方式。
这里我们看到，用户可以更改的参数包括块大小（以tokens为单位）、分析内容的模型类型以及默认应用的提示（在右侧面板中）。这些都可以由用户配置。
一旦文档数据（或文档集）被导入摘要工具的数据库，我们就可以使用自然语言提问，特别是请求对一个或多个文档的总结。处理完成后，文档的摘要会被保存，以便您以后访问。一个允许将文档上传到向量数据库的摘要应用程序可能是这样的。在下方示例中，我们请求对一篇关于LLM主题的公共技术文档进行总结，摘要显示在右侧面板，与原始PDF文档并排显示。这仅仅是您与这些摘要文档进行互动的开始。仅凭摘要就能有效节省时间，帮助用户快速理解技术文档中的核心信息。
图3：使用文档摘要工具汇总包含技术细节的PDF文档示例
虽然基于RAG（检索增强生成）的系统，如vAQA（虚拟高级问答系统——在第一部分的第一个用例中提到），旨在处理涉及大量数据的查询，但这里的摘要工具则是用于与单个（或少量）文档进行对话，这些文档可能并未被添加到支持像vAQA这样的系统的向量数据库中的完整文档集。可以将摘要工具看作是为单个用户提供的私有版本RAG。
VMware Private AI Foundation如何支持文档摘要器的创建
文档摘要器设计的第一部分是创建输入文档的索引部分，以便LLM系统更容易处理。这是通过使用嵌入模型来完成的。嵌入模型的示例可以在图1中所示架构的NVIDIA AI Enterprise产品层中的Retriever NIM集合中找到。该Retriever作为容器部署，可以在虚拟机中的Docker环境中运行，或者作为Kubernetes集群中的Pod部署。Retriever使用其自身的模型——嵌入模型，这个模型由NIM托管并运行。
用于存储输入文档的已索引块的向量数据库是通过VCF自动化部署的，形式为Postgres数据库，并带有PGvector扩展。
向量数据库为任何查询提供的答案的重新排序是由一个单独的组件完成的，这个组件同样可以在NIM中部署，称为Re-ranker。它通过VCF自动化以微服务的形式进行自动化部署。
大预言模型（LLM）将Re-ranker返回的排序段落作为输入。根据这些排序后的输入，LLM为用户提供合适的答案。大语言模型托管在自己的NIM中，该NIM同样由VCF自动化进行自动部署。
用例4：用于应用程序使用的LLM模型集合的内部门户
随着AI在业务应用中的快速发展，企业将使用大量模型。正如我们在用例#3中看到的，模型被用于“完成”、“嵌入”和“重新排序”设置，这仅仅是一个应用程序的一部分。在AI应用程序进行准确性和偏差测试时，还会使用一个额外的模型，即“评估模型”。这些模型都是在不同数据集上训练的专家，且调优方式不同。观察人士预测，LLM将像今天的关系数据库一样，在私有内部使用中变得普及。
企业内的数据科学社区不断评估新训练的模型，判断它们是否适用于各种使用场景。随着生成式AI被应用开发者采用，这些模型的库在企业中快速出现。这就需要为新模型的评估者和已验证模型的用户提供便捷的路径——即一个经过测试/评估模型的公共库，并提供浏览和API访问机制。当前最常用的模型访问API是OpenAI API，它也出现在我们这里描述的模型门户中。
下面是与模型门户的一个交互示例，展示了博通内部用户看到的当前模型列表。用户现在可以使用其中一个或多个模型来回答问题并获取他们希望得到准确答案的提示。这可以用来开发“提示工程”或“微调”类型的LLM应用。顶部中央区域的模型列表是由博通内部数据科学团队精心挑选的经过验证的模型构建的。许多模型都是开源的（例如Huggingface的库），并且您可能已经非常熟悉。然而，这里的不同之处在于，这些模型已经由内部团队进行了测试和评估，以确保它们在处理私有数据时的高质量结果。
图4：用于测试各种LLM是否适用于数据科学驱动应用的门户
VMware Private AI Foundation如何帮助创建内部模型门户
为了进行模型验证，VMware采用了“深度学习虚拟机”（Deep Learning VM）的概念，这是VMware Private AI Foundation的核心部分。模型的测试在一个安全的类似DMZ的区域内进行，在这个区域中，任何不良影响都可以被发现并减轻。深度学习虚拟机实际上是一个预先配置好虚拟GPU应用的普通VM，此外，还内置了像PyTorch和Conda这样的工具，方便数据科学家使用。您可以从博通的应用站点下载这种深度学习虚拟机的镜像，并将其放入VCF内容库中。随后，VCF自动化工具使我们能够实例化多个“AI工作站”，用于验证模型的真实性、抗偏差能力，以及测试其性能和准确性。我们可以通过VCF自动化中构建的蓝图，使NVIDIA组件在该深度学习虚拟机中可用。
一旦在安全区域内使用深度学习虚拟机完成了一系列适当的测试，并且模型被验证为安全且表现合格，那么可以通过VMware Private AI Service CLI命令将该模型从深度学习虚拟机（DLVM）推广到模型存储库。在后台，模型库使用Harbor开放容器接口（OCI）仓库技术来存储模型、通过RBAC控制访问权限，并对允许的模型进行版本控制。经过验证的模型可以从模型库中提取并由授权用户部署，例如希望在应用程序中使用该模型的开发人员。以下是使用Harbor作为核心模型库的模型评估和模型下载过程概述。
在门户部署中，模型可以与服务器运行时（通过NIM微服务或其他模型运行时，如vLLM）关联，该运行时以虚拟机容器的形式运行。该容器的生命周期由深度学习虚拟机中的Docker或其在Kubernetes集群中的Pod进行控制。托管Kubernetes集群中Pod的节点是VCF中的虚拟机。目标Kubernetes集群都通过vSphere Kubernetes服务（VKS）进行配置，而VMware Private AI Foundation则使用该服务进行Kubernetes集群的配置。此Kubernetes集群的配置将由DevOps或平台工程师完成，他们负责为数据科学团队提供所需的基础设施和工具。每个部署的模型都部署在自己的容器/微服务中，因此之前提到的多个模型将相互独立地运行。通过Kubernetes机制，还可以实现用户流量在一个模型的副本之间的负载均衡。
上述模型门户部署目前已被博通内部的许多应用程序开发人员使用，他们通过模型开放的API进行访问。我们认为，这种“专家中心”方法对于成功部署AI应用程序至关重要，是构建AI应用程序的核心能力。
在本系列的第一部分中，我们介绍了在VCF上实施Private AI的前两个示例用例：（1）改善联系中心客户体验的后端聊天机器人，以及（2）帮助工程师提高工作效率的编码助手。我们在第二部分中扩展了这些示例，介绍了我们在博通内部实现的另外两个用例——文档摘要工具和供AI应用开发人员使用的模型门户。这只是“实施Private AI”的基础用例集，您的企业中肯定还会有更多类似的用例。
总结
这些示例来自博通在部署Private AI过程中的实际经验。我们可以预见，随着越来越多的客户示例部署，更多不同的用例将不断涌现。通过在您的企业内部早期、安全地部署自己的用例，您可以获得业务优势。一旦您在内部使用中建立了对应用程序和模型的信心，您可以选择将一些AI应用程序部署给外部客户使用，作更多的应用场景拓展。
VCF通过快速自动化部署完成复杂任务的同时确保数据在本地安全，为企业无缝部署这些用例。今天，您就可以开始使用VCF和VMware Private AI Foundation。
