手把手教你在OCI上搭建自己的“企业GPT”.pdf

11页

3次

2023-07-16

10墨值下载

手把手教你在 OCI 上搭建自己的“企业 GPT”

去年年底，OpenAI 发布了一个大语言模型。有人说，它的意义与当年互联网的出

现一样重要。它势必在将来改变各行各业的运行模式，并对我们的生活带来影响。

如今，大多数人访问 ChatGPT 主要是和他聊天，当然也有一些人用它来解决工作上

的问题、甚至是写论文。大家使用的 ChatGPT 是使用互联网上超过百亿个词汇组成

的语料库进行训练的，它对一些“通用”问题会做出很好的回答。这么好的工具，如

果能部署在企业内部，帮助我们的员工提升工作效率，回答一些针对您自己企业的

问题，那该多好？但很遗憾，您企业内部的数据一般都是保密的，ChatGPT 在训练

的时候，是无法得到您企业内部的保密资料和数据的，因此你对它提出关于您企业

内部的问题，一般情况下只能得到“一本正经的胡说八道”。

那么如何搭建一个针对您企业信息的 GPT 机器人呢？会不会很复杂？这个问题的答

案就和问题一样“复杂”。但也没有那么困难，今天就和大家一起在 OCI 上搭建一个

企业 GPT，您可以按照本文中的示例，并使用您企业内部的资料对模型进行训练，

并通过 OCI 中提供的安全连接技术，让这个专业机器人只能被您企业内部的员工在

安全的情况下进行访问。

基础环境搭建

使用大语言模型创建的聊天机器人在工作时，对计算资源有较高的要求，如果配置

较少的计算资源，即便是在推理阶段，它的速度可能也会让人无法忍受。对于模型

训练，需要等待的时间更是令人沮丧。建议大家使用 GPU 环境进行模型的训练，如

果资金允许的话，推理阶段依旧使用 GPU 环境，但如果可以忍受这个机器人反应稍

微迟钝一些，也可以选用 CPU 计算环境。Oracle 在 OCI 中新推出的 A10.1 机型，

带有 15 个 OCPU，240GB 内存，1 块英伟达 A10 的计算卡，每小时只需要 2 美

元。今天我们就使用这个环境搭建我们的企业 GPT。

(上图信息来自：https://www.oracle.com/cloud/compute/pricing/)

首先，我们需要在 OCI 中创建带有 GPU 的虚拟机。为了简化我们的系统配置过

程，可以选择 OCI 预配置的数据科学镜像，如下所示，您也可以选择任何你想使用

的操作系统：

并根据您的预算和所需的性能，选择相应的 GPU 环境，今天我们使用 A10.1 这款虚

拟机。

因为模型训练时，会生成许多中间数据，所以您可以根据需要，调整所需的磁盘空

间。下面为了简便，直接将数据放入 boot volume，您也可以在后期挂载其他的块

存储，并调整存储的 I/O 速度。

只需几分钟，我们的基础设施就被创建好了。里面已经预制了数据科学环境，我们

只要对 jupyter notebook 进行配置并启动服务即可。关于 jupyter 的配置，您可以

参考文档（https://jupyter-notebook.readthedocs.io/en/stable/）

接下来我们可以检查一下 GPU 是否已经成功挂载，并且在 jupyter notebook 当中

是否可以正常识别即可。下面是通过 watch -n 1 nvidia-smi 命令查看 GPU 的运行

状态。

of 11

10墨值下载