大模型时代，安全问题不容小觑。但如果把大模型比作孙悟空，那 NVIDIA NeMo Guardrails 就是“安全护栏”，可以轻松为基于 LLM 的对话系统添加可编程护栏，来避免大语言模型输出违法违规内容，并通过自定义方式响应用户特定请求，按照预定义的对话路径进行操作，以及使用特定的语言风格进行回答。
#1
Colang 语言定义 LLM 对话引擎
NeMo Guardrails 中的 Colang 语言，是一种用于对话式人工智能的建模语言，能够定义护栏。它的目标是为用户提供一个可读可扩展的，使用自然语言定义或控制对话机器人的行为的语言。
Colang 语言已经作为 NeMo Guardrails 的内核来使用。Colang 语言像电影的编剧，用户和机器人是演员，通过 Colang 语言，可以定义用户的信息、机器人信息和 Flow，把机器话语和用户话语进行对话逻辑上的连接。
Colang 语言中常用的关键词包括 bot, break, continue, create, define 等，能够帮助开发快速上手使用，降低对话式 AI 领域的学习门槛。
#2
NeMo Guardrails 与 AOAI
结合使用，搭建 LLM 对话引擎
上一期【比特熊充电栈】详细解读了在 Azure 中搭建 NeMo Guardrails 环境的步骤，包括申请 Azure 账号，开通 Azure Machine Learning 服务，安装 OpenAI、NeMo Guardrails，开通 Azure OpenAI 服务等。搭建完成后，才能将 NeMo Guardrails 与 Azure OpenAI 结合使用。
NeMo Guardrails 与 AzureOpenAI 结合使用，构建更加安全可靠的 LLM 对话引擎，还需要通过以下步骤进行操作：
1
导入 NeMo Guardrails 大模型护栏及 RailsConfig 护栏配置文件工具类；
2
从 langchain 中导入 Azure Chat OpenAI 工具类；
3
传入 Azure OpenAI 的 API-KEY、endpoint、deployment_name、对应的版本信息等关键参数，就可以实例化一个大模型；
4
调用 NeMo Guardrails 大模型中的 from_content 变量，读取 Colang_Config2 文件和 Yaml_Config 配置文件，就可以实例一个安全的聊天机器人 App；
5
调用 App 中的 generate_async 函数，输入用户的问题语句，机器人就会给出对应的回答。
#3
NeMo Guardrails 自定义 LLM
对话引擎应用
NeMo Guardrails 除了支持 Azure OpenAI 外，还支持很多对话引擎大模型，包括 AI21labs、Cohere、Hugging Face、GPT4All 等。调用对话引擎大模型，首先要自定义一个大语言模型的 class：
从 langchain 中导入 BaseLanguageModel，从 NeMo Guardrails 中导入 register_llm_provider，自定义大语言模型的 class 并注册。
以 Hugging Face 为例，调用对话引擎大模型的步骤如下：
1
创建并初始化一个构造函数，调用父类的构造函数来初始化这个类的实例；
2
指定大模型的 ID，调用 HuggingFacePipeline class 中的 from_model_id 函数，输入对应大模型 id，定义 device、task 和模型参数；
3
定义返回、自定义函数，以字符串的形式返回大语言模型的类型，在 langchain 中分别同步调用和异步调用自定义 LLM。
了解更多 NeMo Guardrails 与 Azure OpenAI 结合使用的干货，扫描下方 Azure 小程序码，回看本期【比特熊充电栈】。
