微软表示支持多模态的 GPT-4 将于下周发布

微软德国首席技术官 Andreas Braun 在 2023 年 3 月 9 日的 AI 启动活动中提到 GPT-4 的发布迫在眉睫。

2023 年 3 月 9 日在一个名为 “AI in Focus - Digital Kickoff^[1]” 的活动上，四名微软德国员工详细介绍了像 GPT 系列这样的大型语言模型（LLM）作为公司和其 Azure-OpenAI 产品的颠覆性力量。这个活动以德语进行，新闻媒体 Heise 也在场。Andreas Braun，微软德国的 CTO 和 Lead Data & AI STU，很随意地提到了他所说的 GPT-4 即将发布的消息。自从 3 月初发布 Kosmos-1 以来，微软正在与 OpenAI 一起调整多模式语言处理，也不是什么秘密了。

CTO 称 LLM 为“游戏规则改变者”，多模态模型将提供完全不同的可能性。教会机器理解自然语言，从而理解以前只能由人类读取和理解的内容。目前这项技术发展到基本“可以在所有语言中运行”的程度：你用德语提问，然后得到意大利语的答案。

关于 Kosmos-1

• 相关论文：Language Is Not All You Need: Aligning Perception with Language Models^[2]

• 相关仓库：microsoft/unilm^[3]

内容大意：
语言、多模态感知、行动和世界建模的大规模融合是通向人工通用智能的关键步骤。在这项工作中，我们介绍了 Kosmos-1，一个多模态大型语言模型（MLLM），它可以感知一般的模态、在上下文中学习（即少样本学习），并遵循指令（即零样本学习）。具体来说，我们从头开始在 Web 规模的多模态语料库上对 Kosmos-1 进行了训练，包括任意交错的文本和图像、图像-标题对和文本数据。我们在各种设置下进行了评估，包括零样本、少样本和多模态思维链提示，没有任何梯度更新或微调。实验结果表明，Kosmos-1 在以下任务上取得了令人印象深刻的表现：

• 语言理解、生成，甚至 OCR-free NLP（直接用文档图像输入）；

• 感知语言任务，包括多模态对话、图像字幕、视觉问答；

• 视觉任务，如通过文本指令指定分类的图像识别。我们还展示了 MLLM 可以从跨模态转移中受益，即从语言到多模态的知识转移，以及从多模态到语言的知识转移。

此外，我们介绍了一个 Raven IQ 测试数据集，用于诊断 MLLM 的非语言推理能力。

图例：KOSMOS-1 的多模态大规模语言模型 (MLLM) 可以在语言和多模态任务的上下文中学习，以多种模式感知输入，并遵循指令。在这项研究中，通过将视觉与大型语言模型 (LLM) 集成，进一步从 LLM 过渡到 MLLM。

总结

GPT-4 是目前为止最先进的自然语言处理模型之一，它能够自动理解和生成人类语言。模型的多模态语言处理能力非常强大，它可以处理多种语言（英语、中文、日语等），并支持多种媒体格式（文本、图像、视频、音频等）。这使得 GPT-4 可以应用于多个领域，如自然语言生成、智能问答、语音识别和翻译等。

相信 GPT-4 模型的发布将是一个重要的里程碑，会带来许多新的机遇和挑战。

查看原文：GPT-4 is coming next week – and it will be multimodal, says Microsoft Germany^[4]

References