DeepSeek 私有化部署和一体机.pdf
5墨值下载
1
DeepSeek
内部研讨系列
------------
DeepSeek 私有化部署和一体机
AI肖睿团队
（韩露、王春辉、顾跃、李娜、谢安明、陈钟）
20250224@北京
• 北大青鸟人工智能研究院
• 北大计算机学院元宇宙技术研究所
2
摘要
1. 本次讲座为DeepSeek原理和应用系列研讨的讲座之一，让大家可以决策是否需要自己部署DeepSeek系列模型，并了
解自己本地化部署DeepSeek的基本方法，同时了解更专业的企业级部署方法，有助于选择DeepSeek一体机型号，并
能理解DeepSeek云服务的工作机制和原理，用好DeepSeek云服务的API调用方法。
2. 本讲座的内容分为四个主要部分：
① 首先，除了DeepSeek满血版之外，还有各种各样的蒸馏版和量化版，以及DeepSeek的不同专业模型。我们将介绍人工智能大模
型的基本概念，以及DeepSeek各个模型的特点与适用场景，对比不同规模模型的性能表现，帮助大家选择最适合自己需求的版本。
② 其次，对于普通用户在自己的电脑上部署和体验DeepSeek（蒸馏版）的情况，我们会评估和建议硬件要求，演示如何通过Ollama
命令行高效部署DeepSeek模型，解决下载过程中可能遇到的常见问题。为了提升在自己的电脑上安装DeepSeek模型后，大家与
DeepSeek模型的交互体验，我们还将介绍Open WebUI和Chatbox等前端展示工具的配置与使用方法。
③ 然后，对于专业级的企业部署DeepSeek，或把DeepSeek（蒸馏版和满血版）部署在专业的昂贵的推理机上，本讲座将探讨基于
Transformers快速验证和vLLM的高性能部署方案，并提供真实企业基于vLLM的部署DeepSeek-70b的相关数据和经验。
④ 最后，作为补充内容，针对计算资源受限的场景，我们专门设计了"低成本部署"环节，详细讲解Unsloth R1动态量化部署的三种实
现路径：基于llama.cpp、KTransformers以及Ollama框架动态量化部署。
3. 在技术学习的道路上，优质学习资源至关重要。推荐大家参考《人工智能通识教程（微课版）》这本系统全面的入门教
材，结合B站“思睿观通”栏目的配套视频进行学习。此外，欢迎加入ai.kgc.cn社区，以及“AI肖睿团队”的视频号和
微信号，与志同道合的AI爱好者交流经验、分享心得。
of 121
5墨值下载
【版权声明】本文为墨天轮用户原创内容，转载时必须标注文档的来源（墨天轮），文档链接，文档作者等基本信息，否则作者和墨天轮有权追究责任。如果您发现墨天轮中有涉嫌抄袭或者侵权的内容，欢迎发送邮件至：contact@modb.pro进行举报，并提供相关证据，一经查实，墨天轮将立刻删除相关内容。
下载排行榜
评论