DeepSeek 本地化部署

DeepSeek是一个专注于人工智能研究与应用的平台，致力于提供高效、灵活且易于部署的AI解决方案。DeepSeek R1是其最新版本，支持多种AI模型的本地部署，能够满足不同场景下的需求。https://www.deepseek.com/它具备以下特点：
  1. 轻量级：模型经过优化，适合在资源有限的设备上运行。
  2. 高效推理：能够在低延迟下进行实时推理。
  3. 可扩展性：支持自定义训练和微调，满足不同场景需求。

DeepSeek本地化必须集成OLLAMA+DeepSeek+Chatbox.

1、Ollama是一个开源的AI模型管理工具，用于简化AI模型的部署和管理。它支持多种模型格式，能够与DeepSeek R1无缝集成。访问Ollama的官方网站或GitHub页面，下载最新版本的安装包：https://ollama.com/download

2、Chatbox AI是一个基于对话的AI平台，能够实现自然语言交互。它支持多种语言和场景，可以与Ollama和DeepSeek R1配合使用，提供更丰富的交互体验。最重要的是在局域网内实现本地化客户端访问DeepSeek R1。访问Chatbox AI的官方网站，下载最新版本的安装包: https://chatboxai.app/zh

如果需要Deepseek本地化安装文档，请联系微信：Albert_Tan918。备注：DeepSeek。

# 1、下载ollama安装包
[root@slave ~]# curl -fsSL https://ollama.com/install.sh | sh
>>> Installing ollama to /usr/local
>>> Downloading Linux amd64 bundle
############################################### 100.0%
>>> Creating ollama user...
>>> Adding ollama user to video group...
>>> Adding current user to ollama group...
>>> Creating ollama systemd service...
>>> Enabling and starting ollama service...
Created symlink from /etc/systemd/system/default.target.wants/ollama.service to /etc/systemd/system/ollama.service.
>>> The Ollama API is now available at 127.0.0.1:11434.
>>> Install complete. Run "ollama" from the command line.
WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

# 2、校验版本
注意：如果此处校验成功，意味这OLLAMA安装成功
[root@slave ~]# ollama –v  -- 校验版本
ollama version is 0.5.7

# 3、安装DeepSeek 7b版本
[root@slave ~]# ollama run deepseek-r1:7b
pulling manifest
pulling 96c415656d37... 100% ▕█████████████▏ 4.7 GB
pulling 369ca498f347... 100% ▕█████████████▏  387 B
pulling 6e4c38e1172f... 100% ▕███████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕█████████▏  148 B
pulling 40fb844194b2... 100% ▕█████████████▏  487 B
verifying sha256 digest
writing manifest
success
>>> /bye  -- 退出提问界面

# 3、查找ollama配置文件
[root@slave ~]# find / -name ollama.service
/sys/fs/cgroup/systemd/system.slice/ollama.service
/etc/systemd/system/default.target.wants/ollama.service
/etc/systemd/system/ollama.service

# 4、备份ollama文件
[root@slave ~]# cp /etc/systemd/system/ollama.service /etc/systemd/system/ollama.service.bak

# 5、添加远程配置
 [root@slave ~]# vi /etc/systemd/system/ollama.service
注意：此处必须在所有[Service]段落下添加一下信息，然后重启即可
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
 

# 6、重新加载ollama服务
[root@slave system]# systemctl daemon-reload
[root@slave system]# systemctl restart ollama
[root@slave system]# systemctl status ollama.service

# 7、校验本地访问
注意：deepseek默认端口是11434
浏览器输入：http://[服务器IP]:11434

复制