暂无图片
暂无图片
暂无图片
暂无图片
暂无图片

在mac上部署本地deepseek模型

        deepseek最近太火,超时比较多,于是乎学习了下如何在本地mac系统上部署deepseek模型。
        部署deepseek前,我们先下载下管理大模型的框架ollama,这是一个go语言实现的开源框架https://github.com/ollama/ollama,可以自己编译,也可以到官网https://ollama.com/下载dmg包。安装成功后查看下版本:
    ollama  -v
    ollama version is 0.5.7
    复制
            ollama的使用和docker相似,下载模型使用命令
      ollama pull
      复制
              运行模型使用
        ollama run
        复制
                我们可以到ollama的官网上搜索热门模型:比如参数最少的deepseek模型:https://ollama.com/library/deepseek-r1:1.5b
          ollama run deepseek-r1:1.5b
          pulling f4d24e9138dd... 100% ▕██████████████████████████████████████████████████████████████████████████▏  148 B
          pulling a85fe2a2e58e... 100% ▕██████████████████████████████████████████████████████████████████████████▏  487 B
          verifying sha256 digest
          复制
                  下载过程中可能越下越慢,这是因为官方给限速了,可以断开重新下载,支持断点续传,并且速度会加快。
                  启动后可以测试下
            >>> hao are you
            <think>
            </think>
            Hello! I'm DeepSeek-R1, an artificial intelligence assistant created by DeepSeek. I'm at your service and would be delighted to
            assist you with any inquiries or tasks you may have.
            >>> 地球直径是多少
            <think>
            </think>
            地球的直径约为 **12,742公里**,从赤道到两极的距离略有不同。具体来说:
            - 从赤道测量:约 **12,742.0 km**
            - 从南北极测量:约 **12,742.0 km**
            复制
                    如果不想在命令行使用,可以下载开源的chatbox,https://github.com/Bin-Huang/chatbox,使用起来体验就和官方的app差不多了
                    当然,如果想进一步搭建本地的知识库,可以下载一个浏览器插件Page Assist,提供本地大模型的图形化管理和对话界面。https://github.com/n4ze3m/page-assist
                    当然搭建知识库除了ai模型外,还需要一个量化工具,业界比较知名的是nomic-embed-text,https://ollama.com/library/nomic-embed-text同样的方式拉下来
              ollama pull nomic-embed-text
              复制
              查看我们已经拉下来的模型
                 % ollama list
                NAME                       ID              SIZE      MODIFIED
                nomic-embed-text:latest    0a109f422b47    274 MB    30 minutes ago
                deepseek-r1:1.5b           a42b25d8c10a    1.1 GB    16 hours ago
                复制
                         至此,我们已经可以通过chat客户端和我们本地部署的deepseek聊天了,如果想自己开发客户端怎么办?ollama抽象了标准的API,以聊天为例
                  聊天(Chat)
                  端点:POST /api/chat
                  功能:支持多轮对话,模型会记住上下文。
                  请求格式:
                  {
                    "model""<model-name>",  // 模型名称
                    "messages": [             // 消息列表
                      {
                        "role""user",       // 用户角色
                        "content""<input-text>" // 用户输入
                      }
                    ],
                    "stream": false,          // 是否启用流式响应
                    "options": {              // 可选参数
                      "temperature"0.7,
                      "max_tokens"100
                    }
                  }
                  响应格式:
                  {
                    "message": {
                      "role""assistant",    // 助手角色
                      "content""<generated-text>" // 生成的文本
                    },
                    "done": true
                  }
                  复制
                  我们可以通过curl命令获得回复
                    curl http://localhost:11434/api/generate -d '{
                      "model""deepseek-r1:1.5b",
                      "prompt""你好,你能帮我写一段代码吗?",
                      "stream": false
                    }'
                    复制
                         如果要部署一个服务给外界使用,可以使用open-webui:
                    https://github.com/open-webui/open-webui
                            作为一个码农,我们是不是想到搭建一个本地ai编程助手呢?也是可以的,需要下载deepseek-coder
                      ollama run deepseek-coder:1.3b
                      复制
                              然后下载vscode插件AI Toolkit for Visual Studio Code,模型选ollama,配置本地的deepseek-code即可,不过用下来发现,效果不是那么好。

                      文章转载自golang算法架构leetcode技术php,如果涉嫌侵权,请发送邮件至:contact@modb.pro进行举报,并提供相关证据,一经查实,墨天轮将立刻删除相关内容。

                      评论