Deepseek在线使用/本地部署/云端部署使用教程?

2025-02-04 未分类 0 190
郑重承诺丨高学猿提供安全交易、信息保真!
增值服务:
免费 学币
VIP折扣
    折扣详情
  • 体验VIP会员

    免费

  • 月卡VIP会员

    免费

  • 年卡VIP会员

    免费

  • 永久VIP会员

    免费

开通VIP尊享优惠特权
立即下载 升级会员
详情介绍
Deepseek在线使用/本地部署/云端部署使用教程?

一、在线使用

官方地址:https://www.deepseek.com/

官方对话入口:https://chat.deepseek.com/

二、本地部署

需要通过Ollama来安装,注意:需要使用魔法上网

安装Ollama

官方下载地址:https://ollama.com/download

安装完成后,在运行图标中,会有Ollama图标

模型安装命令

1.5B Qwen DeepSeek R1

ollama run deepseek-r1:1.5b

7B Qwen DeepSeek R1

ollama run deepseek-r1:7b

8B Llama DeepSeek R1

ollama run deepseek-r1:8b

14B Qwen DeepSeek R1

ollama run deepseek-r1:14b

32B Qwen DeepSeek R1

ollama run deepseek-r1:32b

70B Llama DeepSeek R1

ollama run deepseek-r1:70b

模型选择

没有GPU:1.5B Q8推理 或者 8B Q4推理

4G GPU:8B Q4推理

8G GPU:32B Q4推理 或者 8B Q4推理

16G GPU:32B Q4推理 或者 32B Q8推理

24G GPU: 32B Q8推理 或者 70B Q2推理

Qwen底模除了1.5B其他不建议,真的太拉跨;Llama底模推荐。

换个说法:

4G以下显存,用1.5B

8G–12G显存,用7B或8B

12G以上显卡,用14B、32B、70B

更多模型下载

DeepSeek-R1

模型#总参数#已激活参数上下文长度下载
DeepSeek-R1-Zero671B37B128千🤗 HuggingFace
DeepSeek-R1671B37B128千🤗 HuggingFace

DeepSeek-R1-Zero 和 DeepSeek-R1 基于 DeepSeek-V3-Base 进行训练。有关模型架构的更多详细信息,请参阅DeepSeek-V3存储库。

DeepSeek-R1-Distill 模型

模型基础模型下载
DeepSeek-R1-Distill-Qwen-1.5BQwen2.5-Math-1.5B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-7BQwen2.5-Math-7B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-8BLlama-3.1-8B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-14BQwen2.5-14B🤗 HuggingFace
DeepSeek-R1-Distill-Qwen-32BQwen2.5-32B🤗 HuggingFace
DeepSeek-R1-Distill-Llama-70BLlama-3.3-70B-Instruct🤗 HuggingFace

DeepSeek-R1-Distill 模型基于开源模型进行了微调,使用了 DeepSeek-R1 生成的样本。我们对其配置和分词器进行了轻微更改。请使用我们的设置来运行这些模型。

评估结果

Deepseek在线使用/本地部署/云端部署使用教程?

DeepSeek-R1-评估

对于我们所有的模型,最大生成长度设置为 32,768 个 token。对于需要采样的基准,我们使用的温度为0.6,top-p 值为0.95,并为每个查询生成 64 个响应来估计 pass@1。

类别基准(公制)Claude-3.5-Sonnet-1022GPT-4o 0513DeepSeek V3OpenAI o1-miniOpenAI o1-1217DeepSeek R1
 建筑学教育部教育部
 # 激活参数37B37B
 # 总参数671B671B
英语MMLU(通过@1)88.387.288.585.291.890.8
 MMLU-Redux(EM)88.988.089.186.792.9
 MMLU-Pro(EM)78.072.675.980.384.0
 掉落 (3 发 F1)88.383.791.683.990.292.2
 IF-Eval(提示严格)86.584.386.184.883.3
 GPQA-钻石级 (Pass@1)65.049.959.160.075.771.5
 SimpleQA(正确)28.438.224.97.047.030.1
 框架(配件)72.580.573.376.982.5
 AlpacaEval2.0 (LC-胜率)52.051.170.057.887.6
 ArenaHard(GPT-4-1106)85.280.485.592.092.3
代码LiveCodeBench (Pass@1-COT)33.834.253.863.465.9
 Codeforces(百分位数)20.323.658.793.496.696.3
 Codeforces(评级)7177591134182020612029
 SWE 已验证(已解决)50.838.842.041.648.949.2
 Aider-Polyglot (Acc.)45.316.049.632.961.753.3
数学AIME 2024(通行证@1)16.09.339.263.679.279.8
 数学-500 (通过@1)78.374.690.290.096.497.3
 CNMO 2024 (通行证@1)13.110.843.267.678.8
中文CLUEWSC(EM)85.487.990.989.992.8
 C-评估(EM)76.776.086.568.991.8
 C-SimpleQA(正确)55.458.768.040.363.7

蒸馏模型评估

模型AIME 2024 通行证@1AIME 2024 缺点@64MATH-500 通过@1GPQA 钻石通行证@1LiveCodeBench 通行证@1CodeForces 评级
GPT-4o-05139.313.474.649.932.9759
Claude-3.5-Sonnet-102216.026.778.365.038.9717
o1-迷你63.680.090.060.053.81820
QwQ-32B-预览44.060.090.654.541.91316
DeepSeek-R1-Distill-Qwen-1.5B28.952.783.933.816.9954
DeepSeek-R1-Distill-Qwen-7B55.583.392.849.137.61189
DeepSeek-R1-Distill-Qwen-14B69.780.093.959.153.11481
DeepSeek-R1-Distill-Qwen-32B72.683.394.362.157.21691
DeepSeek-R1-Distill-Llama-8B50.480.089.149.039.61205
DeepSeek-R1-Distill-Llama-70B70.086.794.565.257.51633

测试题目

1块钱一瓶可乐,用两个空瓶可以再换一瓶可乐,假设你只有20元钱,最多可以喝到几瓶可乐?(39瓶)

明天的昨天是昨天的哪天?(今天)

鲁迅为什么要打周树人?

冰箱里有十个鸡蛋,我敲了两个,煎了两个,吃了两个,还剩几个蛋?(8个)

1117117是否是素数?(是)

2024^2025和2025^2024哪个大?(前者)

sin(x) + xcos(x)在(-pi, pi)中有几个零点?(三个)

请手动计算并给出前5个梅森素数(自己WIKI)

定义W(t)是标准布朗运动,求f(x)使得W(t)^2 + f(t)是一个鞅。(f(t) = -t)

运行终端

打开开始按钮,找到power shell,然后以管理员身份打开

输入命令:ollama run deepseek-r1:8b 8G显存用这个模型

注意需要使用魔法上网

Deepseek在线使用/本地部署/云端部署使用教程?

下载完成后,是可以在powershell终端中,直接进行对话、提问的,但是使用起来不方便,不美观,需要终端化

Deepseek在线使用/本地部署/云端部署使用教程?

浏览器插件Page Assist

官方地址

仓库地址

谷歌浏览器和edge浏览器都可以使用

它是可以调用计算机本地CPU的,可以直接调用ollama本地安装的模型的

安装好后,初次使用默认是英文,切换语言为简体中文

Deepseek在线使用/本地部署/云端部署使用教程?

打开插件后,即可自动检测到ollama是否在运行,如果没运行,先运行ollama

Deepseek在线使用/本地部署/云端部署使用教程?

然后切换模型,刚才用ollama安装下载的模型

Deepseek在线使用/本地部署/云端部署使用教程?

切换对话模型,然后输入问题,然后提交即可

Deepseek在线使用/本地部署/云端部署使用教程?

效果对比:

8B模型推理结果

Deepseek在线使用/本地部署/云端部署使用教程?

官方在线R1模型推理结果

Deepseek在线使用/本地部署/云端部署使用教程?

结论:模型版本越高,算力、推理能力越强,同时对CPU、内存、显存的要求也越高,如果推理使用,建议使用官方在线版本

三、云端部署

硅基流动

创建API秘钥

Deepseek在线使用/本地部署/云端部署使用教程?

客户端接入API

使用cherry studio客户端,接入API服务

Deepseek在线使用/本地部署/云端部署使用教程?

回到硅基流动,可以查看API使用量及费用消耗

Deepseek在线使用/本地部署/云端部署使用教程?
收藏 (0) 打赏

感谢您的支持,我会继续努力的!

打开微信/支付宝扫一扫,即可进行扫码打赏哦,分享从这里开始,精彩与您同在
点赞 (0)

高学猿 未分类 Deepseek在线使用/本地部署/云端部署使用教程? https://www.gaoxueyuan.com/90.html

常见问题
  • 本站所有资源版权均属于原作者所有,这里所提供资源均只能用于参考学习用,请勿直接商用。若由于商用引起版权纠纷,一切责任均由使用者承担。
查看详情
  • 最常见的情况是下载不完整: 可对比下载完压缩包的与网盘上的容量,若小于网盘提示的容量则是这个原因。这是浏览器下载的bug
查看详情

相关文章

猜你喜欢
发表评论
暂无评论
官方客服团队

为您解决烦忧 - 24小时在线 专业服务