跳到主要内容

【AI百炼实训】006:DeepSeek本地推理 从此告别“服务繁忙”


还在为AI服务突然“罢工”而抓狂?还在担心网速拖慢你的灵感火花?零门槛召唤你的离线版DeepSeek助手——服务器崩了?不存在的!

本期为大家带来【AI百炼实训】的第六弹!让我们一起用AIBOOK算力本在本地部署DeepSeek吧!


📄 项目介绍

AIBOOK具备开箱即用的AI能力,已经在端侧部署了DeepSeek-R1-Distill-Qwen-7B大模型,不联网也可以随时随地用上AI智慧大脑,再也不用担心“服务器繁忙”。本项目针对非技术背景用户,提供零基础、零代码的 DeepSeek本地推理体验。通过简单的四个步骤,在终端输入几行命令,即可部署模型、发送问题并收到高质量的中文回答,适合日常学习、写作、知识获取。


🧠 项目难度:

初级。本项目推荐初学者上手体验。


✨ 项目亮点

● 一键部署大模型,零编程门槛无需 Python 编程基础,通过命令行一步到位部署并使用 DeepSeek 7B 模型。 ● 本地运行,无需联网也能对话 AI所有计算在本机完成,不依赖云端,随时随地进行智能交互。 ● 数据安全,隐私可控模型运行与数据处理完全在本地,保障数据安全。


🛠️ 适用范围

非技术用户、教育机构、媒体内容创作、办公场景、AI 入门学习等


🧩 涉及 AI 知识点

● 使用本地部署的大语言模型 DeepSeek 7B 进行中文对话与文本生成 ● 通过命令行调用大模型进行推理 ● 使用标准的 API 调用结构和 JSON 格式交互 ● 所有操作在本地完成,保障数据隐私安全


🚀 操作步骤与解释

Deepseek 7B占用较多内存,若开启较多应用容易导致内存不足以至部署失败,建议在部署前重启电脑,保证电脑内存充足。

第一步:打开“终端”(Terminal)

点击 AIBOOK 桌面上的「终端」图标,进入命令行界面。 图片1

第二步:准备运行环境

输入以下命令安装 curl 工具,这是后续调用 API 所需的网络请求工具,输入命令后会要求输入开机密码。

sudo apt install curl

图片1

第三步:一键部署 DeepSeek 7B 模型

terminal输入如下命令本地部署DeepSeek7B模型

run-deepseek-r1-7b.sh

运行后等待模型自动部署

图片1

第四步:使用命令调用大模型

完成部署后,添加一个terminal页签 图片1 在新页签下输入如下代码,即可用以下命令与本地模型对话(“你好呀,你是什么大模型?” 可以替换为自己想提问的内容):

curl http://localhost:8000/v1/chat/completions \
-H "content-type: application/json" \
-d '{
"model": "DeepSeek-R1-Distill-Qwen-7B",
"temperature": 0.7,
"stream": false,
"messages": [{"role": "user", "content": "你好呀,你是什么大模型?"}]
}'

图片1


🖼️ 最终效果图

content部分既是大模型返回内容 图片1 现在你已拥有了一个完全本地的AI助手,随时随地享受无延迟的智能对话吧!


爱簿智能【AI百炼实训】计划,致力于通过一系列AIBOOK实战项目教程,将复杂技术转化为可落地的实训案例。以“理论+代码+案例”三位一体的模式,助力开发者、AI爱好者及大学生跨越从AI理论到实践的鸿沟。

更多AIBOOK实训案例与详细教程,正在路上,敬请期待。

用AIBOOK算力本,让AI开发更简单!