镜像社区

部署GPU实例

模型与Agent

控制台

立即注册

Nanbeige-Boss招聘文本大模型

Name: Nanbeige-Boss招聘文本大模型
Author: 鸡你太美

Nanbeige-Boss招聘团队的文本大模型：南北阁

镜像大小

76 GB

当前版本

v1.2

累计部署

3 次

累计运行

3 h

运行环境

框架版本

PyTorch-2.13.0

CUDA版本

13.2

应用

JupyterLab: 8888

支持卡型

RTX40系RTX50系

Nanbeige ：Boss招聘团队：南北阁开源的文本推理大模型

交流加群

bug反馈可以加入科哥专属群交流➕ 广告勿进！

已经设置开机运行首次开机 1-2分钟

AI 大模型程序使用免责声明【必看！！！必看！！！】

本程序提供的 AI文本大模型问答功能仅用于技术研究与合法娱乐，严禁用于任何违反法律法规、侵犯他人肖像权、名誉权及其他合法权益的行为。

用户使用本程序时，应确保已获得相关主体的明确授权，对内容的合法性、真实性负责。因用户不当使用本程序导致的任何法律纠纷、民事赔偿或行政处罚，均由用户自行承担，本程序开发者及运营方不承担任何责任。

本程序仅提供技术工具，不对用户生成内容的用途及后果负责。请用户遵守《中华人民共和国网络安全法》《中华人民共和国民法典》等相关法律法规，合理合规使用本功能。

食用前须知：

改大模型已经进行破限量化有问必答
使用前请遵守法律法规
仅供学习研究之用不得做违法事情！！！

模型仓库地址:

已经设置开机运行首次加载大模型时间比较久 3-5分钟
打开【WebUI】即可进入使用界面；
有问题请微信科哥： 312088415

【插入一个小广告给需要做ai视频，图片，短剧等多一个选择】：
✅主打廉价稳定模型中转站推荐：https://vip.kegeai.top
✅杀疯了！！！在线sd2.5模型最低6毛钱一秒！！！
✅ai大模型：gpt，claude，gemini，deepseek...数百种主流模型
✅最新图片模型：gpt-image2，香蕉2，香蕉pro，即梦，豆包，万相...
✅最新视频模型：sd2，快乐马，grok，veo3，sora2，vidu，可灵...
✅并发高，收费合理（价格优先速度优先）
以上模型均支持API，龙虾CLI接入，web浏览器在线使用！
✅使用地址：https://wy6688.token6688.com/‬
✅GPT模型编程模型推荐：
✅如果你需要满血得的GPT模型
✅请大胆尝试：https://ai.aiaiai001.com/
✅GPT pro号池最低0.3x倍率节省90%+费用
✅pro 100+单个用户最高并发满血使用
在线图片、视频生成网站哈基米AI聚合平台：https://link8.lk888.ai/
企业高并发AIGC接口无限画布平台： https://api.api4me.xyz
✅ gpt-image2.5 几分钱特价中！
✅ gpt-image2/香蕉低至几分钱一张
✅性价比sd2 sd2-fast sd2-mini过真人脸在线生成
✅MiniMax H3
✅veo3-fast视频几毛八秒
✅更多特价AI模型接入中
技术微信：312088415

咨询问题前请注意：
1.先说明哪个镜像，发镜像链接和名称，例如：
Qwen3.8-27B Unleashed文本大模型支持webui和api调用破限为所欲为特别版
2.先拿到运行报错的log日志或者截图：
没有上面的信息我也没有办法帮到你的，因为镜像比较多，我不清楚你问的哪个镜像的
感谢使用！感谢理解！感谢支持！

Nanbeige4.3-33B-GGUF 用户使用手册

本手册面向使用者：已经部署完成，想知道怎么把模型跑起来、怎么对话、怎么调 API、出了问题怎么办。不涉及安装/编译/下载等搭建步骤。

项目目录：/root/Nanbeige4.3-33B-GGUF 启动脚本：start_app.sh（一键启动，无需手动确认）

一、这是什么

本项目用 llama.cpp 的 llama-server 加载 models/ 目录下的 GGUF 量化模型（默认：Nanbeige4.3-33B-AD-IQ4_XS.gguf，约 20GB），默认把全部模型层卸载到 GPU（CUDA）推理，同时对外提供两种使用方式：

方式	地址	说明
Web UI（网页对话）	`http://<主机IP>:7860/`	浏览器打开即用，类似 ChatGPT 的聊天界面
OpenAI 兼容 API	`http://<主机IP>:7860/v1`	给程序/脚本调用，兼容 OpenAI 接口格式
健康检查	`http://<主机IP>:7860/health`	判断服务是否就绪

前端 Web UI 和后端 API 共用同一个端口 7860，绑定 0.0.0.0，局域网内其他机器也能访问。

关于模型本身：

Nanbeige4.3-33B：33B 稠密模型，Llama 架构，主打 Agent / 推理（reasoning），支持中文和英文，原生 512K 上下文。
运行硬件：NVIDIA RTX 4090（24GB 显存），CUDA 后端把 52 层全部卸载到 GPU，显存占用约 21GB（CTX=8192）。
思考模式（Thinking）默认开启：模型会先“思考”再回答。想关闭见 4.3 关闭思考模式。
采样参数：推理/对话推荐 温度 0.6、top-p 0.95；Agent / 工具调用推荐 温度 1.0、top-p 0.95（本项目默认已是 0.6 / 0.95）。

二、快速开始（三步用上模型）

下文命令中的 cd 路径均为项目目录 /root/Nanbeige4.3-33B-GGUF。如果你是 SSH 远程登录这台机器，先 cd /root/Nanbeige4.3-33B-GGUF 再执行。

第 1 步：启动服务

cd /root/Nanbeige4.3-33B-GGUF
bash start_app.sh

脚本会自动完成：检查 GPU → 清理占用显存/端口的旧进程 → 后台启动 llama-server（CUDA 版，全部层卸载到 GPU）→ 等待模型加载完成 → 打印访问地址。

看到下面这段输出，说明服务已就绪（模型加载完成，通常需要 10~60 秒）：

============================================================
 服务已就绪 ✅（模型加载完成，GPU 推理）
   GPU 显存  : 本进程 21096 MiB（整卡 21106 / 24564 MiB）
   Web UI : http://0.0.0.0:7860/
   API    : http://0.0.0.0:7860/v1  (OpenAI 兼容)
   健康检查: http://0.0.0.0:7860/health
   日志   : .../logs/llama-server.log
   停止   : kill $(cat .../llama-server.pid)
============================================================

注意：0.0.0.0 只是“监听所有网卡”的表示，实际访问请换成服务器真实 IP（见第 3 步）。

第 2 步：确认就绪（可选）

curl -s http://127.0.0.1:7860/health
# 返回 {"status":"ok"} 即表示正常

第 3 步：打开网页开始对话

本机访问：浏览器打开 http://127.0.0.1:7860/
局域网其他机器访问：浏览器打开 http://<服务器IP>:7860/（例如 http://10.60.73.124:7860/）

服务器 IP 查询：hostname -I 或 ip addr，找 10.x.x.x / 192.168.x.x 这类内网地址。

三、主要功能

3.1 Web UI 网页对话

浏览器打开 http://<服务器IP>:7860/ 后：

顶部有 System Prompt 输入框（可选）：填入你希望模型扮演的角色，例如“你是一个严谨的中文助手”。
下方是 聊天区：直接输入问题回车发送，模型会流式（逐字）输出回答。
多轮对话：同一窗口内可连续追问，模型保留上下文。
清空对话：点击“Clear”/“清空”按钮可重置上下文，重新开始。

思考模式下，回答前会先输出一段“思考过程”，再给出最终答案。这是正常现象。

3.2 OpenAI 兼容 API 调用

API 地址前缀：http://<服务器IP>:7860/v1，兼容 OpenAI 的 /v1/chat/completions、/v1/completions、/v1/models 等接口。

(1) 查看可用模型名

curl -s http://127.0.0.1:7860/v1/models | jq

(2) 对话接口（chat/completions）

curl -s http://127.0.0.1:7860/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Nanbeige4.3-33B-AD-IQ4_XS",
    "messages": [
      {"role": "system", "content": "你是一个简洁的中文助手。"},
      {"role": "user", "content": "用一句话解释什么是 GGUF 格式。"}
    ],
    "temperature": 0.6,
    "top_p": 0.95,
    "stream": false
  }' | jq -r '.choices[0].message.content'

model 字段填任意字符串都可以被 llama-server 接受（默认不校验），但建议填模型文件名，便于识别。

(3) 流式输出（stream）

把 "stream": true，响应会按 data: 逐段返回，适合实时打字机效果：

curl -s http://127.0.0.1:7860/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Nanbeige4.3-33B-AD-IQ4_XS",
    "messages": [{"role": "user", "content": "写一首关于秋天的四句短诗。"}],
    "temperature": 0.6,
    "top_p": 0.95,
    "stream": true
  }'

(4) Python 调用示例

from openai import OpenAI

client = OpenAI(
    base_url="http://127.0.0.1:7860/v1",
    api_key="not-needed",   # llama-server 默认不校验 key，填任意值即可
)

resp = client.chat.completions.create(
    model="Nanbeige4.3-33B-AD-IQ4_XS",
    messages=[
        {"role": "system", "content": "你是一个严谨的中文助手。"},
        {"role": "user", "content": "你好，介绍一下你自己。"},
    ],
    temperature=0.6,
    top_p=0.95,
    stream=False,
)
print(resp.choices[0].message.content)

3.3 监控与状态端点

端点	作用
`/health`	健康检查，就绪返回 `{"status":"ok"}`
`/v1/models`	列出已加载模型
`/props`	查看服务/模型参数（上下文、线程、采样等）
`/metrics`	Prometheus 格式的运行指标（吞吐量、token 数等）
`/slots`	查看各推理槽位状态

查看当前参数示例：

curl -s http://127.0.0.1:7860/props | jq

3.4 停止服务

cd /root/Nanbeige4.3-33B-GGUF
kill $(cat llama-server.pid)
# 确认已停止：
curl -s http://127.0.0.1:7860/health   # 应连接失败

3.5 查看实时日志

cd /root/Nanbeige4.3-33B-GGUF
tail -f logs/llama-server.log

四、进阶用法

4.1 调整启动参数（不改脚本）

start_app.sh 支持用环境变量临时覆盖默认值，无需改文件。常用项：

环境变量	默认值	说明
`PORT`	`7860`	监听端口
`HOST`	`0.0.0.0`	监听地址（`0.0.0.0`=对外可访问）
`CTX`	`8192`	上下文大小（上下文越大越费显存）
`N_GPU_LAYERS`	`99`	卸载到 GPU 的层数（99=全部；`0`=纯 CPU）
`PARALLEL`	`1`	并发槽位数（每个槽位额外占 KV cache 显存）
`FLASH_ATTN`	`auto`	FlashAttention：`auto` / `on` / `off`
`CACHE_TYPE_K`	空（f16）	K cache 类型，显存紧张时可设 `q8_0`
`CACHE_TYPE_V`	空（f16）	V cache 类型，显存紧张时可设 `q8_0`
`N_THREADS`	CPU 核心数	CPU 线程数（主要影响非 GPU 部分）
`TEMP`	`0.6`	采样温度
`TOP_P`	`0.95`	核采样
`MODEL_DIR`	`./models`	模型目录
`MODEL_FILE`	`Nanbeige4.3-33B-AD-IQ4_XS.gguf`	模型文件名
`LLAMA_DIR`	`./llamacpp`	llama.cpp 安装目录（脚本会自动找 CUDA 版）
`LLAMA_SERVER`	自动查找 CUDA 版	手动指定 `llama-server` 路径

本机显卡为 RTX 4090（24GB 显存）。默认 CTX=8192 时显存占用约 21GB，余量约 3GB；盲目加大 CTX / PARALLEL 可能显存不足（OOM）导致启动失败。显存紧张时可设 CACHE_TYPE_K=q8_0 CACHE_TYPE_V=q8_0 把 KV cache 减半。

示例——换端口 + 加大上下文 + 调高温度（适合 Agent 场景）：

cd /root/Nanbeige4.3-33B-GGUF
PORT=8080 CTX=12288 TEMP=1.0 bash start_app.sh

想强制用 CPU 运行（不占显存，但速度会慢很多）：

N_GPU_LAYERS=0 bash start_app.sh

4.2 切换其他量化模型

把别的 .gguf 文件放进 models/ 目录，然后：

cd /root/Nanbeige4.3-33B-GGUF
MODEL_FILE="你的模型文件名.gguf" bash start_app.sh

4.3 关闭思考模式

模型默认开启思考模式。通过 API 关闭，在请求体里加 chat_template_kwargs：

curl -s http://127.0.0.1:7860/v1/chat/completions \
  -H "Content-Type: application/json" \
  -d '{
    "model": "Nanbeige4.3-33B-AD-IQ4_XS",
    "messages": [{"role": "user", "content": "你好"}],
    "chat_template_kwargs": {"enable_thinking": false}
  }' | jq -r '.choices[0].message.content'

Web UI 中通常也有对应的思考开关；若没有，用上面的 API 方式控制即可。

4.4 远程 / 公网访问

服务绑定 0.0.0.0:7860，已监听所有网卡。能否从外部访问取决于网络配置：

同局域网：直接用服务器内网 IP 访问。
跨网络 / 公网：需在服务器防火墙/安全组放行 7860 端口；或用 SSH 隧道把端口映射到本地：

# 在你自己的电脑上执行，把本地 7860 映射到服务器
ssh -L 7860:localhost:7860 user@<服务器IP>
# 然后浏览器访问 http://localhost:7860/

五、常见问题（FAQ）

Q1：`bash start_app.sh` 报错“模型文件不存在”

检查模型文件是否在 models/ 目录，且文件名与 MODEL_FILE 一致：

ls -lh models/

当前默认文件应为 Nanbeige4.3-33B-AD-IQ4_XS.gguf（约 20GB）。若缺失，需先下载（见部署文档，不在本手册范围）。

Q2：启动后一直等，没有出现“服务已就绪”

模型较大（约 20GB），需从磁盘加载到显存：首次约 10~60 秒，之后走系统缓存会更快。脚本会轮询 /health 直到就绪。可另开窗口看日志确认进度：

tail -f logs/llama-server.log

日志里出现 server is listening / 模型加载完成字样即为正常。若进程直接退出，脚本会打印日志末尾 30 行，按报错排查。

Q3：浏览器打开是 415 / “gzip is not supported”

这是 curl 测试时的已知现象，浏览器访问不会出现此问题。若你用 curl 测试 Web UI，加 --compressed：

curl --compressed http://127.0.0.1:7860/

Q4：回答很慢 / 生成速度慢

当前默认使用 GPU 推理（RTX 4090，33B 模型全部 52 层卸载到显卡），实测约：

生成：约 44 tok/s（纯 CPU 时仅约 1.3 tok/s）
预填（prompt）：约 350~400 tok/s

若明显低于该水平，按顺序排查：

启动横幅是否显示“GPU 推理”，以及 nvidia-smi 中 llama-server 是否占用约 21GB 显存；
是否有其他进程抢占显存（脚本启动时会自动清理显存进程）；
显存不足导致部分层退回 CPU：适当减小 CTX / PARALLEL，或设 CACHE_TYPE_K=q8_0 CACHE_TYPE_V=q8_0；
换更小量化模型（见 4.2）。

Q5：端口 7860 被占用，启动失败

start_app.sh 已内置自动清理端口逻辑，正常情况下会自行释放。若仍失败，手动排查：

ss -ltnp | grep 7860
fuser 7860/tcp
# 找到占用 PID 后 kill

Q6：API 调用返回 404 / 连接被拒绝

确认服务已启动且就绪：curl -s http://127.0.0.1:7860/health
确认地址前缀是 /v1，例如 http://IP:7860/v1/chat/completions
跨机器访问时，确认防火墙/安全组放行了 7860。

Q7：回答出现乱码 / 答非所问 / 重复

多半是采样参数不合适：把 temperature 调低（如 0.3~0.6）；
或上下文 CTX 过小导致长对话被截断，适当增大 CTX 后重启。

Q8：思考模式下回答很长、很啰嗦

思考模式会先输出思考过程，是正常行为。不需要时可关闭（见 4.3）。

Q9：重启服务器后服务没了

当前为后台运行（nohup），重启机器后需手动启动：

cd /root/Nanbeige4.3-33B-GGUF && bash start_app.sh

如需开机自启，可配置 systemd 服务（见部署文档）。

Q10：想换模型但不想改脚本

用环境变量即可，见 4.2 切换其他量化模型。

Q11：如何确认正在用 GPU 推理？

启动完成的横幅会打印“GPU 推理”和本进程显存占用；也可以执行：

nvidia-smi

应能看到 llama-server 进程占用约 21GB 显存。若想强制 CPU 运行：

N_GPU_LAYERS=0 bash start_app.sh

Q12：启动报错 `out of memory` / CUDA 分配失败

说明显存不够（默认配置约占 21GB，余量本就不多）。按以下顺序尝试：

# 1) 降低上下文（最有效）
CTX=4096 bash start_app.sh

# 2) KV cache 量化，显存减半
CACHE_TYPE_K=q8_0 CACHE_TYPE_V=q8_0 bash start_app.sh

# 3) 减少并发槽位
PARALLEL=1 bash start_app.sh

# 4) 只卸载部分层到 GPU（其余留在 CPU，速度会下降）
N_GPU_LAYERS=40 bash start_app.sh

若仍失败，先确认没有其他进程占用显存：nvidia-smi。

Q13：报错“未找到带 CUDA 后端的 llama-server”

说明 CUDA 版 llama.cpp 缺失或被误删。检查目录：

ls llamacpp/llama-b11900-cuda/llama-server

若不存在，需要重新安装 CUDA 版（见部署文档）；也可以临时用 CPU 运行：

N_GPU_LAYERS=0 bash start_app.sh

六、速查命令清单

cd /root/Nanbeige4.3-33B-GGUF

# 启动
bash start_app.sh

# 停止
kill $(cat llama-server.pid)

# 健康检查
curl -s http://127.0.0.1:7860/health

# 实时日志
tail -f logs/llama-server.log

# 查看模型参数
curl -s http://127.0.0.1:7860/props | jq

# 查看已加载模型
curl -s http://127.0.0.1:7860/v1/models | jq

# 带参数启动（换端口/加大上下文/调温度）
PORT=8080 CTX=12288 TEMP=1.0 bash start_app.sh

# 强制 CPU 运行
N_GPU_LAYERS=0 bash start_app.sh

# 查看 GPU 占用
nvidia-smi

七、访问地址汇总

服务	地址
Web UI	`http://<服务器IP>:7860/`
OpenAI API	`http://<服务器IP>:7860/v1`
健康检查	`http://<服务器IP>:7860/health`
监控指标	`http://<服务器IP>:7860/metrics`

服务器 IP 查询：hostname -I。本机访问用 127.0.0.1 代替服务器 IP。

鸡鸡你太美

认证作者

个人主页

0 个镜像 · 被使用 3 次

交流与支持

扫码加入交流群

作者与用户在群内答疑

版本日志

v1.2最新

2026-10-27

修复问题

v1.1