DZQJOKER/dsh-plugin-local-model

dsh-plugin-local-model

给 DeepSeek Harness（dsh） 用的本地模型插件：在设置里管理本地 GGUF 模型， 第一条对话自动拉起 llama.cpp 载入模型，连续 5 分钟无交互自动卸载并释放显存； 设置页顶部还有一块参数预设，把整套参数存成带名字的条目，一键切换。

模型和 llama 工具由用户自己下载，放进插件规定的目录即可 —— 插件不联网拉模型、不碰工作区文件、 除本机回环地址外不监听任何端口。

更新日志

• 0.7.0 — ① 修掉「装上视觉投影文件后一直报 400 Failed to load image or audio file」。根因不在插件、也不在模型：llama.cpp 内置的图像解码器只认 png / jpeg / gif / bmp 这些老格式，不认识 WebP；遇到 WebP 它会去起外部的 ffprobe 探测、ffmpeg 转码，而这两个是从 PATH 里找的（这个构建砍掉了 --ffmpeg-path，只剩 PATH 一条路）。机器上没装 ffmpeg 时，服务端会打 probe: failed to launch ffprobe / failed to decode webp buffer，客户端拿到 400 —— 而同一批里的 JPEG 却能正常识别（dsh 转码时两种格式都会产出，实测 .dsh/attachments/v1/request-images/ 下两种都有），所以表现是「时好时坏」，极易被当成插件或模型坏了。现在：插件会自动找到 ffmpeg 并把它的目录前置进 llama-server 子进程的 PATH（不必改系统 PATH、也不必为此重启 dsh），找不到且已开视觉时会打出一条说清「哪个格式会失败、为什么只有它、怎么修」的警告。装法：winget install Gyan.FFmpeg。 ② MTP 与视觉投影从「互斥」改为「可共存」（新增设置项 mtpWithVision，默认开启）。原规则来自上游 llama.cpp（两者同时下发会加载失败），但 kvmem 分支的 llama-kvmem-server 实测支持：同时给 --mmproj 与 --spec-type draft-mtp 时 clip_model_loader: has vision encoder 与 creating MTP draft context 会同时出现、服务正常起来、看图对话也能识别（2026-09-21 本机验证）。换回官方 llama.cpp 的用户把这个开关关掉即恢复旧的互斥行为（MTP 生效、--mmproj 被忽略并给出说明）。 ③ 设置页顶部新增「本次启动参数」面板：把这次真正下发给 llama-server 的完整命令行逐项一行列出来（不是设置页里填的那一份 —— 两者之间隔着门控跳过、构建默认值与自动收敛），配一张参数摘要（含派生的「GPU KV 合计 = 工作集 + 解码预留」）、一条「复制命令行」按钮、以及被跳过的选项与识别表没覆盖到的选项（后者过去只躺在日志里）。刷新跟随运行状态轮询，换模型/改参数后自动更新。

• 0.6.0 — ① 补齐 kvmem 分支（kvmem/kvmem-llama.cpp）的全部缺失启动参数，共 31 项：KVMem 家族 18 项（--kvmem / --kvmem-budget / --kvmem-gen-reserve / --kvmem-block-tokens / --kvmem-sink-tokens / --kvmem-recent-tokens / --kvmem-method / --kvmem-query-last / --kvmem-query-max-tokens / --kvmem-query-replay / --kvmem-query-policy / --kvmem-mtp-state / --kvmem-gpu-ratio / --kvmem-cpu-gb / --kvmem-nvme-gb / --kvmem-nvme-dir / --kvmem-harvest-v / --kvmem-raw-k-nvme）、外加 -n/--n-predict、-lm/--load-mode、--kv-dtype、--spec-kv-dtype、--spec-draft-n-max、--spec-draft-p-min、--frequency-penalty、--mmproj-offload、--chat-template-file、--chat-template-kwargs、--reasoning-effort、--reasoning-budget-message。默认值一律是「不下发」（数字项用 -1 当哨兵、字符串用空串），所以装官方 llama.cpp 的部署行为一字不变；kvmem 专有项走严格门控，探测不到就整体跳过并在日志里说明。 ② 新增「输出上限溢出保护」（guardContextOverflow，默认开启）。上游 llama.cpp 遇到 prompt + max_tokens > n_ctx 只打一条 warning 再自行收敛，而 kvmem 那个独立 server 是硬拒绝：HTTP 400 {"error":"prompt + max_tokens exceeds n_ctx"} —— 报错里既没有 prompt 长度也没有 n_ctx，用户只能乱试。现在代理会先把「必然失败」（max_tokens >= n_ctx，任何非空提示词都放不下）的上限预防性压到 n_ctx − 1024，再对服务端明确拒绝的请求逐级减半重试（只缓冲 400，其余状态码照旧流式直通，正常对话零额外开销）；实在装不下时把原文换成一句带上真实 n_ctx 与最可能原因的中文说明。 ③ 新增加载期配置一致性提醒：maxTokens 不小于 ctxSize（本轮线上故障的根因）、超过一半、或 --kvmem-gen-reserve 小于单次输出上限时，加载日志里直接点明后果与建议值。 ④ 修掉一处静默缺陷：被跳过选项的汇总提示原先在采样参数之后就结算了，导致后面新增的每一项（--kvmem-* / -n / -lm …）被跳过后都不会出现在日志里。 ⑤ 新增「KVMem 分块缓存」与「多 Token 预测（MTP）细节」两个设置分组。