InkshadeWoods/dsh-tool-visual-primitives 预览 preview

InkshadeWoods/dsh-tool-visual-primitives

DeepSeek Harness 视觉增强插件:将图片交给外部视觉模型分析,输出带坐标化视觉原语的纯文本证据,使不支持多模态的文本模型也能在对话中理解图片、截图与文档。

Project Overview项目介绍

The DSH Visual Primitives plugin adds vision to text-only models by routing images to an external vision model and returning plain-text evidence with normalized coordinates and referenceable objects (<ref>/<box>/<point>, 0–999), so the host model needs no native image input. It auto-detects 11 task modes with three detail levels, suiting screenshot UI replication, chart interpretation, and UI Q&A. Users must supply an OpenAI-compatible vision endpoint; remote URLs block private addresses to prevent SSRF, and output quality depends on the external model.

DSH 视觉原语插件为纯文本模型补齐视觉能力,把图片交给外部视觉模型分析,再以归一化坐标和可引用对象(<ref>/<box>/<point>,0–999)回传纯文本证据,无需原生图像输入。提供 11 类自动任务模式与三档细节控制,适合截图 UI 复刻、图表解读、界面操作问答。需自备兼容的视觉服务(默认 OpenAI 风格 /chat/completions),远程 URL 禁用内网以防 SSRF,效果依赖外部模型质量。

Pre-install check安装前体检Compatibility · Security兼容性 · 安全性 1 warning1 项注意
  • Only 2 stars - very few users, little community feedback星标只有 2,几乎没人在用,遇到问题缺少社区反馈
DSH walks through these 9 checksDSH 会逐条核对这 9 项

Compatibility兼容性

  • DSH, Node, OS and profile requirementsDSH 版本 / Node 版本 / 操作系统 / profile 是否满足要求
  • External dependencies and runtimes (Electron / Python / Docker, ...)外部依赖与运行时(Electron / Python / Docker 等)是否齐备
  • Conflicts with installed plugins: command names, skill / tool names, ports, duplicate MCP registration与已装插件是否冲突:命令名、skill / tool 重名、端口占用、重复 MCP 注册

Security安全性

  • Repo matches the facts registered here; archived or abandoned?仓库是否与页面登记一致,是否归档或长期停更
  • Safety of preinstall / install / postinstall and install.sh / setup.ps1preinstall / install / postinstall 与 install.sh、setup.ps1 是否安全
  • curl|bash, download-then-execute, obfuscation, unrelated domains → stop immediatelycurl|bash、下载即执行、混淆代码、无关域名 → 立刻停止
  • Typosquatting or unmaintained packages among the new dependencies新增依赖里有没有 typosquatting 或无人维护的包
  • Requested permissions vs. what the feature actually needs申请了哪些权限、是否超出功能所需(filesystem / network / shell / clipboard)
  • Any sudo / admin requirement, plus uninstall and rollback是否要求 sudo / 管理员权限,以及卸载与回滚方式

Anything uncertain must be marked unknown with a note on how to confirm it. This site's signal screen is a static snapshot, not a security audit.拿不准的必须标「未知」并说明要我怎么确认。本站的信号筛查是静态快照,不能替代安全审计。

Or use CLI install (for developers)或使用命令行安装(适合开发者)

CLI Install命令行安装

dsh plugin --profile web add dsh-tool-visual-primitives@latest

把 InkshadeWoods/dsh-tool-visual-primitives 加入你的 DSH 配置(web profile)即可启用。

READMEREADME

dsh-tool-visual-primitives

为 DeepSeek Harness(DSH) 的纯文本模型补充视觉能力。插件把图片交给外部视觉模型分析,再把带有空间定位信息的纯文本视觉证据交回原对话模型;因此,被增强的模型不需要原生图片输入能力。

核心思路参考 DeepSeek 的 Thinking with Visual Primitives:以归一化坐标和可引用对象,将图像理解转化为后续推理可使用、可检查的证据。

已发布至 npm。推荐使用下方的 DSH 官方一键安装命令;GitHub 源码挂载方式保留给开发与本地调试。

1.5.3 更新

  • 声明对 DSH 0.2.0-rc.2 的兼容性:已在 Web 与桌面版真实环境实测通过(对话增强、vision_analyze 工具、凭据读写、设置面板全链路正常)。0.2.0 起版本门禁同时检查 engines.dsh 与 peerDependencies,本插件两侧均为 >=0.1.2-rc.1 开下界声明,无需豁免直接通过。
  • 修复官方模型对话报 Invalid schema for function 'vision_analyze' 的问题:工具参数声明改为标准 JSON Schema(type: "object" 根),与宿主 defineTool 编译产物同形态。宿主把工具参数原样透传给模型 API,DeepSeek 官方端严格校验 schema 必须以 object 为根,旧的属性映射写法会被拒绝;自定义模型不受影响。
  • 修复桌面版设置面板 403 的问题:桌面形态下前端经 Electron 自定义协议加载且不带 Referer,同源校验新增对回环目标的放行分支(缺来源头,或来源为非 http/https 协议时放行回环请求);浏览器恶意网页必带 http/https Origin,无法进入新分支,安全性不倒退。
  • 前置条件更新:要求 DSH 0.1.2-rc.1 或更高版本,已实测至 0.2.0-rc.2。

1.5.2 更新

  • 声明对 DSH 0.1.7-rc.2 的兼容性:已对 0.1.5-rc.2 → 0.1.7-rc.2 的宿主契约面做过完整比对(ctx.llm 适配器与路由、ctx.credentials、ctx.attachments.readImage、ctx.fs、ctx.remote.credentials RPC、webServer 路由注册、client 装配四注入点全部兼容),并在真实会话中运行验证通过。
  • 修复 SSRF 防护的两个缺陷(vision/image-source.mjs):① 移除 ::ffff:0:0/96 封锁规则——Node 的 BlockList 内部将所有 IPv4 地址以 IPv4-mapped 形式存储,该规则会误杀全部公网 IPv4 主机;IPv4 规则本身即可覆盖映射形式。② net.connect 自定义 lookup 回调改为 all: true 数组契约,并在解析结果全部命中封锁时显式回调错误——此前传单地址字符串会被 Node 静默丢弃、空结果传 undefined,均表现为 ERR_INVALID_IP_ADDRESS。
  • 附件读取错误码附带原始 message(vision/analysis-core.mjs):非 ATTACHMENT_* 故障(如 SSRF 守卫抛出的普通 Error)不再被折叠成裸 ATTACHMENT_READ_ERROR,保留稳定后缀供机器匹配的同时输出真实原因,便于诊断。
  • 适配 0.1.7 新增宿主能力的说明:宿主持新增了 IMAGE_OFFLOAD_REQUIRED 图片预算机制与 text-only 模型图片投影工具,但桥接模型声明 image 输入能力,宿主会将图片原样转发给桥接适配器,由插件转换为视觉证据文本后再转发底层模型,与宿主持机制互不冲突。
  • GUI 模型选择器在 0.1.7 起按 catalog 成员资格过滤:插件的 listModels 会动态列出全部已启用路由的桥接模型,配置后即可在选择器中正常显示与选用。

1.5.1 更新

  • 声明对 DSH 0.1.5-rc.2 的兼容性:已在真实会话中实测通过(对话增强 bridge 调用、凭据读写、设置与模型目录路由、附件读取全链路正常)。
  • 新增 @deepseek-ai/dsh peer 依赖声明(>=0.1.2-rc.1),与既有的引擎声明一致,供 npm 安装解析时校验宿主版本。

1.5.0 更新

  • 修复 DSH 0.1.2-rc.1 上设置页保存时“DSH 凭据服务暂不可用”的问题:凭据读写迁移到新的 ctx.remote.credentials 接口,并保留旧宿主的兼容路径。
  • “对话增强”模型选择器现在会置灰本身支持图片输入的模型(它们无需桥接),并标注“自带图片支持,无需增强”。
  • 网关拒绝图片输入(如 Model do not support image input)或视觉模型返回空内容时,改为清晰的中文错误提示,不再把网关原始 JSON 注入对话。
  • 修复持久化设置被 null 覆盖、模型目录响应无上限读取等问题。
  • 完善重试路径诊断、空响应拦截、并发去重注释等稳定性细节。

Showing the opening section of the README — the full document lives in the repository以上为 README 开头摘要,完整文档在仓库内 · View the full README on GitHub →在 GitHub 查看完整 README →

← 上一个 Prev dsh-paperforge 下一个 Next dsh-skill-manager →