moon09300731/dsh-vision-tools

DeepSeek Harness视觉能力全家桶:vision_understand工具+粘贴/拖拽/按钮三入口识图

Project Overview项目介绍

This is a native plugin built exclusively for DeepSeek Harness (DSH) that adds visual understanding capabilities to pure-text DeepSeek models running on DSH. It provides a core vision_understand tool that is registered globally for all DSH sessions to use. You can install it via two DSH CLI commands: the recommended method is running dsh plugin --profile web add dsh-vision-tools, and the alternative is installing directly from GitHub with dsh plugin --profile web add "github:moon09300731/dsh-vision-tools#main". After installation completes, you need to restart the dsh web process for the plugin to take effect.

After installation and initial configuration, you can import images for visual analysis in three different convenient ways within DSH. You can paste a screenshot directly from your clipboard with Cmd/Ctrl+V, drag an image file onto the dedicated "📷 识图" button added by the plugin to the DSH UI, or click the same button to select a local image file manually. All imported images are automatically saved to the $DSH_HOME/pasted-images/ directory, and the input field is automatically populated with a formatted prompt asking the model to identify the image at the saved file path. When you send the message, the model automatically triggers the vision_understand tool to process the image and return a result.

The plugin defaults to using Zhipu's free GLM-4.6V-Flash model, and supports switching between four different vision API providers: Zhipu, Dashscope, SiliconFlow, and OpenAI. If the primary model you selected hits rate limits, the plugin will automatically retry the request once with a predefined fallback model, which reduces failure rates during peak usage times. You need to create a ~/.dsh/vision.env file to set your provider, API key, and optional custom base URL and model names, and you can also add a project-specific override file in your working directory. Important notes include that images are sent to external APIs over the public internet, so sensitive images should not be processed with this plugin. It is released under the open source MIT license.

这是一款专为 DeepSeek Harness (DSH) 开发的原生视觉工具插件,核心功能是为 DSH 中的纯文本 DeepSeek 大模型添加图片理解能力,支持通过粘贴截图、拖拽图片到指定按钮、点击按钮选择本地文件三种方式导入图片,导入后自动保存图片到指定目录,注册为全局工具所有会话都可使用。

插件默认使用智谱 GLM-4.6V-Flash 免费模型,同时支持切换阿里百炼、硅基流动、OpenAI 四家服务商。当主模型触发限流时,插件会自动降级到预设的 fallback 模型重试一次,降低高峰期请求失败的概率,提升使用稳定性,配置支持全局和工作区两种,修改后无需重启 DSH。

使用前需要在 ~/.dsh/vision.env 配置服务商和 API Key,注意图片会经外部 API 出网传输,不要上传敏感图片。另外本插件依赖 DSH 运行时自带的 @deepseek-ai/dsh-tools,不要额外安装,避免模块冲突导致工具执行崩溃,插件遵循 MIT 开源协议免费发布。

Pre-install check安装前体检Compatibility · Security兼容性 · 安全性 1 warning1 项注意
  • Only 3 stars - very few users, little community feedback星标只有 3,几乎没人在用,遇到问题缺少社区反馈
DSH walks through these 9 checksDSH 会逐条核对这 9 项

Compatibility兼容性

  • DSH, Node, OS and profile requirementsDSH 版本 / Node 版本 / 操作系统 / profile 是否满足要求
  • External dependencies and runtimes (Electron / Python / Docker, ...)外部依赖与运行时(Electron / Python / Docker 等)是否齐备
  • Conflicts with installed plugins: command names, skill / tool names, ports, duplicate MCP registration与已装插件是否冲突:命令名、skill / tool 重名、端口占用、重复 MCP 注册

Security安全性

  • Repo matches the facts registered here; archived or abandoned?仓库是否与页面登记一致,是否归档或长期停更
  • Safety of preinstall / install / postinstall and install.sh / setup.ps1preinstall / install / postinstall 与 install.sh、setup.ps1 是否安全
  • curl|bash, download-then-execute, obfuscation, unrelated domains → stop immediatelycurl|bash、下载即执行、混淆代码、无关域名 → 立刻停止
  • Typosquatting or unmaintained packages among the new dependencies新增依赖里有没有 typosquatting 或无人维护的包
  • Requested permissions vs. what the feature actually needs申请了哪些权限、是否超出功能所需(filesystem / network / shell / clipboard)
  • Any sudo / admin requirement, plus uninstall and rollback是否要求 sudo / 管理员权限,以及卸载与回滚方式

Anything uncertain must be marked unknown with a note on how to confirm it. This site's signal screen is a static snapshot, not a security audit.拿不准的必须标「未知」并说明要我怎么确认。本站的信号筛查是静态快照,不能替代安全审计。

Or use CLI install (for developers)或使用命令行安装(适合开发者)

CLI Install命令行安装

dsh plugin --profile web add dsh-vision-tools

把 moon09300731/dsh-vision-tools 加入你的 DSH 配置(web profile)即可启用。

READMEREADME

dsh-vision-tools

DeepSeek Harness(DSH)视觉能力全家桶 —— 让 DeepSeek 纯文本模型"看得见"。

  • vision_understand 工具:调用 OpenAI 兼容视觉大模型 API 理解本地图片(描述画面、识别文字、回答问题),注册为全局工具,所有会话可用。
  • 三入口识图:Cmd/Ctrl+V 粘贴截图、拖图到按钮、点按钮选文件 → 图片自动落盘到 $DSH_HOME/pasted-images/ → 输入框填入 请识别这张图片:<路径> → 发送后模型自动调用识图工具。

默认使用智谱 GLM-4.6V-Flash(免费),支持 4 家 provider 切换。被限流时**自动降级到 GLM-4V(glm-4v-flash)**重试,免费模型高峰期也不容易失败。

安装

# 方式一:npm 安装(推荐)
dsh plugin --profile web add dsh-vision-tools

# 方式二:GitHub 安装
dsh plugin --profile web add "github:moon09300731/dsh-vision-tools#main"

重启 dsh web 后生效。

配置(vision_understand 工具需要)

创建 ~/.dsh/vision.env(全局生效,推荐):

VISION_PROVIDER=zhipu        # zhipu | dashscope | siliconflow | openai
VISION_API_KEY=你的APIKey

可选覆盖:

VISION_BASE_URL=https://open.bigmodel.cn/api/paas/v4/chat/completions
VISION_MODEL=glm-4.6v-flash

限流自动降级(可选):

VISION_FALLBACK_MODEL=glm-4v-flash
  • 主模型 VISION_MODEL 被限流(HTTP 429 / 负载过高 / 频率限制等)时,自动降级到 VISION_FALLBACK_MODEL 重试一次
  • 缺省降级模型 = provider 预设模型(zhipu → glm-4v-flash,即 v4 版本);主模型与降级模型相同时不会重复请求
  • 仅限流类错误触发降级;密钥无效、参数错误等业务错误不降级,直接报错
provider 默认模型 说明
zhipu glm-4.6v-flash 智谱,免费(128K 上下文,支持思考模式)
dashscope qwen-vl-plus 阿里百炼
siliconflow Qwen/Qwen2.5-VL-7B-Instruct 硅基流动
openai gpt-4o-mini OpenAI

工作区回退:在项目目录放 .dsh-vision.env(同格式),仅该项目生效。配置每次调用实时读取,改完无需重启。

使用

  1. 粘贴:直接 Cmd/Ctrl+V 粘贴剪贴板截图(捕获阶段拦截,优先于 GUI 自身附件处理)
  2. 拖拽:拖图片到输入框左侧的「📷 识图」按钮
  3. 选择:点「📷 识图」按钮选文件

发送后 agent 会自动调用 vision_understand 识别图片。

安全边界

  • 图片会经外部视觉 API 出网(base64 传输),敏感数据请改用本地 OCR(tesseract/paddleocr),或自建内网视觉服务用 VISION_BASE_URL 指向
  • vision.env 含 API Key,不要提交到 git(本仓库 .gitignore 已忽略)
  • 粘贴路由仅监听 DSH 本机端口,图片保存于 $DSH_HOME/pasted-images/

技术说明

⚠️ 依赖约定:@deepseek-ai/dsh-tools 是 DSH 宿主运行时自带(bundle 机制提供),本插件不声明为 dependencies。若声明,dsh plugin add 触发 npm install 会在 profile 里装出第二份 dsh-tools,与宿主全局那份形成模块双实例,导致工具执行层 scheduler.prepare 崩溃(Cannot read properties of undefined (reading 'prepare'))。安装后建议确认 profile 的 node_modules/@deepseek-ai/dsh-tools 是符号链接或单实例。

  • 宿主半区:src/index.mjs(Cordis 插件,inject: ['tools', 'webServer'])
    • vision_understand 工具经 defineTool 注册(@deepseek-ai/dsh-tools)
    • POST /api/vision-paste 路由落盘粘贴图片
  • 浏览器半区:lib/client.bundle.js(手写 __ModuleLoader__ bundle,零构建依赖)
    • conversation.input.left slot 注册「📷 识图」按钮
    • 捕获阶段 paste 监听拦截剪贴板图片

License

MIT

← 上一个 Prev dsh-mobile 下一个 Next clamicro →