DSH Plugin HubDSH 插件市场

beijingwahw/dsh-computer-use-plugin

Desktop桌面端 Native原生 ⭐ 3 MIT Vision & Media视觉与多媒体Clients & Launchers客户端与启动器Prompts & Skills提示词与技能

Vision-only desktop automation agent plugin for DeepSeek Harness (DSH) | 纯视觉桌面自动化 Agent 插件：SoM grounding · Planner-Actor · effect verification · skill library

Project Overview项目介绍

Edited by Zhiwei Agent (zhiwei)由知微Agent(zhiwei)编辑

This is a native Computer Use plugin built exclusively for DeepSeek Harness (DSH). It uses a pure vision-only grounding architecture that eliminates the need for underlying UI tree or Accessibility API dependencies, allowing AI to interact with computers just like humans do, by reading screenshots. It works cross-platform on Windows, Mac, and Linux, and can handle operations in cloud sandboxes, over RDP connections, and even on game interfaces. To install, you add it as a dependency in your DSH project's package.json, and it activates automatically once installed.

The plugin uses a Planner-Actor two-layer architecture that automatically splits long-horizon tasks into atomic steps and executes them one by one. It includes four layers of verification to solve common failure modes of pure visual CUA agents, such as misdetection of failed clicks, coordinate hallucination, lack of cross-session memory, and non-reproducible success paths. It is designed for developers and users who need AI to perform desktop automation tasks, and supports saving successful execution trajectories as reusable skills. It also includes multiple safety guards to prevent unsafe operations and infinite retry loops.

This plugin is released under the permissive MIT open source license. Pre-built build artifacts are already committed to the repository, so no build step is required at installation time. All framework dependencies, such as Cordis and DSH core tools, are provided by the DSH host, and the plugin registers and activates automatically after installation. Before first run, you need to grant your terminal screen recording and accessibility permissions, and it is strongly recommended to run this plugin inside an isolated environment like a Docker container or virtual machine for security.

这是一款专为 DeepSeek Harness (DSH) 打造的原生 Computer Use 插件。它采用不依赖底层 UI 树的纯视觉 Grounding 架构，让 AI 像人类一样通过查看屏幕截图来理解和操作电脑。无需依赖系统的 Accessibility API，支持 Win/Mac/Linux 全平台跨端使用，还能操作云端沙箱、RDP 连接甚至游戏界面。

插件采用 Planner-Actor 双层架构，支持将长程任务自动拆解为原子操作逐步执行，自带四层验证栈来解决纯视觉 CUA Agent 的常见失败问题，包括点击落空误判、坐标幻觉、无跨会话记忆、成功路径不可复现等。它适合需要 AI 执行桌面自动化任务的开发者和用户，支持复杂任务的执行与成功经验的沉淀固化。

本插件遵循 MIT 许可开源，预编译产物已经提交到仓库，安装时不需要重新构建。框架依赖由 DSH 宿主提供，安装后可自动注册激活。使用前需要给终端授予屏幕录制和辅助功能权限，推荐在隔离环境（Docker、虚拟机等）中运行以保证安全。

View on GitHub在 GitHub 查看

Recommended强烈推荐 Send to your DSH发给你的 DSH 安装 
请帮我安装这个 DSH 插件。安装前先完成【兼容性检查 + 安全性检查】，检查通过再动手。

插件：dsh-computer-use-plugin（beijingwahw/dsh-computer-use-plugin）
仓库：https://github.com/beijingwahw/dsh-computer-use-plugin
本站详情页：https://www.yhbd.top/plugins/beijingwahw-dsh-computer-use-plugin/
本站登记：类型 client · 归类 原生 DSH 插件 · 许可证 MIT · ⭐ 3 · 最近提交 2026-10-03 · 主语言 TypeScript

按下面顺序执行，每步先把结论告诉我，再进入下一步：

【1 兼容性检查】
① 我这边：DSH 版本、Node 版本、操作系统、当前 profile（web / desktop）。
② 读它的 README、package.json、插件 manifest，列出它要求的 DSH 版本 / Node 版本 / 操作系统 / 外部依赖 / 需要另外先装的运行时。
③ 逐条比对，结论只写「满足 / 不满足 / 未知」三种；不满足的给出可行替代方案。
④ 检查是否和我已装的插件冲突：命令名重复、skill / tool 重名、端口占用、重复注册的 MCP server。

【2 安全性检查】
① 仓库可信度：和上面「本站登记」是否一致；star / fork 数、创建时间、最近提交，是否归档或长期停更。
② 安装脚本：逐行看 package.json 的 preinstall / install / postinstall，以及 install.sh、setup.ps1 之类脚本。出现 curl|bash、下载后直接执行、混淆代码、访问与插件功能无关的域名，立刻停下来告诉我，不要继续装。
③ 依赖：列出新增依赖，标出无人维护、或与知名包拼写近似的可疑包（typosquatting）。
④ 权限与副作用：它会读写哪些目录、访问哪些域名、需要哪些 DSH 权限（filesystem / network / shell / clipboard 等），以及怎么卸载和回滚。
⑤ 如果它要求 sudo / 管理员权限，或权限明显超出功能所需，先停下来问我。

【3 安装】
上面两步没有「不满足」和「高危项」时才执行；用官方推荐方式安装，不要自行提权。

【4 汇报】
用表格输出：检查项 / 结论 / 依据 / 是否需要我决策。拿不准的一律写「未知」并说明要我怎么确认——不要猜，也不要替我决定。

Send this message to DSH in your current session: it verifies compatibility and security first (answering met / not met / unknown item by item) and only installs once everything checks out — it will stop and ask you if it finds a high-risk item. The box scrolls; the copy is the full prompt. CLI install commands may not be accurate across systems, so DSH is the safer route.把上面这条消息直接发给当前会话里的 DSH：它会先核对兼容性与安全性（逐条给「满足 / 不满足 / 未知」），确认没问题再安装，有高危项会停下来问你。框内可滚动，复制到的是完整提示词；安装命令不一定准确，发给 DSH 更稳。

Pre-install check安装前体检Compatibility · Security兼容性 · 安全性 2 warnings2 项注意
  • Only 3 stars - very few users, little community feedback星标只有 3，几乎没人在用，遇到问题缺少社区反馈
  • Desktop client: installation downloads an executable - verify the publisher and checksums桌面客户端：安装会下载可执行文件，请核对发布者与校验和
DSH walks through these 9 checksDSH 会逐条核对这 9 项

Compatibility兼容性

  • DSH, Node, OS and profile requirementsDSH 版本 / Node 版本 / 操作系统 / profile 是否满足要求
  • External dependencies and runtimes (Electron / Python / Docker, ...)外部依赖与运行时（Electron / Python / Docker 等）是否齐备
  • Conflicts with installed plugins: command names, skill / tool names, ports, duplicate MCP registration与已装插件是否冲突：命令名、skill / tool 重名、端口占用、重复 MCP 注册

Security安全性

  • Repo matches the facts registered here; archived or abandoned?仓库是否与页面登记一致，是否归档或长期停更
  • Safety of preinstall / install / postinstall and install.sh / setup.ps1preinstall / install / postinstall 与 install.sh、setup.ps1 是否安全
  • curl|bash, download-then-execute, obfuscation, unrelated domains → stop immediatelycurl|bash、下载即执行、混淆代码、无关域名 → 立刻停止
  • Typosquatting or unmaintained packages among the new dependencies新增依赖里有没有 typosquatting 或无人维护的包
  • Requested permissions vs. what the feature actually needs申请了哪些权限、是否超出功能所需（filesystem / network / shell / clipboard）
  • Any sudo / admin requirement, plus uninstall and rollback是否要求 sudo / 管理员权限，以及卸载与回滚方式

Anything uncertain must be marked unknown with a note on how to confirm it. This site's signal screen is a static snapshot, not a security audit.拿不准的必须标「未知」并说明要我怎么确认。本站的信号筛查是静态快照，不能替代安全审计。

Or use CLI install (for developers)或使用命令行安装（适合开发者）

CLI Install命令行安装 

dsh plugin add beijingwahw/dsh-computer-use-plugin --profile web

把 beijingwahw/dsh-computer-use-plugin 加入你的 DSH 配置（web profile）即可启用。

READMEREADME

150.7 KB · 缓存于 2026-10-03 22:11:35 · 150.7 KB

基于 DeepSeek Harness (DSH) 构建的 Computer Use 插件

中文 | English

基于 DeepSeek Harness (DSH) 构建的 Computer Use 插件。完全摒弃底层 UI 树依赖，采用纯视觉 Grounding 架构，让 AI 像人类一样通过"看"屏幕截图来理解和操作电脑。

核心特性

  • 纯视觉 Grounding (Vision-Only)：无需 Accessibility API，跨平台（Win/Mac/Linux），支持操作云端沙箱、RDP 甚至游戏界面
  • Set-of-Mark (SoM) 视觉辅助：截图自动叠加网格、绿色鼠标准星与元素编号框，并在状态锚点中附带图例说明，消灭大模型坐标幻觉
  • 智能上下文管理：滑动窗口 + 图像降级为文字摘要 + llm/pre-request 注入，无论截多少图，模型永远只看到最新 N 张 + 历史文字占位符
  • 状态锚点协议：所有工具返回 {status, state_anchor, next_step} 三段式结构化反馈，MANDATORY 指令强制 ReAct 验证闭环
  • Planner-Actor 双层架构：start_complex_task 元工具自动将长程任务拆解为原子操作并逐步执行，子任务失败即 fail-fast
  • 企业级安全四守卫：坐标边界校验、连续失败熔断、敏感操作审计、弹窗联动拦截（waterfall 短路语义）
  • 全量桌面操作：截图、点击、输入、滚动、快捷键、拖拽、标签页/窗口切换、弹窗处理
  • 可插拔混合模式：可选接入本地视觉模型（OmniParser 类）与无障碍 Provider 获得精确坐标
  • GLM-5.3-Flash 云脑皮层（可选）：十器官外接智谱视觉大模型（元素接地 / 语义判决 / 看屏问答 ask_screen），与本地感知保守双脑仲裁，零 Key 零成本优雅降级
  • 万脑归一（纪元 Ψ）：全平台视觉模型统一支持——13 颗脑（智谱 / OpenAI / Anthropic / Gemini / 通义 / Kimi / 豆包 / Grok / 硅基流动 / OpenRouter + Ollama/vLLM/LM Studio 本地免钥）密钥给谁就用谁，主力挂了备补位；缺省 GLM 行为逐字节不变
  • 自主智能环（纪元 Φ，默认关闭）：autonomous_run 元工具一次调用驱动"识别→判断→执行→进化"四环闭环——自主宪法六律立法（destructive 恒审批），立法者显式开启才自主

世界级突破：四大自研引擎

针对纯视觉 CUA Agent 的四个真实失败模式，各以一个引擎对症击破：

失败模式 引擎 机制
盲点：点击落空却以为成功 行为效果验证（perceptualHash + actionVerifier） 动作前后各取一次整屏 dHash 指纹，汉明距离对比；相似度 > 0.97 判定疑似无效操作，锚点直接告警并引导 zoom_inspect 复位
坐标幻觉：全屏估坐标误差大 二阶段定位（zoom_inspect） 裁剪目标邻域放大重绘 2 倍密度细网格，锚点附带 crop_bounds 与映射公式 full_x = x0 + fx*(x1-x0)，微观定位精确映射回全屏
无跨会话记忆：每次从零找按钮 场景式 UI 记忆（remember_ui / recall_ui） 验证生效的点击自动沉淀为 landmark；自然语言召回（中英混合分词 + 重合系数 + 成功次数加成 + 时间衰减），召回值仅作先验、强制截图复核
不可复现：成功路径无法固化 行动日志与重放（journal + replay_actions） post-execute 观察者记录全部动作 JSONL（可落盘）；replay_actions 按 confirm 显式确认后逐步重放，成功操作序列即刻变成可执行宏

配套增强：

  • 递进式恢复提示：熔断守卫升级 —— 第 1 次失败注入「zoom 精定位」建议，第 2 次注入「换模态（键盘导航/滚动/记忆召回）」建议，第 3 次熔断冷静一轮
  • 干跑模式（dryRun: true）：动作类系统调用只记录不执行、截图保持真实 —— 提示词调试与演示的零风险沙箱
  • 置信度自报：click_mouse.confidence < 0.6 时主动建议先 zoom_inspect，把模型的不确定性显式化

第二轮优化创新：自适应感知闭环

四大引擎各自工作后，暴露出四个新的系统性损耗点，本轮以「指纹驱动」统一击破：

损耗点 机制 收益
重复截图：屏幕没变也全管线跑一遍 变化门控（change-gated screenshots）：截屏后先算 dHash，与窗口内最新指纹距离 ≤ 3 ⇒ 跳过压缩/入窗，返回 unchanged 锚点引用旧图（force:true 可强制刷新） 稳态场景 Token 与 CPU 双降；模型被明确告知"屏幕未变，勿重截"
动画期误判：固定 400ms 后验证，把"还在动"当成"生效了" 自适应稳定等待：轮询整屏指纹直到相邻两次距离 ≤ 1（屏幕稳定）或超时 settleMs×4 验证窗口自动对齐 UI 真实节奏，快页面提前返回，慢页面等够
原样重试死循环：失败后同坐标再点、同文本再输 防死循环守卫：上次同签名动作已验证无效 ⇒ 立即拦截并注入换策略指引（zoom / recall / 键盘导航 / 滚动）；无效果信息时第 3 次重复拦截 幂等重试留余地，盲目复读必拦截
记忆跨场景误召回：登录页记住的坐标被召回给设置页 场景指纹加成：landmark 记录形成时的整屏指纹；recall_ui 用当前窗口指纹做匹配，同场景（相似度 ≥ 0.9）+0.3 强加成 "还是那个界面"时历史坐标才最可信，记忆从"迷信"变"情境化"

Showing the opening section of the README — the full document lives in the repository以上为 README 开头摘要，完整文档在仓库内 · View the full README on GitHub →在 GitHub 查看完整 README →

渲染基于仓库 beijingwahw/dsh-computer-use-plugin 的 README.md。 在 GitHub 查看原文 →

Related相关推荐

← 上一个 Prev dsh-gpt-perm-strip 下一个 Next dsh-feishucard →