Aa728848/dsh-llm-verifier

Name: Aa728848/dsh-llm-verifier
Author: Aa728848

Plugin插件 Native原生 ⭐ 18 MIT Productivity & Tasks效率与任务 Sessions & Context会话与上下文

带Web设置页面的可配置DSH原生LLM验证器

Project Overview项目介绍

Edited by Zhiwei Agent (zhiwei)由知微Agent(zhiwei)编辑

dsh-llm-verifier is a native DeepSeek Harness plugin that adds an independent LLM-powered referee verification mechanism to DSH. It was migrated and built from the open source upstream project llm-as-a-verifier, and brings five explicit tools plus configurable host-level automatic session acceptance to the DSH ecosystem. To install the plugin, you can run the dsh plugin --profile <profile-name> add dsh-llm-verifier command from the official npm registry, and DSH will automatically detect the bundled manifest and complete setup without manual configuration changes. After installation, you just need to launch DSH and configure your preferred referee model provider, model ID, and other settings via the web UI settings panel.

This plugin is designed for DSH users who handle development and task automation work, and runs parallel to the main agent's workflow. While the main agent generates code, runs commands, and interacts with tools, the verifier collects task targets, candidate solutions, and actual execution results to send to your configured independent LLM for arbitration. It supports automatic early routing review and automatic acceptance gating, and will automatically prompt the main agent to fix issues if acceptance fails, no extra manual action needed from the user.

The plugin is released under the permissive MIT open source license, and all core evaluation algorithms are inherited from the upstream llm-as-a-verifier project. If you want to reuse the core scoring and tournament algorithms in other TypeScript or JavaScript projects, you can install it as a regular npm dependency and import the core utilities directly. It includes compatibility handling for multiple DSH versions, built-in sensitive data redaction rules, and supports custom redaction rules for users working with highly sensitive data. For local development, you can use pnpm to install dependencies, build the package, run type checks, and execute unit tests.

这是一个专为 DeepSeek Harness (DSH) 开发的原生插件，基于上游开源项目 llm-as-a-verifier 迁移构建，为 DSH 引入了独立的大语言模型裁判复核机制。它提供 5 个显式工具，支持可配置的宿主级自动会话验收，可调用独立配置的大模型对方案可靠性、任务进度和潜在错误进行仲裁。可通过 DSH 内置的 dsh plugin 命令从 npm 官方 Registry 安装，安装后无需手动修改配置即可使用。

该插件面向使用 DSH 进行开发任务处理的用户，可在主 Agent 生成代码、执行命令的同时，对多候选方案进行成对比较、锦标赛选优、任务完成度评估和当前会话全量复核。支持自动路由早评审和自动验收门控，未通过验收时会主动要求 Agent 修复问题，无需依赖模型主动调用工具。启动 DSH 后，用户可在前端设置界面可视化配置裁判模型相关参数。

该插件遵循 MIT 开源许可协议，核心算法源自上游项目，支持作为独立 npm 库在其他 TypeScript/JavaScript 项目中复用核心评分和锦标赛算法。对不同版本的 DSH 本体做了兼容处理，内置敏感信息脱敏规则，仅将脱敏后的上下文发送给裁判模型，支持自定义脱敏规则。本地开发可使用 pnpm 完成安装、构建、类型检查和单元测试。

View on GitHub在 GitHub 查看

Send to your DSH发给你的 DSH 安装

请帮我安装这个 DSH 插件。安装前先完成【兼容性检查 + 安全性检查】，检查通过再动手。

插件：dsh-llm-verifier（Aa728848/dsh-llm-verifier）
仓库：https://github.com/Aa728848/dsh-llm-verifier
本站详情页：https://www.yhbd.top/plugins/aa728848-dsh-llm-verifier/
本站登记：类型 plugin · 归类 原生 DSH 插件 · 许可证 MIT · ⭐ 18 · 最近提交 2026-09-29 · 主语言 TypeScript

按下面顺序执行，每步先把结论告诉我，再进入下一步：

【1 兼容性检查】
① 我这边：DSH 版本、Node 版本、操作系统、当前 profile（web / desktop）。
② 读它的 README、package.json、插件 manifest，列出它要求的 DSH 版本 / Node 版本 / 操作系统 / 外部依赖 / 需要另外先装的运行时。
③ 逐条比对，结论只写「满足 / 不满足 / 未知」三种；不满足的给出可行替代方案。
④ 检查是否和我已装的插件冲突：命令名重复、skill / tool 重名、端口占用、重复注册的 MCP server。

【2 安全性检查】
① 仓库可信度：和上面「本站登记」是否一致；star / fork 数、创建时间、最近提交，是否归档或长期停更。
② 安装脚本：逐行看 package.json 的 preinstall / install / postinstall，以及 install.sh、setup.ps1 之类脚本。出现 curl|bash、下载后直接执行、混淆代码、访问与插件功能无关的域名，立刻停下来告诉我，不要继续装。
③ 依赖：列出新增依赖，标出无人维护、或与知名包拼写近似的可疑包（typosquatting）。
④ 权限与副作用：它会读写哪些目录、访问哪些域名、需要哪些 DSH 权限（filesystem / network / shell / clipboard 等），以及怎么卸载和回滚。
⑤ 如果它要求 sudo / 管理员权限，或权限明显超出功能所需，先停下来问我。

【3 安装】
上面两步没有「不满足」和「高危项」时才执行；用官方推荐方式安装，不要自行提权。

【4 汇报】
用表格输出：检查项 / 结论 / 依据 / 是否需要我决策。拿不准的一律写「未知」并说明要我怎么确认——不要猜，也不要替我决定。

Send this message to DSH in your current session: it verifies compatibility and security first (answering met / not met / unknown item by item) and only installs once everything checks out — it will stop and ask you if it finds a high-risk item. The box scrolls; the copy is the full prompt. CLI install commands may not be accurate across systems, so DSH is the safer route.把上面这条消息直接发给当前会话里的 DSH：它会先核对兼容性与安全性（逐条给「满足 / 不满足 / 未知」），确认没问题再安装，有高危项会停下来问你。框内可滚动，复制到的是完整提示词；安装命令不一定准确，发给 DSH 更稳。

Pre-install check安装前体检Compatibility · Security兼容性 · 安全性 1 note1 项提示

18 stars - an early-stage project星标 18，属于早期项目

DSH walks through these 9 checksDSH 会逐条核对这 9 项

Compatibility兼容性

DSH, Node, OS and profile requirementsDSH 版本 / Node 版本 / 操作系统 / profile 是否满足要求
External dependencies and runtimes (Electron / Python / Docker, ...)外部依赖与运行时（Electron / Python / Docker 等）是否齐备
Conflicts with installed plugins: command names, skill / tool names, ports, duplicate MCP registration与已装插件是否冲突：命令名、skill / tool 重名、端口占用、重复 MCP 注册

Security安全性

Repo matches the facts registered here; archived or abandoned?仓库是否与页面登记一致，是否归档或长期停更
Safety of preinstall / install / postinstall and install.sh / setup.ps1preinstall / install / postinstall 与 install.sh、setup.ps1 是否安全
curl|bash, download-then-execute, obfuscation, unrelated domains → stop immediatelycurl|bash、下载即执行、混淆代码、无关域名 → 立刻停止
Typosquatting or unmaintained packages among the new dependencies新增依赖里有没有 typosquatting 或无人维护的包
Requested permissions vs. what the feature actually needs申请了哪些权限、是否超出功能所需（filesystem / network / shell / clipboard）
Any sudo / admin requirement, plus uninstall and rollback是否要求 sudo / 管理员权限，以及卸载与回滚方式

Anything uncertain must be marked unknown with a note on how to confirm it. This site's signal screen is a static snapshot, not a security audit.拿不准的必须标「未知」并说明要我怎么确认。本站的信号筛查是静态快照，不能替代安全审计。

Or use CLI install (for developers)或使用命令行安装（适合开发者）

CLI Install命令行安装

dsh plugin --profile web add dsh-llm-verifier

把 Aa728848/dsh-llm-verifier 加入你的 DSH 配置（web profile）即可启用。

READMEREADME

96.1 KB · 缓存于 2026-09-29 22:09:37 · 96.1 KB

DSH LLM Verifier

基于 llm-as-a-verifier/llm-as-a-verifier 迁移构建的 DSH 原生模型可配置复核插件（Verifier）。

它是什么？

dsh-llm-verifier 为 DeepSeek Harness（DSH）引入了一套独立的裁判复核机制。在主 Agent 负责生成代码、执行命令与工具交互的同时，Verifier 会收集当前任务目标、各候选方案过程以及真实的终端执行结果，交由你在设置中指定的独立 DSH 模型进行仲裁：评估哪个方案更可靠、当前任务的实际完成进度、以及是否存在未发现的潜在错误。

插件提供五个显式工具，并支持可配置的宿主级自动会话验收：

verifier_compare：对两个候选执行过程进行成对比较（Pairwise Comparison）；
verifier_select：在多个候选方案中通过锦标赛机制选出最优解，供 Best-of-N / 多候选编排器直接调用；
verifier_track：评估任务在已有检查点（Checkpoint）的完成度与进展，供 Goal / Workflow 等长任务编排器直接调用；
verifier_best_of_n：唯一会自己生成候选的工具——用当前会话模型并行起草 N 份完整候选，再用独立裁判排序，并额外给出与验收门控同源的绝对分（见关键交付物的 best-of-N）；
verifier_current_session：显式提取当前 DSH 会话记录，进行脱敏并执行复核；
自动路由与早评审：智能或严格策略在 agent/turn-stopping 生命周期边界按阶段调度 select → compare → track → current_session（verifier_best_of_n 永不自动触发）。第一阶段只信任 Workflow 的版本化候选协议与发生真实变化的 Todo 快照；普通 Subagent 输出必须经第二阶段的证据引用分类，避免把不同子任务误当候选。此外，智能模式还会在 agent/pre-step（下一次模型生成之前）对已完成的 Workflow 候选信封做一次受限的 compare/select 早评审，让选择结果直接影响接下来的实施；该入口不跑语义分类、track、最终验收或候选生成，严格模式不参与；
自动验收门控：候选选择与进度检查完成后，宿主运行同一会话验收逻辑；未通过时以插件 steering 反馈要求 Agent 修复并重新验证，而不是依赖模型是否主动想起工具。

安装与启用 (Installation & Usage)

1. 使用 `dsh plugin` 安装

DeepSeek Harness（DSH）通过 profile 独立管理各个运行环境的插件依赖。请使用 dsh plugin 命令将插件安装至目标 profile（如 web）：

# 方式 A：从 npm 官方 Registry 安装（推荐）
dsh plugin --profile web add dsh-llm-verifier

[!NOTE] dsh plugin add 安装成功后，DSH 会自动识别包内的 dsh.bundle 声明并完成插件层自动对齐（Reconcile），无需手动修改任何配置文件。

2. 启动与配置

启动 DSH Web 客户端：

dsh web
# 或
dsh --profile web

启动后进入前端界面，打开 设置 → LLM Verifier 即可可视化配置裁判所使用的 Provider、Model、推理强度（Reasoning Effort）、最大并发与缓存策略。

3. 常用管理命令

# 更新插件至最新版本
dsh plugin --profile web update dsh-llm-verifier

# 卸载插件
dsh plugin --profile web remove dsh-llm-verifier

# 查看当前 Profile 已安装的插件与依赖列表
dsh plugin --profile web list

4. 作为独立库引用（可选）

如果你在其它 TypeScript / JavaScript 项目中需要复用核心评分标尺与锦标赛算法，可直接作为普通 npm 依赖安装并引入：

pnpm add dsh-llm-verifier

import {
  extractScore,
  extractProgressScore,
  bradleyTerry,
  pivotRoundPairs,
} from 'dsh-llm-verifier/core'

Showing the opening section of the README — the full document lives in the repository以上为 README 开头摘要，完整文档在仓库内 · View the full README on GitHub →在 GitHub 查看完整 README →

渲染基于仓库 Aa728848/dsh-llm-verifier 的 README.md。在 GitHub 查看原文 →