yangyunsong023/dsh-sxs-anti-bot-http
用于DeepSeek Harness的反机器人HTTP抓取工具:UA池轮换、带指数退避的重试、反机器人墙检测以及自适应速率限制。
Project Overview项目介绍
This is a native anti-crawling HTTP tool plugin built exclusively for DeepSeek Harness (DSH). All core logic is extracted from the SXS collection system that processes millions of requests daily, and it is implemented in pure Node.js with zero runtime dependencies. It provides three dedicated tools: sxs_fetch for fetching web page text, sxs_fetch_json for JSON API collection with built-in parsing, and sxs_rate_status for checking adaptive rate limiting status per site. To install, you can run a DSH CLI command pointing to this repository, or install via GitHub Packages npm that requires proper GitHub account authentication.
The plugin addresses common pain points of web scraping by implementing multiple proven anti-blocking strategies. It rotates user agents from a pool of 5 common browser UA strings to break fixed fingerprint tracking. It automatically retries requests after network errors or 5xx server errors with an exponential backoff algorithm, and you can configure the maximum retry count. It also detects common anti-crawling barriers like CAPTCHAs, Cloudflare challenges, WAF blocks, and other human verification prompts, and applies site-level adaptive rate limiting to prevent IP blocking.
This plugin is released under the open-source MIT license, so it is free to use with no attached conditions or hidden costs. It is developed and maintained by the SXS team, which also operates a quantitative analysis system for football sports derivatives. If you choose to install via GitHub Packages npm, you need to first authenticate npm with a GitHub personal access token in your npm configuration before you can pull the package. If you have questions about the plugin or are interested in SXS’s business, you can reach out to the development team.
这是一个专为 DeepSeek Harness(DSH)开发的原生反爬 HTTP 工具插件,核心能力提炼自每日处理数百万级请求的 SXS 采集体系,采用纯 Node.js 实现,零运行时依赖。它提供了三个工具函数,分别用于抓取网页文本、带 JSON 解析的 API 采集、查看站点自适应限流状态。用户可通过 DSH CLI 命令或 GitHub Packages npm 两种方式安装该插件。
针对网页采集的反爬需求,该插件实现了多项实用策略,包括 UA 池轮换打破固定指纹、指数退避重试自动处理网络错误与服务端 5xx 错误、多类型反爬墙特征识别,以及站点级自适应限流防止 IP 被封。它主要面向需要在 DSH 代理下开展网页采集、API 数据获取工作的开发者,帮助提升采集任务的成功率,降低被反爬策略拦截的概率。
该插件采用 MIT 许可开源,完全免费使用,没有任何附加条件。由 SXS 团队开发维护,安装时如果通过 GitHub Packages npm 安装,需要提前完成 GitHub 账号的 npm 认证,配置认证令牌后才能正常拉取安装。用户如果对插件或 SXS 团队的量化分析业务感兴趣,可以联系开发团队交流。
请帮我安装这个 DSH 插件。安装前先完成【兼容性检查 + 安全性检查】,检查通过再动手。
插件:dsh-sxs-anti-bot-http(yangyunsong023/dsh-sxs-anti-bot-http)
仓库:https://github.com/yangyunsong023/dsh-sxs-anti-bot-http
本站详情页:https://www.yhbd.top/plugins/yangyunsong023-dsh-sxs-anti-bot-http/
本站登记:类型 plugin · 归类 原生 DSH 插件 · 许可证 MIT · ⭐ 2 · 最近提交 2026-08-16 · 主语言 JavaScript
按下面顺序执行,每步先把结论告诉我,再进入下一步:
【1 兼容性检查】
① 我这边:DSH 版本、Node 版本、操作系统、当前 profile(web / desktop)。
② 读它的 README、package.json、插件 manifest,列出它要求的 DSH 版本 / Node 版本 / 操作系统 / 外部依赖 / 需要另外先装的运行时。
③ 逐条比对,结论只写「满足 / 不满足 / 未知」三种;不满足的给出可行替代方案。
④ 检查是否和我已装的插件冲突:命令名重复、skill / tool 重名、端口占用、重复注册的 MCP server。
【2 安全性检查】
① 仓库可信度:和上面「本站登记」是否一致;star / fork 数、创建时间、最近提交,是否归档或长期停更。
② 安装脚本:逐行看 package.json 的 preinstall / install / postinstall,以及 install.sh、setup.ps1 之类脚本。出现 curl|bash、下载后直接执行、混淆代码、访问与插件功能无关的域名,立刻停下来告诉我,不要继续装。
③ 依赖:列出新增依赖,标出无人维护、或与知名包拼写近似的可疑包(typosquatting)。
④ 权限与副作用:它会读写哪些目录、访问哪些域名、需要哪些 DSH 权限(filesystem / network / shell / clipboard 等),以及怎么卸载和回滚。
⑤ 如果它要求 sudo / 管理员权限,或权限明显超出功能所需,先停下来问我。
【3 安装】
上面两步没有「不满足」和「高危项」时才执行;用官方推荐方式安装,不要自行提权。
【4 汇报】
用表格输出:检查项 / 结论 / 依据 / 是否需要我决策。拿不准的一律写「未知」并说明要我怎么确认——不要猜,也不要替我决定。
Send this message to DSH in your current session: it verifies compatibility and security first (answering met / not met / unknown item by item) and only installs once everything checks out — it will stop and ask you if it finds a high-risk item. The box scrolls; the copy is the full prompt. CLI install commands may not be accurate across systems, so DSH is the safer route.把上面这条消息直接发给当前会话里的 DSH:它会先核对兼容性与安全性(逐条给「满足 / 不满足 / 未知」),确认没问题再安装,有高危项会停下来问你。框内可滚动,复制到的是完整提示词;安装命令不一定准确,发给 DSH 更稳。
- Only 2 stars - very few users, little community feedback星标只有 2,几乎没人在用,遇到问题缺少社区反馈
DSH walks through these 9 checksDSH 会逐条核对这 9 项
Compatibility兼容性
- DSH, Node, OS and profile requirementsDSH 版本 / Node 版本 / 操作系统 / profile 是否满足要求
- External dependencies and runtimes (Electron / Python / Docker, ...)外部依赖与运行时(Electron / Python / Docker 等)是否齐备
- Conflicts with installed plugins: command names, skill / tool names, ports, duplicate MCP registration与已装插件是否冲突:命令名、skill / tool 重名、端口占用、重复 MCP 注册
Security安全性
- Repo matches the facts registered here; archived or abandoned?仓库是否与页面登记一致,是否归档或长期停更
- Safety of preinstall / install / postinstall and install.sh / setup.ps1preinstall / install / postinstall 与 install.sh、setup.ps1 是否安全
- curl|bash, download-then-execute, obfuscation, unrelated domains → stop immediatelycurl|bash、下载即执行、混淆代码、无关域名 → 立刻停止
- Typosquatting or unmaintained packages among the new dependencies新增依赖里有没有 typosquatting 或无人维护的包
- Requested permissions vs. what the feature actually needs申请了哪些权限、是否超出功能所需(filesystem / network / shell / clipboard)
- Any sudo / admin requirement, plus uninstall and rollback是否要求 sudo / 管理员权限,以及卸载与回滚方式
Anything uncertain must be marked unknown with a note on how to confirm it. This site's signal screen is a static snapshot, not a security audit.拿不准的必须标「未知」并说明要我怎么确认。本站的信号筛查是静态快照,不能替代安全审计。
Or use CLI install (for developers)或使用命令行安装(适合开发者)
CLI Install命令行安装
dsh plugin --profile web add git+https://github.com/yangyunsong023/dsh-sxs-anti-bot-http.git
把 yangyunsong023/dsh-sxs-anti-bot-http 加入你的 DSH 配置(web profile)即可启用。
READMEREADME
dsh-sxs-anti-bot-http
反爬 HTTP 工具插件 for DeepSeek Harness(DSH)。
从 SXS 采集体系(每日数百万级请求实战)提炼的反爬与限流策略,纯 Node 实现、零运行时依赖。
安装
dsh plugin --profile web add git+https://github.com/yangyunsong023/dsh-sxs-anti-bot-http.git
# 或本地 link
dsh plugin --profile web add link:/path/to/dsh-sxs-anti-bot-http
工具
| 工具 | 说明 |
|---|---|
sxs_fetch |
反爬 GET:抓取网页文本 |
sxs_fetch_json |
反爬 GET + JSON 解析(JSON API 采集) |
sxs_rate_status |
查看各站点自适应限流状态 |
能力
- UA 池轮换:打破固定指纹(5 组浏览器 UA)
- 指数退避重试:网络错误 / 5xx 自动重试(可配次数)
- 反爬墙检测:验证码 / 安全验证 / 滑动验证 / cf-challenge / 人机验证 / aliun_waf 等特征识别
- 站点级自适应限流:连续失败 → 30s→60s→120s→240s→480s 指数退避;恢复自动回落(防封 IP)
使用示例
sxs_fetch(url="https://example.com/news", referer="https://example.com/")
→ HTTP 200 + 页面文本(自动处理反爬与限流)
License
MIT
关于 SXS
本插件由 SXS(迭今网络科技有限公司) 开发维护。
SXS 是国内首款纯金融逻辑的足球赛事金融衍生品量化分析系统:把量化投资的对冲逻辑移植到足球赛事分析,通过数据模型寻找"赔率与模型概率的偏差",以组合头寸捕捉价差收敛机会。赛事方向模型历史回测准确率 85%+(8 年+数据,历史数据不构成收益承诺)。
📌 说明:以上为品牌介绍。若对本插件或 SXS 量化分析感兴趣,可添加微信交流:sui081(添加时请备注 "DSH 插件")。本插件本身完全开源免费,无任何附加条件。
安装 (GitHub Packages npm)
npm install @yangyunsong023/dsh-sxs-anti-bot-http --registry=https://npm.pkg.github.com
需要 GitHub 账号认证 (
npm login --registry=https://npm.pkg.github.com或配置 .npmrc 的//npm.pkg.github.com/:_authToken)。
theBigGavin/marketingdashboard
hancao97/hanai-investment-dsh
maddogfinance/dsh-trading
lehhair/dsh-diff-viewer