Spirit4471/multimodal-bridge
Multimodal bridge for any LLM: qwen_vision (Qwen-VL) + qwen_generate (Qwen-Image) — an MCP server for Kimi Code & Claude Code, and a DeepSeek Harness plugin (dsh-multimodal-bridge). 给任何 LLM 补上 Qwen 视觉与出图能力：MCP server（Kimi Code / Claude Code）+ DeepSeek Harness 插件双形态。
安装Install
dsh plugin --profile web add dsh-multimodal-bridge把 Spirit4471/multimodal-bridge 加入你的 DSH 配置（web profile）即可启用。
READMEREADME
multimodal-bridge
多模态 MCP 桥 — 给纯文本 LLM 补上视觉理解与图像生成能力，或给多模态模型补上它没有的图像生成能力。
v2.0：双轨工作流
Harness engineering 的第一原则：让模型用它原生的能力干活，桥只补模型真正缺的那一块。
| 能力 | 主线：Kimi Code + K3 | 备选线：Claude Code + DeepSeek |
|---|---|---|
| Coding harness | Kimi Code CLI | Claude Code |
| LLM 推理 | K3（1M 上下文，thinking） | DeepSeek V4 Pro（按量计费，便宜一个数量级） |
| 视觉理解 | K3 原生（image_in / video_in） | 经 bridge → Qwen-VL（百炼免费额度） |
| 图像生成 | 经 bridge → Qwen-Image（百炼免费额度） | 经 bridge → Qwen-Image（同左） |
- 主线适合日常重度使用：K3 自带高性能推理与视觉，一手多模态信息，没有中间模型转述的损失；bridge 只在需要出图时登场。
- 备选线适合成本敏感场景：DeepSeek 按 token 计费极便宜，但它没有视觉，
qwen_vision是它看图的唯一途径。
v1 的工作流（Claude Code + DeepSeek + 全功能桥）即现在的备选线，并未废弃——两条线路成本结构不同，按用量选用。
工作流架构
主线 (Kimi Code + K3):
┌───────────────┐ ┌────────────────┐ ┌───────────────────┐
│ Kimi Code CLI │────▶│ K3 (1M ctx) │────▶│ 代码 + 读图(原生) │
└──────┬────────┘ └────────────────┘ └───────────────────┘
│ 需要出图? ──▶ multimodal-bridge ──▶ Qwen-Image
备选线 (Claude Code + DeepSeek):
┌──────────────┐ ┌─────────────────┐ ┌──────────────────┐
│ Claude Code │────▶│ DeepSeek V4 Pro │────▶│ 代码生成 (纯文本) │
└──────┬───────┘ └─────────────────┘ └──────────────────┘
│ 遇到图片? ──▶ multimodal-bridge ──▶ Qwen-VL / Qwen-Image
安装
git clone https://github.com/Spirit4471/multimodal-bridge.git
cd multimodal-bridge
pip install -r requirements.txt
前置条件：
- Python 3.10+
- 百炼 API Key（新用户 90 天免费，100万 Token + 500张图）
配置
在项目根目录的 .mcp.json 中声明（Claude Code / Kimi Code 等宿主均会读取）：
{
"mcpServers": {
"multimodal-bridge": {
"command": "python",
"args": ["C:/WorkSpace/multimodal-bridge/server.py"],
"env": {
"QWEN_DASHSCOPE_API_KEY": "sk-xxxxxxxx"
}
}
}
}
按 harness 挂载工具
- Kimi Code + K3：只需要图像生成。可加
"enabledTools": ["qwen_generate"]只暴露生成工具（Kimi Code 支持该字段）。 - Claude Code + DeepSeek：视觉与生成都需要，两个工具全开。
宿主不支持
enabledTools也无妨——两个工具都挂着，模型会按描述自行选用。
Claude Code + DeepSeek 的 settings.json（备选线）
{
"env": {
"ANTHROPIC_BASE_URL": "https://api.deepseek.com/anthropic",
"ANTHROPIC_MODEL": "deepseek-v4-pro"
},
"enabledMcpjsonServers": ["multimodal-bridge"]
}
核心技巧：ANTHROPIC_BASE_URL 指向 DeepSeek 的 Anthropic 兼容端点，Claude Code 的 tool use/agent/memory 全套功能照样跑，但每个 token 便宜 10 倍。
MCP 工具
| 工具 | 功能 | 模型 | 哪条线路用 |
|---|---|---|---|
qwen_vision(image_path, prompt) |
图片理解、OCR、分析 | Qwen-VL 系列 (qwen-vl-max / qwen3-vl-flash) | 备选线（K3 主线用原生视觉） |
qwen_generate(prompt, size) |
文生图 | Qwen-Image 系列 (qwen-image-2.0 / qwen-image-2.0-pro / wan2.7-image) | 两条线路 |
环境变量
| 环境变量 | 说明 | 默认值 |
|---|---|---|
QWEN_DASHSCOPE_API_KEY |
百炼 Key | — |
VISION_MODEL |
视觉模型 | qwen-vl-max |
GENERATE_MODEL |
生成模型 | qwen-image-2.0 |
QWEN_API_BASE |
自定义端点（百炼工作空间填网关地址） | https://dashscope.aliyuncs.com |
OUTPUT_DIR |
生成图片保存目录 | 包目录下的 generated/ |
费用对比（备选线）
| Anthropic 官方 | 备选线 | 省多少 | |
|---|---|---|---|
| LLM (1M tokens) | ~$15 (Sonnet) | ~$0.48 (DeepSeek v4) | 97% ↓ |
| Vision (100张图) | ~$3-5 | ¥0 (百炼免费) | 100% ↓ (前90天) |
| 图像生成 (100张) | ~$4-8 (DALL·E) | ¥0 (百炼免费) | 100% ↓ (前90天) |
DSH 插件（DeepSeek Harness）
本仓库同时提供 DeepSeek Harness
的插件 bundle —— dsh-plugin/，注册
qwen_vision / qwen_generate 两个模型工具，让纯文本模型在 Harness 内
直接获得视觉与出图能力（与 MCP 工具同一套 Qwen 后端、同一份配置思路）。
dsh plugin --profile <name> add dsh-multimodal-bridge
用法、配置与发布指引见 dsh-plugin/README.md。
扩展
适配器模式 — 在 adapters/ 下新增 .py，实现 vision() / generate() 即可接入其他多模态后端：
server.py
config.py
adapters/
├── __init__.py # 接口约定
└── qwen_dashscope.py # 当前适配器
License
MIT © 2026 Spirit4471
相关推荐Related
- deepseek-ai/deepseek-harness DeepSeek Harness: Everything is a Plugin.
- deepseek-ai/deepseek-harness DeepSeek Harness (dsh) — 由 DeepSeek AI 开发的开源 agent harness（智能体框架）。一切皆插件：核心 + 插件 + 技能 = 可热插拔的 AI 编程工作台。DeepSeek Harness: …
-
nexu-io/open-design
🎨 Best DeepSeek Harness Design Plugin. The open-source Claude Design alternative. 🖥️ Local-first desktop app. 🖼️ Your…
-
ruvnet/ruflo
🌊 The original agent meta-harness. Deploy intelligent multi-player swarms, coordinate autonomous workflows, and build c…
-
amruthpillai/reactive-resume
A one-of-a-kind resume builder that keeps your privacy in mind. Completely secure, customizable, portable, open-source a…
-
volcengine/OpenViking
Self-evolving Context Database for AI Agents. Unify Agent Memory, Knowledge RAG and Skills.
-
Molunerfinn/PicGo
:rocket: The Ultimate Image Uploader for Efficient Creators. Supports Obsidian, Typora, VS Code etc. and 60+ image hosti…
-
titanwings/colleague-skill
将冰冷的离别化为温暖的 Skill，欢迎加入数字生命1.0！Transforming cold farewells into warm skills? It's giving rebirth era. Welcome to Digital …