Hed1an/dsh-bring-local-llm

插件 ⭐ 0 MIT other

Deploy local LLMs (Ollama/KoboldCpp/LM Studio/any OpenAI-compatible endpoint) into the DeepSeek Harness, handle a portion of information locally for priority, and leave the difficult parts to the cloud main model: saving online tokens and utilizing redundant local compute power.

catalog 简介:让本地 LLM(Ollama/KoboldCpp/LM Studio/任意 OpenAI 兼容端点)接入 DeepSeek Harness,本地优先处理一部分信息,难点交给云端主模型:省在线 token、用上本地冗余算力。

安装

DSH Desktop(云端主模型 = 规划/难点)
   └── [dsh-bring-local-llm 插件]   local_llm_run / local_llm_route / local_vision_*
        │  Loopback HTTP
        ▼
LocalHost Control Plane (FastAPI, 127.0.0.1:8765)     ← 你自己部署的后端
   ├─ /api/llm/run   本地文本(executor 角色)
   ├─ /api/llm/route 本地优先分流(多本地后端 → 冗余算力)
   └─ /api/vision/read  本地视觉(vision 角色)
        │  Provider 抽象
        ▼
   本地后端(三选/多选):Ollama · KoboldCpp · LM Studio/任意 OpenAI 兼容

Hed1an/dsh-bring-local-llm 加入你的 DSH 配置(web profile)即可启用。

README

展开完整 README 收起

README 内容为空。