dsh-inhibition

dsh-inhibition

DeepSeek Harness (DSH) 模型请求限流插件:在 llm/stream waterfall 接缝上为每个 provider/model 桶建立 FIFO 队列,用 minIntervalMs + maxConcurrent 人为控制 API 请求下发频率,避免触发第三方 API 限频。

安装

# 在官方仓库中运行 CLI(或使用你已安装的 dsh)
dsh plugin --profile <名字> add /path/to/dsh-inhibition

# 验证加载
dsh --profile <名字> --dump-config | grep -A 5 inhibition
dsh plugin --profile <名字> why dsh-inhibition

建议为插件开发使用独立 profile(如 dev),不影响日常的 web profile。

配置

在 profile 的 ~/.dsh/profiles/<名字>/cordis.patch.yml 中添加:

- id: inhibition
  config:
    enabled: true            # 总开关,默认 true;false = 全部直通
    default:                 # 所有未命中桶的兜底(缺省 = 不限流)
      minIntervalMs: 3000
      maxConcurrent: 1
    providers:
      deepseek:
        minIntervalMs: 5000
        models:
          deepseek-chat:     # 模型级覆盖
            minIntervalMs: 2000
            maxConcurrent: 2
      openrouter:
        minIntervalMs: 1000

参数语义

参数	语义
minIntervalMs	相邻两次请求开始下发的最小间隔(毫秒),即频率的倒数
maxConcurrent	桶内同时在途请求上限;1 = 严格串行队列;缺省 = 不限制

字段级继承

每个字段独立沿 models[model] → providers[provider] → default 取就近定义值。例如 deepseek-chat 只覆盖了 minIntervalMs,则其 maxConcurrent 继承 providers.deepseek 或 default 的值。完全未配置的 provider(无 default 时)不限流、零开销。

⚠️ 桶拆分的聚合效应

只有当多个模型解析出相同参数时,它们才共享同一个队列。一旦给某个模型设置覆盖,它会分裂成独立的桶:例如 provider 级 minIntervalMs: 5000 + 两个模型各自覆盖,则两个模型各有一条 5s 间隔的独立队列——对同一个 API 的聚合速率可达 2.5s 一次,可能超出你的预期。

如果你要限制的是 provider 整体的请求速率(多数第三方 API 的限频口径),请把参数配在 provider 级或 default 级,不要给模型配覆盖,这样该 provider 的所有模型共享一条队列。

工作原理

• 插件注册一个 llm/stream waterfall 监听器,包裹每一次流式模型调用;请求先进入对应桶的 FIFO 队列,同时满足间隔与并发约束后才放行到真实 adapter。
• 排队期间请求被取消(AbortSignal 中止)时,该请求立即出队且不消耗限流名额。
• 实际等待 > 0 的派发会记录日志:inhibition: deepseek/deepseek-chat dispatched, waited 2340ms (in-flight 1, queued 2)。
• 插件卸载时唤醒所有排队请求(放行为直通,由 adapter 按 abort 语义处理),不留悬挂定时器。

发布与分发

三种方式,按覆盖范围递增:

• 本地/私有: dsh plugin --profile <名字> add /path/to/dsh-inhibition
• npm: npm publish --access public 后,用户执行 dsh plugin --profile web add dsh-inhibition(本包产物 lib/ 已提交、无 prepare 脚本,git/npm 安装均无需构建)
• dsh-plugin.org 插件中心: 推送到公开 GitHub 仓库 → 仓库添加 topic dsh-plugin → README 含安装命令(✅)且插件导出 apply(ctx)(✅),爬虫自动收录

开发

npm install
npm test        # vitest 单测 + LlmRuntime 集成测试
npm run build   # tsc 产物输出 lib/(已提交,本地安装无需构建)

设计文档见 docs/superpowers/specs/,实现计划见 docs/superpowers/plans/。

License

MIT