SkillPedia Skills Encyclopedia
中文 EN

Skills 2026-07-26 22:44 UTC

digital-oracle

Committed by komako-workshop. Update Category: Routine Updates & Maintenance. Commit details: 东财限流:加 TTL 缓存与主机熔断,代理轮换做成机制但默认关闭. This update performs routine maintenance and minor adjustments.

komako-workshop a63e4c1 komako-workshop/digital-oracle

CommitRaw commit message

东财限流:加 TTL 缓存与主机熔断,代理轮换做成机制但默认关闭

先摆数据再动手:生产 14 天 1457 次分析≈104 次/天,按 A 股占六成、每次 4 个东财
调用算约 250 次/天。这个量级本不该被限流——今晚这次是我十分钟内打上百次测出来的。
所以问题不是"出口 IP 不够",是重复请求太多,以及对已经限流的主机反复重试。

两层削减(实测在被限流的机器上,55 次逻辑调用 -> 16 次上游,40 次调用耗时
17.1s -> 2.5s):

- cache.py:进程内 TTL 缓存。行情 60s、板块 300s、资金流与 K 线 1800s。窗口按
  上游数据的实际更新频率定,不按被调用频率定。板块表是最大一笔——每次 A 股提问
  都要,而它对所有人是同一份市场级数据。
- 主机熔断:失败后停用 300s。限流中的主机会立刻回 502,看着很便宜,但每次调用
  都去打它正是限流续命的原因。之前每个逻辑调用都要先白打一枪主站。

代理轮换(proxy_pool.py + UrllibJsonClient.proxy_pool)按要求做成了机制,但
**默认空池、行为与之前完全一致**:真正的代理池需要可信的付费代理源,而公开免费
代理会把用户查询流量送经陌生主机,这个不该由我替你决定。配置 EASTMONEY_PROXIES
即可启用,失败代理冷却 120s,直连永远是最后兜底。

修一处接线 bug:urllib 的 Request 会被 ProxyHandler 就地改写(host 被换成代理),
复用同一个 Request 去直连必然失败,每次尝试要重建。

测试 228 -> 246。

Co-authored-by: Cursor <cursoragent@cursor.com>