frompytdxdataimportTdxData,KlinePeriodimportasyncioasyncdefmain():tdx=TdxData(pool_min=2,pool_max=6)awaittdx.start()syms=["sz_stock_option:90007393","cffex_option:HO8Y03TJ","sh_stock_option:10011425"]asyncdefone(s):try:r=awaittdx.get_bars(s,KlinePeriod.MIN_1,start=0,count=28000)returnf"{s} ok n={len(r)}"exceptExceptionase:returnf"{s} FAIL {type(e).__name__}{e}"print(awaitasyncio.gather(*[one(s)forsinsyms]))awaittdx.close()asyncio.run(main())
Blocking a user prevents them from interacting with repositories, such as opening or commenting on pull requests or issues. Learn more about blocking a user.
环境
sh_stock_option/sz_stock_option/cffex_option,端口 7727)~/.cache/pytdxdata/hosts-today.json收缩后仅 1 台 EX 服务器存活:103.221.142.82现象
对
1940 个期权合约做日线+1m K 线批量回补(150000):get_bars(sym, KlinePeriod.MIN_1, start=0, count=大),count 按合约生命周期自适应 700FAIL <sym>: ConnectionError EX连接池无可用连接,仅 ~75 成功最小复现(确定性,0.6.1):
输出(每次复现稳定):
根因分析(0.6.1 源码)
ExPool.__init__(pool/ex_pool.py)默认per_server_cap=1;_next_available_server()在server_count[host] >= 1时返回None→ 单台 EX 服务器时全池有效并发=1,与max_size=min(pool_max,6)=6的对外语义矛盾(TdxData(pool_max=6)使用者会以为有 6 并发)。ExPool.acquire()失败路径:3 次循环 ×asyncio.sleep(0.05)≈ 0.15s 就抛ConnectionError("EX连接池无可用连接")。timeout参数(默认 10s)只用于建连,不用于等待空闲连接。批量任务里一个合约的 1m 分页拉取可持续 1~30s,期间其余并发任务全部在 0.15s 后秒失败——失败率由「任务并发 > 池有效并发」决定,而不是由池吞吐决定。get_ex_hosts()的当日测速缓存可能把 4 台 EX_HOSTS 收缩到 1 台(其余握手/业务探测失败),此时 1×per_server_cap=1 的天花板直接暴露。建议
ExPool.acquire()空闲连接不可得时按timeout(或显式acquire_timeout)阻塞等待(asyncio.Event/队列通知归还),而不是 3×0.05s 快速失败;退化为快速失败时至少在异常里带池状态(idle/total/servers/cap)。TdxData暴露ex_pool_cap(对齐mac_pool_cap/std_pool_cap的既有设计),默认 ≥2;单服务器场景允许对同主机多连接(EX 服务器实测可接受)。临时规避
任务侧串行(concurrency=1)跑通(~4.9s/合约),或
TdxData(pool_min=3, pool_max=6)+ 自己维护重试——重试对「背压缺失」只是掩盖,根因在池层。观测数据
FAIL cffex_option:HO8Y03TJ: ConnectionError EX连接池无可用连接(0.2s 内抛出,未等任何释放)ExPool(min_size=2, max_size=6, per_server_cap=1, servers=[103.221.142.82])(测速缓存收缩后)修复已提交:
743aa33fix(pool): ExPool acquire backpressure + ex_pool_cap (fixes #1)对应草稿中的 P0/P1:
ExPool.acquire()重写为与标准池pool.py相同的asyncio.Condition排队等待范式;默认acquire_timeout=30s(传None无限等);超时抛ExPoolTimeoutError,消息带池状态idle/total/servers/per_server_cap/有效并发TdxData(ex_pool_cap=N),默认 2(对齐 std/mac 的 cap 参数设计);单服务器场景有效并发 = 服务器数 × caprelease()(含 broken 路径)notify_all,等待者被正确唤醒后走「空闲借用 / 槽位扩容」分支回归:新增
tests/test_ex_pool_backpressure.py5 项(排队等待、超时带状态、cap=2 同主机双连接、6 并发零失败、broken 归还唤醒);全量 187 passed。