ExPool.acquire() 在并发超限后 ~0.15s 即抛 ConnectionError,不做背压等待;per_server_cap=1 + 测速缓存收缩到单 EX 服务器时,实际并发能力=1,与 pool_max=6 的语义矛盾 #1

Closed
opened 2026-10-18 07:57:10 +00:00 by openbot · 1 comment
Owner

环境

  • pytdxdata 0.6.1(venv Python 3.14)
  • EX 通道期权行情(sh_stock_option / sz_stock_option / cffex_option,端口 7727)
  • 当日测速缓存 ~/.cache/pytdxdata/hosts-today.json 收缩后仅 1 台 EX 服务器存活:103.221.142.82

现象

对 1940 个期权合约做日线+1m K 线批量回补(get_bars(sym, KlinePeriod.MIN_1, start=0, count=大),count 按合约生命周期自适应 700150000):

任务级并发 结果
1(串行) 0 FAIL,~4.9s/合约
3 前几分钟内 971 个 FAIL <sym>: ConnectionError EX连接池无可用连接,仅 ~75 成功

最小复现(确定性,0.6.1):

from pytdxdata import TdxData, KlinePeriod
import asyncio

async def main():
    tdx = TdxData(pool_min=2, pool_max=6)
    await tdx.start()
    syms = ["sz_stock_option:90007393", "cffex_option:HO8Y03TJ", "sh_stock_option:10011425"]
    async def one(s):
        try:
            r = await tdx.get_bars(s, KlinePeriod.MIN_1, start=0, count=28000)
            return f"{s} ok n={len(r)}"
        except Exception as e:
            return f"{s} FAIL {type(e).__name__} {e}"
    print(await asyncio.gather(*[one(s) for s in syms]))
    await tdx.close()

asyncio.run(main())

输出(每次复现稳定):

sz_stock_option:90007393  ok n=18240
cffex_option:HO8Y03TJ     FAIL ConnectionError EX连接池无可用连接
sh_stock_option:10011425  FAIL ConnectionError EX连接池无可用连接

根因分析(0.6.1 源码)

  1. ExPool.__init__(pool/ex_pool.py)默认 per_server_cap=1;_next_available_server() 在 server_count[host] >= 1 时返回 None → 单台 EX 服务器时全池有效并发=1,与 max_size=min(pool_max,6)=6 的对外语义矛盾(TdxData(pool_max=6) 使用者会以为有 6 并发)。
  2. ExPool.acquire() 失败路径:3 次循环 × asyncio.sleep(0.05) ≈ 0.15s 就抛 ConnectionError("EX连接池无可用连接")。timeout 参数(默认 10s)只用于建连,不用于等待空闲连接。批量任务里一个合约的 1m 分页拉取可持续 1~30s,期间其余并发任务全部在 0.15s 后秒失败——失败率由「任务并发 > 池有效并发」决定,而不是由池吞吐决定。
  3. get_ex_hosts() 的当日测速缓存可能把 4 台 EX_HOSTS 收缩到 1 台(其余握手/业务探测失败),此时 1×per_server_cap=1 的天花板直接暴露。

建议

  • P0:ExPool.acquire() 空闲连接不可得时按 timeout(或显式 acquire_timeout)阻塞等待(asyncio.Event/队列通知归还),而不是 3×0.05s 快速失败;退化为快速失败时至少在异常里带池状态(idle/total/servers/cap)。
  • P1:TdxData 暴露 ex_pool_cap(对齐 mac_pool_cap / std_pool_cap 的既有设计),默认 ≥2;单服务器场景允许对同主机多连接(EX 服务器实测可接受)。
  • P2:测速缓存收缩 EX 服务器列表时给个下限(比如 ≥2 台,或至少保留代码常量兜底全量),避免有效并发=1 的静默退化。

临时规避

任务侧串行(concurrency=1)跑通(~4.9s/合约),或 TdxData(pool_min=3, pool_max=6) + 自己维护重试——重试对「背压缺失」只是掩盖,根因在池层。

观测数据

  • 复现日志:FAIL cffex_option:HO8Y03TJ: ConnectionError EX连接池无可用连接(0.2s 内抛出,未等任何释放)
  • 串行基线:sh 1m=28080 行 / day=117 行 用时 2.0s;cffex 480/2 行 0.1s
  • 池状态:ExPool(min_size=2, max_size=6, per_server_cap=1, servers=[103.221.142.82])(测速缓存收缩后)
### 环境 - pytdxdata 0.6.1(venv Python 3.14) - EX 通道期权行情(`sh_stock_option` / `sz_stock_option` / `cffex_option`,端口 7727) - 当日测速缓存 `~/.cache/pytdxdata/hosts-today.json` 收缩后仅 1 台 EX 服务器存活:`103.221.142.82` ### 现象 对 ~1940 个期权合约做日线+1m K 线批量回补(`get_bars(sym, KlinePeriod.MIN_1, start=0, count=大)`,count 按合约生命周期自适应 700~150000): | 任务级并发 | 结果 | |---|---| | 1(串行) | 0 FAIL,~4.9s/合约 | | 3 | 前几分钟内 971 个 `FAIL <sym>: ConnectionError EX连接池无可用连接`,仅 ~75 成功 | 最小复现(确定性,0.6.1): ```python from pytdxdata import TdxData, KlinePeriod import asyncio async def main(): tdx = TdxData(pool_min=2, pool_max=6) await tdx.start() syms = ["sz_stock_option:90007393", "cffex_option:HO8Y03TJ", "sh_stock_option:10011425"] async def one(s): try: r = await tdx.get_bars(s, KlinePeriod.MIN_1, start=0, count=28000) return f"{s} ok n={len(r)}" except Exception as e: return f"{s} FAIL {type(e).__name__} {e}" print(await asyncio.gather(*[one(s) for s in syms])) await tdx.close() asyncio.run(main()) ``` 输出(每次复现稳定): ``` sz_stock_option:90007393 ok n=18240 cffex_option:HO8Y03TJ FAIL ConnectionError EX连接池无可用连接 sh_stock_option:10011425 FAIL ConnectionError EX连接池无可用连接 ``` ### 根因分析(0.6.1 源码) 1. `ExPool.__init__`(`pool/ex_pool.py`)默认 `per_server_cap=1`;`_next_available_server()` 在 `server_count[host] >= 1` 时返回 `None` → **单台 EX 服务器时全池有效并发=1**,与 `max_size=min(pool_max,6)=6` 的对外语义矛盾(`TdxData(pool_max=6)` 使用者会以为有 6 并发)。 2. `ExPool.acquire()` 失败路径:3 次循环 × `asyncio.sleep(0.05)` ≈ **0.15s 就抛 `ConnectionError("EX连接池无可用连接")`**。`timeout` 参数(默认 10s)只用于建连,不用于等待空闲连接。批量任务里一个合约的 1m 分页拉取可持续 1~30s,期间其余并发任务全部在 0.15s 后秒失败——失败率由「任务并发 > 池有效并发」决定,而不是由池吞吐决定。 3. `get_ex_hosts()` 的当日测速缓存可能把 4 台 EX_HOSTS 收缩到 1 台(其余握手/业务探测失败),此时 1×per_server_cap=1 的天花板直接暴露。 ### 建议 - **P0**:`ExPool.acquire()` 空闲连接不可得时按 `timeout`(或显式 `acquire_timeout`)阻塞等待(`asyncio.Event`/队列通知归还),而不是 3×0.05s 快速失败;退化为快速失败时至少在异常里带池状态(idle/total/servers/cap)。 - **P1**:`TdxData` 暴露 `ex_pool_cap`(对齐 `mac_pool_cap` / `std_pool_cap` 的既有设计),默认 ≥2;单服务器场景允许对同主机多连接(EX 服务器实测可接受)。 - **P2**:测速缓存收缩 EX 服务器列表时给个下限(比如 ≥2 台,或至少保留代码常量兜底全量),避免有效并发=1 的静默退化。 ### 临时规避 任务侧串行(concurrency=1)跑通(~4.9s/合约),或 `TdxData(pool_min=3, pool_max=6)` + 自己维护重试——重试对「背压缺失」只是掩盖,根因在池层。 ### 观测数据 - 复现日志:`FAIL cffex_option:HO8Y03TJ: ConnectionError EX连接池无可用连接`(0.2s 内抛出,未等任何释放) - 串行基线:sh 1m=28080 行 / day=117 行 用时 2.0s;cffex 480/2 行 0.1s - 池状态:`ExPool(min_size=2, max_size=6, per_server_cap=1, servers=[103.221.142.82])`(测速缓存收缩后)
Author
Owner

修复已提交:743aa33 fix(pool): ExPool acquire backpressure + ex_pool_cap (fixes #1)

对应草稿中的 P0/P1:

项 实现
P0 背压 ExPool.acquire() 重写为与标准池 pool.py 相同的 asyncio.Condition 排队等待范式;默认 acquire_timeout=30s(传 None 无限等);超时抛 ExPoolTimeoutError,消息带池状态 idle/total/servers/per_server_cap/有效并发
P1 ex_pool_cap TdxData(ex_pool_cap=N),默认 2(对齐 std/mac 的 cap 参数设计);单服务器场景有效并发 = 服务器数 × cap
release 唤醒 release()(含 broken 路径)notify_all,等待者被正确唤醒后走「空闲借用 / 槽位扩容」分支
P2 测速缓存下限 暂未实现(可后续单独处理)

回归:新增 tests/test_ex_pool_backpressure.py 5 项(排队等待、超时带状态、cap=2 同主机双连接、6 并发零失败、broken 归还唤醒);全量 187 passed。

修复已提交:**743aa33** `fix(pool): ExPool acquire backpressure + ex_pool_cap (fixes #1)` 对应草稿中的 P0/P1: | 项 | 实现 | |---|---| | P0 背压 | `ExPool.acquire()` 重写为与标准池 `pool.py` 相同的 `asyncio.Condition` 排队等待范式;默认 `acquire_timeout=30s`(传 `None` 无限等);超时抛 `ExPoolTimeoutError`,消息带池状态 `idle/total/servers/per_server_cap/有效并发` | | P1 ex_pool_cap | `TdxData(ex_pool_cap=N)`,默认 **2**(对齐 std/mac 的 cap 参数设计);单服务器场景有效并发 = 服务器数 × cap | | release 唤醒 | `release()`(含 broken 路径)`notify_all`,等待者被正确唤醒后走「空闲借用 / 槽位扩容」分支 | | P2 测速缓存下限 | 暂未实现(可后续单独处理) | 回归:新增 `tests/test_ex_pool_backpressure.py` 5 项(排队等待、超时带状态、cap=2 同主机双连接、6 并发零失败、broken 归还唤醒);全量 **187 passed**。
Sign in to join this conversation.
No labels
1 Participants
Notifications
Due Date
No due date set.
Dependencies

No dependencies set.

Reference: vxquant/pytdxdata#1