fix(pool): 服务器中途掉线不再拖垮整批任务 + 发布 0.7.2 (#16)
* fix(pool): 服务器中途掉线不再拖垮整批任务 三种调度细节会把「一台机器坏了」放大成「整批卡住」: 1. acquire() 在池锁内做 TCP 握手 + 探针 —— 一台主机握手卡满 timeout, 所有并发协程的 acquire/release 一起被挡。改为锁内只预留槽位、 握手在锁外做,失败时回滚计数。 2. 扩容失败分支 continue 且无截止检查 —— 全节点失联时无限重试, 永远不抛 PoolTimeoutError。改为同一次 acquire 内每台主机只试一遍, 试完立刻抛错;再加池级熔断(BLACKOUT_COOLDOWN=2s),期内直接失败, 任一连接成功即解除。否则上层「按标的逐只重试」会把 16×6000 次握手 放大成 60s+ 的空转。 3. 批量 K 线失败批次攒到 gather 结束再串行补 —— 每只重付一次 RTT。 改为 extendleft 回队首由健康连接立刻接手(每只最多 2 次), 尾部兜底也改成信号量并发。分页器同理:worker 退出时把剩余页放回 共享 leftover,活着的 worker 接手,全部退出后仍有剩页则借新连接补完。 EX 池同步改为锁外建连,并给握手失败主机加 30s 拉黑。 实测(16 台替身节点、6000 只 × 240 根 1 分钟 K 线、0.9s 后变黑洞): 无故障 1.79s → 1.80s 2/16 死 2.28s → 1.91s 6/16 死 2.97s → 2.30s 16/16 死 >60s 未返回 → 2.37s 新增 tests/test_failover.py(7 项,含熔断期不再握手)与 scripts/bench_failover.py(对比压测)。 * chore(release): 0.7.2 - server_time 解码修正(0.7.1 及之前按「小时 + 百万分之一小时」解析是错的) - 服务器中途掉线的四项隔离机制(锁外建连 / 本轮不重试 / 池级熔断 / 批次回队) - 版本号四处对齐:pyproject.toml、__init__.py、uv.lock、CHANGELOG --------- Co-authored-by: openbot-coder <openbot-coder@users.noreply.github.com>
This commit is contained in:
1 parent
dea39db441
commit
1cd8f692a1
12 files changed
+838
-104
No files matched your search
@@ -81,6 +81,30 @@ results = await asyncio.gather(*[
|
||||
|
||||
EWMA(指数加权移动平均)延迟让选路对「最近变慢」敏感,而不是被历史均值拖住。
|
||||
|
||||
### 单台服务器中途掉线
|
||||
|
||||
「掉线」和「慢」是两回事:慢只是多等一会儿,掉线会把整批任务卡住。0.7.2 起有四道闸:
|
||||
|
||||
| 机制 | 作用 |
|
||||
|---|---|
|
||||
| **锁外建连** | `acquire` 锁内只预留槽位,TCP 握手 + 探针在锁外做。否则一台主机握手卡满 `timeout` 期间,所有并发协程的 `acquire` / `release` 全被池锁挡住 |
|
||||
| **本轮不重试同一台** | 一次 `acquire` 里握手失败的主机记进 `avoid`,不再重复试;每台都试完立刻抛 `PoolTimeoutError` |
|
||||
| **池级熔断** | 全主机失败后进入 `BLACKOUT_COOLDOWN`(2 秒)黑洞期,期内 `acquire` 直接失败、不再握手;任一连接成功即解除 |
|
||||
| **批次回队 / 份额再分配** | 批量 K 线流水线失败的那一批立刻回队首由健康连接接手;分页器让活着的 worker 接手坏 worker 剩下的页 |
|
||||
|
||||
实测 16 台替身节点、6,000 只 × 240 根 1 分钟 K 线、跑起来 0.9 秒后集体黑洞:
|
||||
|
||||
| 场景 | 0.7.1 | 0.7.2 |
|
||||
|---|---|---|
|
||||
| 无节点故障 | 1.79 s | 1.80 s |
|
||||
| 2/16 中途失联 | 2.28 s | 1.91 s |
|
||||
| 6/16 中途失联 | 2.97 s | 2.30 s |
|
||||
| 16/16 中途失联 | **> 60 s 未返回** | **2.37 s** |
|
||||
|
||||
全灭时的行为分两种:**一开始就没有可用连接** → `get_bars` 抛 `PoolTimeoutError`(不再静默
|
||||
返回空列表);**跑到一半全灭** → 返回已经取到的部分(不抛错、不挂死)。熔断只在**全部主机**
|
||||
都握手失败时触发,池子满了排队等待不受影响。
|
||||
|
||||
### MAC 通道的单台连接上限
|
||||
|
||||
`mac_pool_cap` 默认 `4`,与标准池的 `std_pool_cap` 一致——这是**对端单台连接限制**,
|
||||
|
||||
Reference in new issue
Block a user