fix(pool): 重写当日测速缓存:全量候选 + 用户级缓存 + 真实数据探针
原实现在 v0.5.0 已随包发布,但有三处会"静默失效"的缺陷,等于没真正生效: - 候选集自指:连接池把自己已过滤后的成员当探针输入,实测只重测了 9 台, 另外 20+ 台候选(含快节点)永远测不到。改为由 probe_cache 自行枚举 全量候选(包内清单 ∪ 代码常量 ∪ env),不再接受调用方传入的"当前池成员"。 - 写回安装目录:结果写回 src/pytdxdata/servers.json,容器/系统级安装下只读会 静默失败、多用户共用一个安装会互相覆盖,且污染随包分发的数据。改为写入 用户级缓存目录(Win %LOCALAPPDATA% / macOS ~/Library/Caches / Linux $XDG_CACHE_HOME), 运行时绝不再改写包内清单。 - 探测太弱:只做握手,测不出「握手正常但 K 线空响应」的坏节点。改为发真实业务 命令并要求返回非空(标准 GetSecurityBarsCmd / MAC MacKlineCmd / EX GetExInstrumentBarsCmd), EX 池(4 台,7727)也一并纳入。 无感保证:后台 task 不阻塞 start()、日志全 debug 级、绝不抛异常(取消除外)、 原子写 tmp + os.replace、进程内单例 + asyncio.Lock 单飞;全不可达时不写缓存 (否则"今天全挂"会被缓存一整天)。close() 会取消并 await 后台探针, 避免解释器退出时报 "Task was destroyed but it is pending"。 新增环境变量 PYPYTDX_DATA_CACHE_DIR(覆盖缓存目录)、 PYPYTDX_DATA_DISABLE_PROBE=1(关闭测速)。新增 tests/test_probe_cache.py(37 项)。
This commit is contained in:
1 parent
3e0beb27a6
commit
18d9e9a006
9 files changed
+941
-134
No files matched your search
@@ -121,6 +121,45 @@ from pytdxdata.config import get_standard_hosts, get_mac_hosts, get_ex_hosts
|
||||
print(len(get_standard_hosts()), len(get_mac_hosts()), len(get_ex_hosts()))
|
||||
```
|
||||
|
||||
### 当日自动测速(无感)
|
||||
|
||||
除随包发布的静态清单外,`TdxData` 还在**当日首次启动**时做一次**后台全量测速**:
|
||||
|
||||
- 覆盖**全部候选**(包内清单 ∪ 代码内置常量 ∪ 环境变量覆盖),而不是只测当前池里的少数节点
|
||||
——否则「上次慢、这次快」的节点永远捞不回来
|
||||
- 用**真实 K 线命令**判定可达(标准 / MAC / EX 各发一条业务命令并要求非空),
|
||||
能剔除「握手正常但返回空数据」的坏节点
|
||||
- 结果按**实测延迟升序**写入**用户级缓存**,当天后续启动直接复用、**不再重测**
|
||||
- 全程在后台进行:**不打印、不阻塞 `start()`、失败静默降级**,对调用方完全无感
|
||||
|
||||
缓存位置(可用 `PYPYTDX_DATA_CACHE_DIR` 覆盖):
|
||||
|
||||
| 平台 | 路径 |
|
||||
|---|---|
|
||||
| Windows | `%LOCALAPPDATA%\pytdxdata\hosts-today.json` |
|
||||
| macOS | `~/Library/Caches/pytdxdata/hosts-today.json` |
|
||||
| Linux / 其他 | `$XDG_CACHE_HOME/pytdxdata/hosts-today.json`(默认 `~/.cache/…`) |
|
||||
|
||||
主机选择的优先级(各协议独立):
|
||||
|
||||
1. `PYPYTDX_DATA_STANDARD_HOSTS` / `…_MAC_HOSTS` / `…_EX_HOSTS` 环境变量(手工指定,最高优先)
|
||||
2. **当日测速缓存**中该协议实测可达的主机(按延迟升序)
|
||||
3. 包内清单里 `status=ok` 的 `fast_pool` 主机
|
||||
4. 包内清单里 `status=ok` 的主机
|
||||
5. 代码内置常量
|
||||
|
||||
!!! note "缓存绝不写回安装目录"
|
||||
测速结果只写入上面的**用户级缓存目录**。`site-packages` 在容器 / 系统级安装 / `pipx`
|
||||
下可能只读,多用户共用一个安装时还会互相覆盖,因此包内 `servers.json` 不会被运行时改写。
|
||||
|
||||
环境变量一览:
|
||||
|
||||
| 变量 | 作用 |
|
||||
|---|---|
|
||||
| `PYPYTDX_DATA_STANDARD_HOSTS` / `…_MAC_HOSTS` / `…_EX_HOSTS` | 逗号分隔,手工指定主机(优先级最高,直接跳过测速缓存) |
|
||||
| `PYPYTDX_DATA_CACHE_DIR` | 覆盖当日测速缓存目录 |
|
||||
| `PYPYTDX_DATA_DISABLE_PROBE=1` | 关闭当日测速与缓存(CI / 测试用,保证确定性) |
|
||||
|
||||
## 生命周期
|
||||
|
||||
`TdxData` 必须在 `async with` 内使用,或手动 `await td.start()` / `await td.close()`:
|
||||
|
||||
@@ -57,6 +57,29 @@ python -m pytdxdata.server_probe
|
||||
普通「只 ping 握手」的探测会把这类坏节点放进来,症状是**偶发的空返回**——
|
||||
比直接连不上更难查。所以探测必须校验数据。
|
||||
|
||||
## 运行时:当日测速缓存 {#daily-probe}
|
||||
|
||||
`python -m pytdxdata.server_probe` 是**离线**重生成随包清单的工具;运行时还有一条**在线**的
|
||||
轻量路径——`TdxData.start()` 会异步触发一次全量测速,把结果缓存到**用户级目录**
|
||||
(`…/pytdxdata/hosts-today.json`),当天后续启动直接复用,不再重测。
|
||||
|
||||
设计与几个必须踩对的点:
|
||||
|
||||
| 关注点 | 正确做法 | 反例(会静默出错) |
|
||||
|---|---|---|
|
||||
| 候选集 | 取**全部候选**(清单 ∪ 常量 ∪ env) | 只把「当前池成员」丢给探针 → 上次慢的节点永远捞不回来 |
|
||||
| 可达判定 | 发**真实 K 线命令**并要求非空 | 只握手 / 只读报文头 → 测不出「空响应」坏节点 |
|
||||
| 写盘位置 | 用户级缓存目录 | 写回包内 `servers.json` → 容器只读、多用户互相覆盖 |
|
||||
| 对调用方 | 后台 task + debug 日志 + 绝不抛异常 | 在 `start()` 里 `await` 或打印 → 启动变慢、污染用户输出 |
|
||||
| 并发 | 进程内单例 + `asyncio.Lock` | 三个池各测一遍 → 三倍流量 |
|
||||
| 写入 | 临时文件 + `os.replace` 原子替换 | 直接覆写 → 并发进程读到半截 JSON |
|
||||
|
||||
全部不可达时**不写缓存**——否则「今天全挂了」会被缓存一整天,明天也不重试。
|
||||
|
||||
缓存存在时,`config.get_standard_hosts()` 等按**实测延迟升序**返回该协议的可达主机;
|
||||
缓存缺失 / 跨日 / 版本不符 / 已损坏时,才回落到包内清单。开关见
|
||||
[安装与配置 → 环境变量](../getting-started.md#当日自动测速无感)。
|
||||
|
||||
## EX 通道细节
|
||||
|
||||
- 端口固定 **7727**,与标准 / MAC 的 7709 不同
|
||||
|
||||
@@ -59,6 +59,19 @@ asyncio.run(main())
|
||||
> 旧的分通道/市场方法(`get_kline` / `get_transactions` / `get_goods_*` 等共 33 个)保留为
|
||||
> deprecated 别名,1.0 移除;完整对照见[接口重构审查](https://openbot-coder.github.io/pytdxdata/refactor-audit/)与 CHANGELOG。
|
||||
|
||||
## 服务器与配置
|
||||
|
||||
服务器主机来源有一条优先级链(各协议独立):环境变量 → **当日测速缓存** → 包内清单
|
||||
`fast_pool` → 包内清单 → 代码内置常量。
|
||||
|
||||
- `TdxData.start()` 会在**当日首次启动**后台触发一次全量测速,用**真实 K 线命令**判定可达
|
||||
(不是只握手),结果按延迟升序写入**用户级缓存**(Windows `%LOCALAPPDATA%\pytdxdata`、
|
||||
macOS `~/Library/Caches/pytdxdata`、Linux `$XDG_CACHE_HOME/pytdxdata`),当天复用、不再重测。
|
||||
- 该操作对调用方**完全无感**:后台执行、不打印、不阻塞 `start()`、失败静默降级。
|
||||
运行时**绝不改写包内 `servers.json`**。
|
||||
- 环境变量:`PYPYTDX_DATA_STANDARD_HOSTS` / `…_MAC_HOSTS` / `…_EX_HOSTS`(逗号分隔,手工指定,最高优先)、
|
||||
`PYPYTDX_DATA_CACHE_DIR`(覆盖缓存目录)、`PYPYTDX_DATA_DISABLE_PROBE=1`(关闭测速)。
|
||||
|
||||
## CLI
|
||||
|
||||
安装后提供 `tdx` 命令,19 个子命令,不写代码即可取数:
|
||||
|
||||
Reference in new issue
Block a user