docs: 补齐测速缓存相关文档,并修掉 0.6.0 遗留的过时描述

上一提交只补了 getting-started / routing / llms.txt / SKILL.md 四处,本轮把其余
教程类页面与接口清单补齐,并顺手修正 v0.6.0 统一接口改造后遗留的过时说明。

补齐(当日测速缓存):

- README「已知限制」:说明当日首次启动会自动后台测速并缓存
- FAQ 新增「启动时会变慢吗?会不会在后台偷偷联网?」:无感保证 + 三个环境变量开关
- FAQ「连不上服务器怎么办」:加入"删当日测速缓存 / 环境变量指定主机"两条前置排查
- API_REFERENCE 四、辅助模块:config 补全当日测速相关函数与优先级链说明,
  新增 pytdxdata.pool.probe_cache 一节(ProbeCache / schedule_probe / get_probe_cache)
- internals/architecture.md 目录树:config.py、probe_cache.py 的职责注释更新
- internals/cache-pool.md「下一步」:补「服务器是怎么选出来的」交叉链接

修正(v0.6.0 遗留过时描述):

- FAQ / api/enums.md:删掉「所有接口的第一个参数都是 market」——统一接口已改为字符串标的
- FAQ / cookbook:`*_batch` 已并入 `get_bars`(多标的),不再作为批量入口
- FAQ / getting-started「自建服务器清单」:`standard_servers` 实际是 Sequence[str]
  而非 (host, port) 元组(端口由统一的 port= 指定);原示例照抄会取到错的主机名
  (已实测:字符串写法正确,元组写法不会被解析)

校验:check_docs.py exit 0;mkdocs build --strict 无告警;新增交叉链接
#当日自动测速无感 / #daily-probe 均正确渲染且目标锚点存在;全量 164 项通过;
src/pytdxdata/servers.json 跑测前后逐字节不变。
This commit is contained in:
openbot-coder committed 2026-09-21 18:26:37 +08:00
1 parent c7c6c70333
commit 7e830c7579
9 files changed
+69 -21

No files matched your search

+2 -1
View File
@@ -114,7 +114,8 @@ uv run mkdocs serve # 本地预览文档站
- 行情来自通达信公开服务器,**15 分钟延时**;需实时数据请使用券商行情 - 行情来自通达信公开服务器,**15 分钟延时**;需实时数据请使用券商行情
- 标准通道 K 线 `count < 100` 部分服务器返回空 → 分页器已强制 `min_page=100` 规避 - 标准通道 K 线 `count < 100` 部分服务器返回空 → 分页器已强制 `min_page=100` 规避
- 港股 / 美股期权在通达信协议内无数据 - 港股 / 美股期权在通达信协议内无数据
- 服务器可用性随时间变化,可用 `python -m pytdxdata.server_probe` 重新探测 - 服务器可用性随时间变化。**当日首次启动会自动在后台测速并缓存**(对调用方无感,当天不再重测);
也可用 `python -m pytdxdata.server_probe` 离线重生成随包清单
## 免责声明 ## 免责声明
+20 -3
View File
@@ -232,14 +232,31 @@ from pytdxdata import (
| `boll(values, period=20, mult=2.0)` | 布林带 | | `boll(values, period=20, mult=2.0)` | 布林带 |
| `compute_indicators(high, low, close, indicators, params=None, tail=None)` | 统一入口(被 `get_stock_kline_with_indicators` 调用) | | `compute_indicators(high, low, close, indicators, params=None, tail=None)` | 统一入口(被 `get_stock_kline_with_indicators` 调用) |
**`pytdxdata.config`**(服务器清单) **`pytdxdata.config`**(服务器清单与选路)
| 函数 | 说明 | 主机来源优先级链(各协议独立):`PYPYTDX_DATA_*_HOSTS` 环境变量 → **当日测速缓存** →
包内清单 `fast_pool` → 包内清单 → 代码内置常量。
| 函数 / 常量 | 说明 |
|------|------| |------|------|
| `get_standard_hosts()` | 标准通道服务器列表 | | `get_standard_hosts()` | 标准通道服务器列表(按上述优先级链解析) |
| `get_mac_hosts()` | MAC 通道服务器列表 | | `get_mac_hosts()` | MAC 通道服务器列表 |
| `get_ex_hosts()` | EX 扩展市场服务器列表 | | `get_ex_hosts()` | EX 扩展市场服务器列表 |
| `get_ex_handshakes()` | EX 握手方式映射 | | `get_ex_handshakes()` | EX 握手方式映射 |
| `all_probe_candidates()` | 全量候选主机 `{standard, mac, ex}`(清单 ∪ 常量 ∪ env,**不按状态过滤**) |
| `is_valid_host(host)` | 主机名合法性校验(挡 mock 脏数据 / 非法条目) |
| `probe_cache_dir()` / `probe_cache_file()` | 用户级当日测速缓存目录 / 文件路径 |
| `load_probe_cache(today=None, path=None)` | 读当日测速缓存;缺失 / 损坏 / 非今日 / 版本不符 → `None` |
| `probe_disabled()` | 是否已用 `PYPYTDX_DATA_DISABLE_PROBE` 关闭测速 |
| `PROBE_CACHE_VERSION` | 测速缓存 payload 版本号 |
**`pytdxdata.pool.probe_cache`**(当日测速:后台执行、对用户无感)
| 符号 | 说明 |
|------|------|
| `ProbeCache` | 进程内协调器;`ensure_probe()` 为幂等入口(单飞 + 原子写) |
| `schedule_probe(hosts=None)` | 连接池用:挂后台 task 并返回该 task;无事件循环时返回 `None` |
| `get_probe_cache()` | 取进程级单例 |
**`pytdxdata.server_probe`**(服务器探测,可 `python -m pytdxdata.server_probe` 运行) **`pytdxdata.server_probe`**(服务器探测,可 `python -m pytdxdata.server_probe` 运行)
`load_servers()` / `save_servers(cfg)` / `SERVERS_FILE` `load_servers()` / `save_servers(cfg)` / `SERVERS_FILE`
+2 -2
View File
@@ -18,8 +18,8 @@ from pytdxdata.models import Adjust, ExMarket, KlinePeriod, Market
| `Market.BJ` | `2` | 北京(北交所) | | `Market.BJ` | `2` | 北京(北交所) |
!!! warning "代码不唯一" !!! warning "代码不唯一"
**市场 + 代码**才唯一。`(SH, "000001")` 是上证指数,`(SZ, "000001")` 是平安银行。 **市场 + 代码**才唯一。`sh000001` 是上证指数,`sz000001` 是平安银行。
所有接口的第一个参数都是 `market`,就是为了消歧。 统一接口用**字符串标的**把两者一起表达(前缀即市场),避免只写 6 位数字时的歧义。
## KlinePeriod — K 线周期 ## KlinePeriod — K 线周期
+1 -1
View File
@@ -11,7 +11,7 @@ from pytdxdata.models import Adjust, KlinePeriod
## 全市场日线批量落库 ## 全市场日线批量落库
连接池会把不同股票分配到不同服务器,这是 `*_batch` 存在的意义。 传多标的时,连接池会把不同股票分配到不同服务器——这正是它比逐个 `await` 快的原因。
```python ```python
async def dump_all_daily(): async def dump_all_daily():
+33 -9
View File
@@ -19,7 +19,8 @@
| SH | `000001` | 上证指数 | | SH | `000001` | 上证指数 |
| SZ | `000001` | 平安银行 | | SZ | `000001` | 平安银行 |
代码不唯一,**市场 + 代码**才唯一。这也是为什么所有接口的第一个参数都是 `market`。 代码不唯一,**市场 + 代码**才唯一。统一接口用**字符串标的**把两者一起表达
(`sh000001` / `sz000001`),避免只写 6 位数字时的歧义。
??? question "为什么报价格式有时候是 2 位小数,有时候是 3 位?" ??? question "为什么报价格式有时候是 2 位小数,有时候是 3 位?"
价格小数位按**品种**推断:股票 2 位,指数 / ETF / 可转债 3 位。 价格小数位按**品种**推断:股票 2 位,指数 / ETF / 可转债 3 位。
@@ -28,17 +29,40 @@
## 连接与网络 ## 连接与网络
??? question "连不上服务器 / 全部超时怎么办?" ??? question "连不上服务器 / 全部超时怎么办?"
服务器可用性会随时间变化(下线、换 IP、封禁)。按顺序排查: 服务器可用性会随时间变化(下线、换 IP、封禁)。本包**当日首次启动会自动后台测速**并把
可达主机按延迟排序缓存,多数情况下无需手工干预。按顺序排查:
1. 重新探测:`python -m pytdxdata.server_probe` 1. **删掉当日测速缓存**,让下次启动重新测速——缓存里可能存着今天刚挂掉的节点
2. 手工指定清单绕过探测结果: (路径见 [安装与配置](getting-started.md#当日自动测速无感))。
```python 2. 手工指定主机。优先级最高,**直接跳过测速与缓存**:
async with TdxData(standard_servers=[("1.2.3.4", 7709)]) as td: ... ```bash
PYPYTDX_DATA_STANDARD_HOSTS=1.2.3.4,5.6.7.8 python your_script.py
``` ```
3. 检查出口网络策略——标准 / MAC 端口 **7709**、EX 端口 **7727** 需要放通。
4. 若在用代理软件,注意有些本地代理会劫持回环 TCP,导致 asyncio 建事件循环都卡住 或在代码里传入(**只填主机名**,端口由 `port=` 统一指定):
```python
async with TdxData(standard_servers=["1.2.3.4"]) as td: ...
```
3. 离线重生成随包清单(该脚本会真实拉一段 K 线,剔除「握手正常但返回空」的坏节点):
```bash
python -m pytdxdata.server_probe
```
4. 检查出口网络策略——标准 / MAC 端口 **7709**、EX 端口 **7727** 需要放通。
5. 若在用代理软件,注意有些本地代理会劫持回环 TCP,导致 asyncio 建事件循环都卡住
(见下方「在 Windows 上测试卡死」)。 (见下方「在 Windows 上测试卡死」)。
??? question "启动时会变慢吗?会不会在后台偷偷联网?"
会有一次**当日首次启动测速**,但完全在后台,对调用方无感:
- **不阻塞** `start()`、**不打印**任何东西、失败**静默降级**(绝不抛给调用方)
- 结果只缓存到用户级目录(**不写安装目录**),**当天后续启动直接复用、不再重测**
- 覆盖**全部候选**主机(含暂时被挤下去的),所以「上次慢、这次快」的节点能回来
三个开关:`PYPYTDX_DATA_DISABLE_PROBE=1` 关掉测速、
`PYPYTDX_DATA_CACHE_DIR` 改缓存位置、
`PYPYTDX_DATA_{STANDARD,MAC,EX}_HOSTS` 强制指定主机。
详见 [安装与配置 → 当日自动测速](getting-started.md#当日自动测速无感)。
??? question "公司网络 / 代理环境下失败" ??? question "公司网络 / 代理环境下失败"
通达信协议是裸 TCP,不走 HTTP 代理。如果环境强制走代理,需要把 `7709` / `7727` 通达信协议是裸 TCP,不走 HTTP 代理。如果环境强制走代理,需要把 `7709` / `7727`
配成直连(bypass)。云服务器上常见问题是安全组只放通了 80/443。 配成直连(bypass)。云服务器上常见问题是安全组只放通了 80/443。
@@ -49,7 +73,7 @@
| 场景 | 建议 | | 场景 | 建议 |
|---|---| |---|---|
| 偶发查询、CLI | 默认即可 | | 偶发查询、CLI | 默认即可 |
| 批量落库(`*_batch`) | `pool_max=16`、`concurrency=8~16` | | 批量落库(`get_bars` 传多标的) | `pool_max=16`、`concurrency=8~16` |
| Web 服务多并发 | `pool_max=24`,并确保单实例复用 | | Web 服务多并发 | `pool_max=24`,并确保单实例复用 |
再大只是排队,不会更快——瓶颈是对端服务器的连接上限。 再大只是排队,不会更快——瓶颈是对端服务器的连接上限。
+6 -2
View File
@@ -96,12 +96,16 @@ asyncio.run(main())
```python ```python
async with TdxData( async with TdxData(
standard_servers=[("1.2.3.4", 7709), ("5.6.7.8", 7709)], standard_servers=["1.2.3.4", "5.6.7.8"],
mac_servers=[("9.10.11.12", 7709)], mac_servers=["9.10.11.12"],
port=7709,
) as td: ) as td:
... ...
``` ```
主机元素**只填主机名**,端口由构造参数 `port=` 统一指定(不写在主机元素里)。
等价的免代码写法是环境变量 `PYPYTDX_DATA_STANDARD_HOSTS` / `…_MAC_HOSTS`(逗号分隔)。
## 服务器清单 ## 服务器清单
内置清单随包发布(`src/pytdxdata/servers.json`),由探测脚本生成: 内置清单随包发布(`src/pytdxdata/servers.json`),由探测脚本生成:
+2 -1
View File
@@ -104,7 +104,8 @@ asyncio.run(main())
## 数据来源与限制 ## 数据来源与限制
- 行情来自通达信**公开**行情服务器(无需账号),**15 分钟延时**;需实时数据请使用券商行情 - 行情来自通达信**公开**行情服务器(无需账号),**15 分钟延时**;需实时数据请使用券商行情
- 服务器清单由 `python -m pytdxdata.server_probe` 探测生成,可用性随时间变化 - 服务器清单由 `python -m pytdxdata.server_probe` 探测生成;运行时**当日首次启动会自动在后台测速并缓存**
(对调用方无感,当天不再重测),可用性随时间变化
- 港股 / 美股 / 期货 / 期权走通达信 EX 通道(端口 7727),部分市场(美股期权、港股期权)协议内无数据 - 港股 / 美股 / 期货 / 期权走通达信 EX 通道(端口 7727),部分市场(美股期权、港股期权)协议内无数据
完整清单见 [常见问题](faq.md)。 完整清单见 [常见问题](faq.md)。
+2 -2
View File
@@ -23,7 +23,7 @@ src/pytdxdata/
├── api.py # 统一接口 TdxData(对外唯一入口) ├── api.py # 统一接口 TdxData(对外唯一入口)
├── symbols.py # 标的解析:字符串 → Symbol(parse_symbol / format_symbol / market_targets) ├── symbols.py # 标的解析:字符串 → Symbol(parse_symbol / format_symbol / market_targets)
├── router.py # 标准 / MAC / EX 通道选路 ├── router.py # 标准 / MAC / EX 通道选路
├── config.py # 服务器清单加载(servers.json) ├── config.py # 服务器清单加载 + 选路优先级链 + 用户级测速缓存路径
├── indicator.py # 技术指标(纯函数,无依赖) ├── indicator.py # 技术指标(纯函数,无依赖)
├── server_probe.py # 服务器探测,可 python -m 运行 ├── server_probe.py # 服务器探测,可 python -m 运行
├── protocol/ # 协议层 ├── protocol/ # 协议层
@@ -39,7 +39,7 @@ src/pytdxdata/
│ ├── pool.py # 标准 / MAC 动态池 │ ├── pool.py # 标准 / MAC 动态池
│ ├── ex_pool.py # EX 池 │ ├── ex_pool.py # EX 池
│ ├── health.py # 健康分与选路 │ ├── health.py # 健康分与选路
│ └── probe_cache.py # 探测结果缓存 │ └── probe_cache.py # 当日全量测速 + 用户级缓存(后台、无感)
├── scheduler/ ├── scheduler/
│ └── paginator.py # 并发分页调度(3 连接并行) │ └── paginator.py # 并发分页调度(3 连接并行)
├── cache/ ├── cache/
+1
View File
@@ -110,4 +110,5 @@ count=2400 → 3 页 → 3 个连接并行 → 按序拼接
## 下一步 ## 下一步
- [架构总览](architecture.md) — 这些模块在整体里的位置 - [架构总览](architecture.md) — 这些模块在整体里的位置
- [通道与数据源](routing.md#daily-probe) — 服务器是怎么选出来的(当日测速缓存)
- [常见问题](../faq.md) — 缓存与超时的排查 - [常见问题](../faq.md) — 缓存与超时的排查