From 2cf3657f4b531827cc892f8656107514d636c921 Mon Sep 17 00:00:00 2001 From: openbot-coder Date: Fri, 23 Oct 2026 15:24:17 +0800 Subject: [PATCH] =?UTF-8?q?fix:=20get=5Funiverse=20=E8=AF=B7=E6=B1=82?= =?UTF-8?q?=E5=A4=9A=E5=8F=91=202=20=E5=AD=97=E8=8A=82=E6=B1=A1=E6=9F=93?= =?UTF-8?q?=E8=BF=9E=E6=8E=A5=EF=BC=88=E5=86=B7=E5=90=AF=E5=8A=A8=2012~18s?= =?UTF-8?q?=20=E2=86=92=201.6s=EF=BC=89=20(#11)?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit ## 根因 GetSecurityListCmd 请求体应为「12 字节命令头 + market(H) + start(H)」= 16 字节, 实现里多塞了一个 H(写死 0),实际发 18 字节。服务端只消费前 16 字节,剩下的 00 00 停在它接收缓冲里,把下一个请求的开头吃掉 —— 同一连接「第一次成功、 第二次起永远无响应」。 对照实验(同一主机、同一命令): - 18 字节:第 1 次 OK,第 2/3 次全部 ConnectionError - 16 字节:连发 3 次全部 OK(27 台主机复测,第二次请求 27/27 成功,此前 0/27) 分页器复用连接,等于每页都要先失败重连,冷启动被拖到 12~18s 且常直接报错。 | 场景 | 前 | 后 | |---|---|---| | get_universe("sh") 冷(27,534 条/28 页) | 12,267ms | 1,610ms | | get_universe("sz") 冷(24,460 条/25 页) | 18,260ms | 571ms | | get_universe() 全市场冷(146,848 条) | 19,085ms | 4,371ms | | get_universe() 热 | — | 669ms | ## 北交所清单优雅降级 0x053E 对 market=2 在 27 台标准主机上全部无响应(26 台 6s 无回包、1 台立刻拒连), 同市场 0x053D 数量接口正常(389)。原实现重试 2 次×3s 后抛错,连带 get_universe() 整批失败。现直接返回空列表 + WARNING 一次。 北交所标的本身没问题:get_quotes("bj920992")/get_bars/逐笔全正常 (实测 11.79 与日线 close 一致)。 ## 优化 - get_universe() 的 EX 全量只取一次(命中缓存也要反序列化 10 万条 ~200ms, 原先十几个 EX 市场各来一次) - EX 商品列表改并发翻页(110 页,8 并发) ## 文档 / 测试 - get_universe docstring、API_REFERENCE、llms.txt、SKILL.md 写明北交所限制 - 新增 tests/test_universe.py 7 项:请求长度锁 16 字节、无尾部 padding、 北交所返回空且不碰连接池、_ex_all 只取一次 ## 已知限制(非本次引入) EX 全量含非证券条目(人员名录),(market, code) 原始数据里就不唯一, 重复出现在同一页内部;属数据源特性,未去重。 版本 0.6.8 → 0.6.9;测试 354 → 361 全通过。 Co-authored-by: openbot-coder --- CHANGELOG.md | 48 ++++++++++ SKILL.md | 3 +- docs/API_REFERENCE.md | 2 +- docs/llms.txt | 2 +- pyproject.toml | 2 +- src/pytdxdata/__init__.py | 2 +- src/pytdxdata/api.py | 43 +++++++-- .../protocol/commands/security_list.py | 6 +- tests/test_universe.py | 91 +++++++++++++++++++ uv.lock | 2 +- 10 files changed, 187 insertions(+), 14 deletions(-) create mode 100644 tests/test_universe.py diff --git a/CHANGELOG.md b/CHANGELOG.md index 01d0c3c..f430c16 100644 --- a/CHANGELOG.md +++ b/CHANGELOG.md @@ -2,6 +2,54 @@ 本项目遵循 [语义化版本](https://semver.org/lang/zh-CN/)。 +## [0.6.9] - 2026-10-23 + +### 修复 + +- **`get_universe` 冷启动 12~18s / 偶发失败:证券清单请求多发了 2 字节,污染连接**。 + + `GetSecurityListCmd` 的请求体是「12 字节命令头 + market(H) + start(H)」= **16 字节**, + 但实现里多塞了一个 `H`(写死 0),实际发出 **18 字节**。服务端只消费前 16 字节, + 剩下的 `00 00` 停在它的接收缓冲里,把**下一个请求**的开头吃掉 —— 于是同一条连接 + 「第一次成功、第二次起永远无响应」。 + + 分页器复用连接,等于每拉一页都要先失败重连,冷启动被拖到 12~18s,还经常直接抛 + `ConnectionError`。 + + | 场景 | 修复前 | 修复后 | + |---|---|---| + | `get_universe("sh")` 冷启动(27,534 条 / 28 页) | 12,267ms | **1,610ms** | + | `get_universe("sz")` 冷启动(24,460 条 / 25 页) | 18,260ms | **571ms** | + | `get_universe()` 全市场冷启动(146,848 条) | 19,085ms | **4,371ms** | + | `get_universe()` 热缓存 | — | 669ms | + | 同一连接连发 2 次清单(27 台主机) | **0/27 成功** | **27/27 成功** | + +- **北交所清单不再卡 15s 后报错,改为立即返回空列表**。 + + `0x053E` 对 `market=2` 在实测的 **27 台标准主机上全部无响应**(26 台 6s 无回包、 + 1 台立刻拒连),而同市场的 `0x053D` 数量接口正常(返回 389)。原实现会重试 2 次、 + 每次 3s 超时,最后让 `get_universe()`(不带参数)整批失败。 + + 现在该市场直接返回空列表并 `WARNING` 一次,**北交所标的本身不受影响**: + `get_quotes("bj920992")` / `get_bars` / 逐笔全部正常(实测 11.79 与日线 close 一致)。 + +### 优化 + +- **`get_universe()` 的 EX 全量只取一次**:命中缓存也要反序列化 10 万条(~200ms), + 原先十几个 EX 市场各来一次,纯属白烧。 +- **EX 商品列表改并发翻页**(110 页,8 并发):全市场冷启动的一半时间花在这里。 + +### 文档 + +- `get_universe` docstring 写明北交所限制;`API_REFERENCE` / `llms.txt` / `SKILL.md` 同步。 +- 新增 `tests/test_universe.py` 7 项:请求长度锁定 16 字节、无尾部 padding、 + 北交所返回空且**不碰连接池**、`_ex_all` 只取一次。 + +### 已知限制(非本次引入) + +- EX 全量列表含**非证券条目**(如人员名录),`(market, code)` 在原始数据里就不唯一, + 且重复项出现在**同一页内部**。属数据源特性,未做去重(去重会丢真实品种)。 + ## [0.6.8] - 2026-10-23 ### 修复 diff --git a/SKILL.md b/SKILL.md index df521cb..4b75f0b 100644 --- a/SKILL.md +++ b/SKILL.md @@ -139,13 +139,14 @@ await td.get_bars("cffex:IFL0", KlinePeriod.DAY, count=700) # 期货合约 | 需求 | 方法 | |---|---| -| 全市场标的清单(A股+港股+期货…) | `get_universe(market=None)` | +| 全市场标的清单(A股+港股+期货…;**北交所返回空**) | `get_universe(market=None)` | | 日/周/月/分钟 K 线(任意市场) | `get_bars(symbols, period, *, count, adjust, start_date, end_date)` | | K 线 + MACD/KDJ/RSI/BOLL | `get_indicators(symbols, indicators, ...)` | | 实时五档报价(A股)/ 基础报价(港股/美股/期货) | `get_quotes(symbols, *, fields=None, pipeline=True)` | | 逐笔成交(任意市场) | `get_ticks(symbols, *, date)` | | 分时图 / 缩略采样 | `get_minutes(symbols, *, date, sampling=True)` | | 全市场股票列表(缓存 1 天) | `get_universe("sz")` / `get_universe("sh")` | +| ~~北交所全量代码~~ | 拿不到:清单命令对 market=2 无响应(27 台全测)。北交所标的仍可直接查 `bj920992` | | 除权除息 / 财务快照 | `get_xdxr(symbols)` / `get_finance(symbols)` | | F10 公司资料 | `get_f10(symbol, section)` | | 板块列表 / 成分股 / 涨跌排行 | `get_boards` / `get_board_members` / `get_board_ranking` | diff --git a/docs/API_REFERENCE.md b/docs/API_REFERENCE.md index 74ee389..406f0a7 100644 --- a/docs/API_REFERENCE.md +++ b/docs/API_REFERENCE.md @@ -47,7 +47,7 @@ from pytdxdata import ( | 方法 | 返回 | 说明 | |------|------|------| -| `get_universe(market=None)` | `list[SecurityInfo]` | 跨市场标的清单(A 股+港股+美股+期货/期权);每条带协议自带的 `decimal_point`(价格小数位)与 `pre_close` | +| `get_universe(market=None)` | `list[SecurityInfo]` | 跨市场标的清单(A 股+港股+美股+期货/期权);每条带协议自带的 `decimal_point`(价格小数位)与 `pre_close`。**北交所清单协议不支持,返回空列表** | | `sync_decimal_points(markets=("sh","sz"))` | `dict` | 从证券清单同步**权威价格小数位表**(`SecurityInfo.decimal_point`),灌进 `price_decimal_digits` 的运行时表;`start()` 已自动做(当日缓存命中则零网络),此方法用于强制刷新/排障 | | `decimal_point_status()` | `dict` | 小数位表状态:`source`(`cache`/`universe`/空)、`stock`、`mixed_prefixes`、`syncing` | diff --git a/docs/llms.txt b/docs/llms.txt index a982f94..04b5422 100644 --- a/docs/llms.txt +++ b/docs/llms.txt @@ -44,7 +44,7 @@ asyncio.run(main()) 标的一律用字符串;以下均为 v0.6 统一接口,跨市场自动选路。 -- **标的清单**:`get_universe`(A股 + 港股 + 美股 + 期货/期权) +- **标的清单**:`get_universe`(A股 + 港股 + 美股 + 期货/期权)。⚠️ 北交所(`market="bj"`)清单**协议不支持**,返回空列表(`0x053E` 对 market=2 无响应,27 台服务器全测);但北交所**标的本身可用** —— 报价/K线/逐笔直接传 `bj920992` 这类代码正常 - **K 线**:`get_bars`(自动并发分页、支持复权与日期区间、多标的并发) - **技术指标**:`get_indicators`(K线 + MACD/KDJ/RSI/BOLL/MA/EMA) - **报价**:`get_quotes`(五档,>80 只自动切批;**单连接流水线**默认开启,全市场 5,200 只 A股 ~0.33s)、`get_snapshot`(个股特征)、`get_market_stat` diff --git a/pyproject.toml b/pyproject.toml index 74011c2..d856138 100644 --- a/pyproject.toml +++ b/pyproject.toml @@ -1,6 +1,6 @@ [project] name = "pytdxdata" -version = "0.6.8" +version = "0.6.9" description = "通达信(TongDaXin)行情数据客户端:动态连接池 + 双层TTL缓存 + 3连接并发分页,纯asyncio零运行时依赖,支持A股/港股/美股/期货/期权" readme = "README.md" requires-python = ">=3.11" diff --git a/src/pytdxdata/__init__.py b/src/pytdxdata/__init__.py index bb08264..b0beb70 100644 --- a/src/pytdxdata/__init__.py +++ b/src/pytdxdata/__init__.py @@ -18,7 +18,7 @@ from .models import ( XdxrRecord, ) -__version__ = "0.6.8" +__version__ = "0.6.9" __all__ = [ "TdxData", "Market", diff --git a/src/pytdxdata/api.py b/src/pytdxdata/api.py index 6f32450..be3bb22 100644 --- a/src/pytdxdata/api.py +++ b/src/pytdxdata/api.py @@ -155,6 +155,12 @@ _EX_TICK_PAGE = 1800 # 港股逐笔单页 _ALL_PAGES_CAP = 50 # count=None(全量)时的翻页上限 # 集合竞价**委托**记录标记(0x122F 第 5 字段)。不是成交,见 _ticks_one 注释。 _BS_AUCTION_ORDER = 8 +# 证券清单(0x053E)拿不到的市场。实测 27 台标准主机对 market=2(北交所)**全部 +# 不响应**(26 台 6s 无回包、1 台立刻拒连),而同 market 的 0x053D 数量接口正常 +# (返回 389)。故清单直接返回空,避免每次调用白等数秒再抛 ConnectionError。 +# 北交所**标的本身没问题**:报价/K线/逐笔用 ``bj920992`` 这类代码都正常。 +_LIST_UNSUPPORTED_MARKETS = frozenset({int(Market.BJ)}) +_list_unsupported_warned: set[int] = set() # 同一市场只 WARNING 一次 # 港股系市场:逐笔走 EX 专用 16B 协议(0x23FC/0x2406),其余扩展市场走 MAC 0x122F _HK_MARKETS = frozenset({27, 31, 48, 49, 71, 98}) @@ -331,11 +337,22 @@ class TdxData: 返回: ``list[SecurityInfo]``,每条带 ``symbol`` 规范化标的串与 ``kind`` 分类描述。 EX 通道无昨收/单位,对应字段为 0。 + + 注意: + **北交所(``"bj"``)清单返回空列表**:清单命令 0x053E 对 market=2 + 在所有实测服务器上都不响应(27 台全测),协议层根本拿不到。 + 但北交所**标的本身可用** —— 报价/K线/逐笔直接传 ``bj920992`` 这类代码 + 都正常,只是无法枚举全量代码。``market="all"`` 时该市场被跳过,不会报错。 """ out: list[SecurityInfo] = [] + ex_items: list[SecurityInfo] | None = None for mkt, channel in market_targets(market): if channel == "ex": - out.extend(await self._universe_ex(mkt)) + # EX 全量只取一次:命中缓存也要反序列化 10 万条(~200ms), + # 十几个 EX 市场各来一次纯属白烧。 + if ex_items is None: + ex_items = await self._ex_all() + out.extend(it for it in ex_items if it.market == mkt) else: out.extend(await self._universe_cn(mkt)) return out @@ -374,6 +391,14 @@ class TdxData: return decimal_sync.status() async def _universe_cn(self, market: int) -> list[SecurityInfo]: + if market in _LIST_UNSUPPORTED_MARKETS: + if market not in _list_unsupported_warned: + _list_unsupported_warned.add(market) + log.warning( + "市场 %s 的证券清单接口协议不支持(0x053E 无响应),返回空列表;" + "该市场标的的报价/K线/逐笔不受影响", market) + return [] + key = CacheKey("list", market) async def fetch() -> bytes: @@ -402,13 +427,18 @@ class TdxData: async def fetch() -> bytes: total = int(await self._execute_ex(GetExInstrumentCountCmd())) + starts = list(range(0, total, _EX_PAGE)) + sem = asyncio.Semaphore(8) # 实测 8 页并发 292ms(串行 110 页 ~4s) + + async def one(pos: int) -> list[dict]: + async with sem: + return await self._execute_ex( + GetExInstrumentInfoCmd(0, pos, _EX_PAGE)) + items: list[SecurityInfo] = [] - pos = 0 - while pos < total: - page = await self._execute_ex( - GetExInstrumentInfoCmd(0, pos, _EX_PAGE)) + for page in await asyncio.gather(*(one(s) for s in starts)): if not page: - break + continue for g in page: mkt = int(g["market"]) code = str(g["code"]).strip() @@ -422,7 +452,6 @@ class TdxData: symbol=format_symbol(mkt, code), kind=str(g.get("desc", "")).strip(), )) - pos += len(page) return pack_payload(items) return unpack_payload(await self._cache.get_or_fetch(key, fetch)) diff --git a/src/pytdxdata/protocol/commands/security_list.py b/src/pytdxdata/protocol/commands/security_list.py index 8deee2c..68a2012 100644 --- a/src/pytdxdata/protocol/commands/security_list.py +++ b/src/pytdxdata/protocol/commands/security_list.py @@ -36,8 +36,12 @@ class GetSecurityListCmd(BaseCommand[list[SecurityInfo]]): self.start = start def build_request(self) -> bytes: + # 12 字节头 + market(H) + start(H) = **16 字节**。 + # ⚠️ 曾经多塞一个 H(18 字节):服务端只消费前 16 字节,剩下的 00 00 + # 留在它的接收缓冲里,会把**下一个请求**的开头吃掉 → 该连接的后续请求 + # 永远得不到响应(表现为「第一次成功、第二次起全部通信超时」)。 header = bytes.fromhex("0c0118640101060006005004".replace(" ", "")) - return header + struct.pack(" list[SecurityInfo]: (num,) = unpack_from(" {len(req)} 字节" + + +def test_parse_response_reads_all_records(): + """29 字节/条,头部 2 字节条数。""" + code, name = b"600000", "浦发银行".encode("gbk").ljust(8, b"\x00") + rec = struct.pack("<6sH8s4sBI4s", code, 100, name, b"\x00" * 4, 2, 0, b"\x00" * 4) + assert len(rec) == 29 + body = struct.pack("