fix: get_universe 请求多发 2 字节污染连接(冷启动 12~18s → 1.6s) (#11)

## 根因

GetSecurityListCmd 请求体应为「12 字节命令头 + market(H) + start(H)」= 16 字节,
实现里多塞了一个 H(写死 0),实际发 18 字节。服务端只消费前 16 字节,剩下的
00 00 停在它接收缓冲里,把下一个请求的开头吃掉 —— 同一连接「第一次成功、
第二次起永远无响应」。

对照实验(同一主机、同一命令):
- 18 字节:第 1 次 OK,第 2/3 次全部 ConnectionError
- 16 字节:连发 3 次全部 OK(27 台主机复测,第二次请求 27/27 成功,此前 0/27)

分页器复用连接,等于每页都要先失败重连,冷启动被拖到 12~18s 且常直接报错。

| 场景 | 前 | 后 |
|---|---|---|
| get_universe("sh") 冷(27,534 条/28 页) | 12,267ms | 1,610ms |
| get_universe("sz") 冷(24,460 条/25 页) | 18,260ms | 571ms |
| get_universe() 全市场冷(146,848 条) | 19,085ms | 4,371ms |
| get_universe() 热 | — | 669ms |

## 北交所清单优雅降级

0x053E 对 market=2 在 27 台标准主机上全部无响应(26 台 6s 无回包、1 台立刻拒连),
同市场 0x053D 数量接口正常(389)。原实现重试 2 次×3s 后抛错,连带
get_universe() 整批失败。现直接返回空列表 + WARNING 一次。

北交所标的本身没问题:get_quotes("bj920992")/get_bars/逐笔全正常
(实测 11.79 与日线 close 一致)。

## 优化

- get_universe() 的 EX 全量只取一次(命中缓存也要反序列化 10 万条 ~200ms,
  原先十几个 EX 市场各来一次)
- EX 商品列表改并发翻页(110 页,8 并发)

## 文档 / 测试

- get_universe docstring、API_REFERENCE、llms.txt、SKILL.md 写明北交所限制
- 新增 tests/test_universe.py 7 项:请求长度锁 16 字节、无尾部 padding、
  北交所返回空且不碰连接池、_ex_all 只取一次

## 已知限制(非本次引入)

EX 全量含非证券条目(人员名录),(market, code) 原始数据里就不唯一,
重复出现在同一页内部;属数据源特性,未去重。

版本 0.6.8 → 0.6.9;测试 354 → 361 全通过。

Co-authored-by: openbot-coder <openbot-coder@users.noreply.github.com>
This commit is contained in:
openbotandopenbot-coder authored and GitHub committed 2026-10-23 15:24:17 +08:00
1 parent dc78d81be8
commit 2cf3657f4b
10 files changed
+187 -14

No files matched your search

+1 -1
View File
@@ -18,7 +18,7 @@ from .models import (
XdxrRecord,
)
__version__ = "0.6.8"
__version__ = "0.6.9"
__all__ = [
"TdxData",
"Market",
+36 -7
View File
@@ -155,6 +155,12 @@ _EX_TICK_PAGE = 1800 # 港股逐笔单页
_ALL_PAGES_CAP = 50 # count=None(全量)时的翻页上限
# 集合竞价**委托**记录标记(0x122F 第 5 字段)。不是成交,见 _ticks_one 注释。
_BS_AUCTION_ORDER = 8
# 证券清单(0x053E)拿不到的市场。实测 27 台标准主机对 market=2(北交所)**全部
# 不响应**(26 台 6s 无回包、1 台立刻拒连),而同 market 的 0x053D 数量接口正常
# (返回 389)。故清单直接返回空,避免每次调用白等数秒再抛 ConnectionError。
# 北交所**标的本身没问题**:报价/K线/逐笔用 ``bj920992`` 这类代码都正常。
_LIST_UNSUPPORTED_MARKETS = frozenset({int(Market.BJ)})
_list_unsupported_warned: set[int] = set() # 同一市场只 WARNING 一次
# 港股系市场:逐笔走 EX 专用 16B 协议(0x23FC/0x2406),其余扩展市场走 MAC 0x122F
_HK_MARKETS = frozenset({27, 31, 48, 49, 71, 98})
@@ -331,11 +337,22 @@ class TdxData:
返回:
``list[SecurityInfo]``,每条带 ``symbol`` 规范化标的串与 ``kind`` 分类描述。
EX 通道无昨收/单位,对应字段为 0。
注意:
**北交所(``"bj"``)清单返回空列表**:清单命令 0x053E 对 market=2
在所有实测服务器上都不响应(27 台全测),协议层根本拿不到。
但北交所**标的本身可用** —— 报价/K线/逐笔直接传 ``bj920992`` 这类代码
都正常,只是无法枚举全量代码。``market="all"`` 时该市场被跳过,不会报错。
"""
out: list[SecurityInfo] = []
ex_items: list[SecurityInfo] | None = None
for mkt, channel in market_targets(market):
if channel == "ex":
out.extend(await self._universe_ex(mkt))
# EX 全量只取一次:命中缓存也要反序列化 10 万条(~200ms),
# 十几个 EX 市场各来一次纯属白烧。
if ex_items is None:
ex_items = await self._ex_all()
out.extend(it for it in ex_items if it.market == mkt)
else:
out.extend(await self._universe_cn(mkt))
return out
@@ -374,6 +391,14 @@ class TdxData:
return decimal_sync.status()
async def _universe_cn(self, market: int) -> list[SecurityInfo]:
if market in _LIST_UNSUPPORTED_MARKETS:
if market not in _list_unsupported_warned:
_list_unsupported_warned.add(market)
log.warning(
"市场 %s 的证券清单接口协议不支持(0x053E 无响应),返回空列表;"
"该市场标的的报价/K线/逐笔不受影响", market)
return []
key = CacheKey("list", market)
async def fetch() -> bytes:
@@ -402,13 +427,18 @@ class TdxData:
async def fetch() -> bytes:
total = int(await self._execute_ex(GetExInstrumentCountCmd()))
starts = list(range(0, total, _EX_PAGE))
sem = asyncio.Semaphore(8) # 实测 8 页并发 292ms(串行 110 页 ~4s)
async def one(pos: int) -> list[dict]:
async with sem:
return await self._execute_ex(
GetExInstrumentInfoCmd(0, pos, _EX_PAGE))
items: list[SecurityInfo] = []
pos = 0
while pos < total:
page = await self._execute_ex(
GetExInstrumentInfoCmd(0, pos, _EX_PAGE))
for page in await asyncio.gather(*(one(s) for s in starts)):
if not page:
break
continue
for g in page:
mkt = int(g["market"])
code = str(g["code"]).strip()
@@ -422,7 +452,6 @@ class TdxData:
symbol=format_symbol(mkt, code),
kind=str(g.get("desc", "")).strip(),
))
pos += len(page)
return pack_payload(items)
return unpack_payload(await self._cache.get_or_fetch(key, fetch))
@@ -36,8 +36,12 @@ class GetSecurityListCmd(BaseCommand[list[SecurityInfo]]):
self.start = start
def build_request(self) -> bytes:
# 12 字节头 + market(H) + start(H) = **16 字节**。
# ⚠️ 曾经多塞一个 H(18 字节):服务端只消费前 16 字节,剩下的 00 00
# 留在它的接收缓冲里,会把**下一个请求**的开头吃掉 → 该连接的后续请求
# 永远得不到响应(表现为「第一次成功、第二次起全部通信超时」)。
header = bytes.fromhex("0c0118640101060006005004".replace(" ", ""))
return header + struct.pack("<HHH", self.market, self.start, 0)
return header + struct.pack("<HH", self.market, self.start)
def parse_response(self, body: bytes) -> list[SecurityInfo]:
(num,) = unpack_from("<H", body, 0, "security list header")