fix: get_universe 请求多发 2 字节污染连接(冷启动 12~18s → 1.6s) (#11)
## 根因
GetSecurityListCmd 请求体应为「12 字节命令头 + market(H) + start(H)」= 16 字节,
实现里多塞了一个 H(写死 0),实际发 18 字节。服务端只消费前 16 字节,剩下的
00 00 停在它接收缓冲里,把下一个请求的开头吃掉 —— 同一连接「第一次成功、
第二次起永远无响应」。
对照实验(同一主机、同一命令):
- 18 字节:第 1 次 OK,第 2/3 次全部 ConnectionError
- 16 字节:连发 3 次全部 OK(27 台主机复测,第二次请求 27/27 成功,此前 0/27)
分页器复用连接,等于每页都要先失败重连,冷启动被拖到 12~18s 且常直接报错。
| 场景 | 前 | 后 |
|---|---|---|
| get_universe("sh") 冷(27,534 条/28 页) | 12,267ms | 1,610ms |
| get_universe("sz") 冷(24,460 条/25 页) | 18,260ms | 571ms |
| get_universe() 全市场冷(146,848 条) | 19,085ms | 4,371ms |
| get_universe() 热 | — | 669ms |
## 北交所清单优雅降级
0x053E 对 market=2 在 27 台标准主机上全部无响应(26 台 6s 无回包、1 台立刻拒连),
同市场 0x053D 数量接口正常(389)。原实现重试 2 次×3s 后抛错,连带
get_universe() 整批失败。现直接返回空列表 + WARNING 一次。
北交所标的本身没问题:get_quotes("bj920992")/get_bars/逐笔全正常
(实测 11.79 与日线 close 一致)。
## 优化
- get_universe() 的 EX 全量只取一次(命中缓存也要反序列化 10 万条 ~200ms,
原先十几个 EX 市场各来一次)
- EX 商品列表改并发翻页(110 页,8 并发)
## 文档 / 测试
- get_universe docstring、API_REFERENCE、llms.txt、SKILL.md 写明北交所限制
- 新增 tests/test_universe.py 7 项:请求长度锁 16 字节、无尾部 padding、
北交所返回空且不碰连接池、_ex_all 只取一次
## 已知限制(非本次引入)
EX 全量含非证券条目(人员名录),(market, code) 原始数据里就不唯一,
重复出现在同一页内部;属数据源特性,未去重。
版本 0.6.8 → 0.6.9;测试 354 → 361 全通过。
Co-authored-by: openbot-coder <openbot-coder@users.noreply.github.com>
This commit is contained in:
1 parent
dc78d81be8
commit
2cf3657f4b
10 files changed
+187
-14
No files matched your search
@@ -18,7 +18,7 @@ from .models import (
|
||||
XdxrRecord,
|
||||
)
|
||||
|
||||
__version__ = "0.6.8"
|
||||
__version__ = "0.6.9"
|
||||
__all__ = [
|
||||
"TdxData",
|
||||
"Market",
|
||||
|
||||
+36
-7
@@ -155,6 +155,12 @@ _EX_TICK_PAGE = 1800 # 港股逐笔单页
|
||||
_ALL_PAGES_CAP = 50 # count=None(全量)时的翻页上限
|
||||
# 集合竞价**委托**记录标记(0x122F 第 5 字段)。不是成交,见 _ticks_one 注释。
|
||||
_BS_AUCTION_ORDER = 8
|
||||
# 证券清单(0x053E)拿不到的市场。实测 27 台标准主机对 market=2(北交所)**全部
|
||||
# 不响应**(26 台 6s 无回包、1 台立刻拒连),而同 market 的 0x053D 数量接口正常
|
||||
# (返回 389)。故清单直接返回空,避免每次调用白等数秒再抛 ConnectionError。
|
||||
# 北交所**标的本身没问题**:报价/K线/逐笔用 ``bj920992`` 这类代码都正常。
|
||||
_LIST_UNSUPPORTED_MARKETS = frozenset({int(Market.BJ)})
|
||||
_list_unsupported_warned: set[int] = set() # 同一市场只 WARNING 一次
|
||||
|
||||
# 港股系市场:逐笔走 EX 专用 16B 协议(0x23FC/0x2406),其余扩展市场走 MAC 0x122F
|
||||
_HK_MARKETS = frozenset({27, 31, 48, 49, 71, 98})
|
||||
@@ -331,11 +337,22 @@ class TdxData:
|
||||
返回:
|
||||
``list[SecurityInfo]``,每条带 ``symbol`` 规范化标的串与 ``kind`` 分类描述。
|
||||
EX 通道无昨收/单位,对应字段为 0。
|
||||
|
||||
注意:
|
||||
**北交所(``"bj"``)清单返回空列表**:清单命令 0x053E 对 market=2
|
||||
在所有实测服务器上都不响应(27 台全测),协议层根本拿不到。
|
||||
但北交所**标的本身可用** —— 报价/K线/逐笔直接传 ``bj920992`` 这类代码
|
||||
都正常,只是无法枚举全量代码。``market="all"`` 时该市场被跳过,不会报错。
|
||||
"""
|
||||
out: list[SecurityInfo] = []
|
||||
ex_items: list[SecurityInfo] | None = None
|
||||
for mkt, channel in market_targets(market):
|
||||
if channel == "ex":
|
||||
out.extend(await self._universe_ex(mkt))
|
||||
# EX 全量只取一次:命中缓存也要反序列化 10 万条(~200ms),
|
||||
# 十几个 EX 市场各来一次纯属白烧。
|
||||
if ex_items is None:
|
||||
ex_items = await self._ex_all()
|
||||
out.extend(it for it in ex_items if it.market == mkt)
|
||||
else:
|
||||
out.extend(await self._universe_cn(mkt))
|
||||
return out
|
||||
@@ -374,6 +391,14 @@ class TdxData:
|
||||
return decimal_sync.status()
|
||||
|
||||
async def _universe_cn(self, market: int) -> list[SecurityInfo]:
|
||||
if market in _LIST_UNSUPPORTED_MARKETS:
|
||||
if market not in _list_unsupported_warned:
|
||||
_list_unsupported_warned.add(market)
|
||||
log.warning(
|
||||
"市场 %s 的证券清单接口协议不支持(0x053E 无响应),返回空列表;"
|
||||
"该市场标的的报价/K线/逐笔不受影响", market)
|
||||
return []
|
||||
|
||||
key = CacheKey("list", market)
|
||||
|
||||
async def fetch() -> bytes:
|
||||
@@ -402,13 +427,18 @@ class TdxData:
|
||||
|
||||
async def fetch() -> bytes:
|
||||
total = int(await self._execute_ex(GetExInstrumentCountCmd()))
|
||||
starts = list(range(0, total, _EX_PAGE))
|
||||
sem = asyncio.Semaphore(8) # 实测 8 页并发 292ms(串行 110 页 ~4s)
|
||||
|
||||
async def one(pos: int) -> list[dict]:
|
||||
async with sem:
|
||||
return await self._execute_ex(
|
||||
GetExInstrumentInfoCmd(0, pos, _EX_PAGE))
|
||||
|
||||
items: list[SecurityInfo] = []
|
||||
pos = 0
|
||||
while pos < total:
|
||||
page = await self._execute_ex(
|
||||
GetExInstrumentInfoCmd(0, pos, _EX_PAGE))
|
||||
for page in await asyncio.gather(*(one(s) for s in starts)):
|
||||
if not page:
|
||||
break
|
||||
continue
|
||||
for g in page:
|
||||
mkt = int(g["market"])
|
||||
code = str(g["code"]).strip()
|
||||
@@ -422,7 +452,6 @@ class TdxData:
|
||||
symbol=format_symbol(mkt, code),
|
||||
kind=str(g.get("desc", "")).strip(),
|
||||
))
|
||||
pos += len(page)
|
||||
return pack_payload(items)
|
||||
|
||||
return unpack_payload(await self._cache.get_or_fetch(key, fetch))
|
||||
|
||||
@@ -36,8 +36,12 @@ class GetSecurityListCmd(BaseCommand[list[SecurityInfo]]):
|
||||
self.start = start
|
||||
|
||||
def build_request(self) -> bytes:
|
||||
# 12 字节头 + market(H) + start(H) = **16 字节**。
|
||||
# ⚠️ 曾经多塞一个 H(18 字节):服务端只消费前 16 字节,剩下的 00 00
|
||||
# 留在它的接收缓冲里,会把**下一个请求**的开头吃掉 → 该连接的后续请求
|
||||
# 永远得不到响应(表现为「第一次成功、第二次起全部通信超时」)。
|
||||
header = bytes.fromhex("0c0118640101060006005004".replace(" ", ""))
|
||||
return header + struct.pack("<HHH", self.market, self.start, 0)
|
||||
return header + struct.pack("<HH", self.market, self.start)
|
||||
|
||||
def parse_response(self, body: bytes) -> list[SecurityInfo]:
|
||||
(num,) = unpack_from("<H", body, 0, "security list header")
|
||||
|
||||
Reference in new issue
Block a user