perf(frames): DataFrame 转换提速近一倍(24万行 K 线 894ms → 462ms) (#13)
- 普通列改 list(map(attrgetter(name), rows)):取值在 C 层,不再每格建 Python 帧 - trading_date 按时间字段缓存(24万行常只有 1~2 个键):218ms → 33ms - IntEnum 归一化从每格判断改为按列判断、需要时才整列转 - 补 3 项逐字段等价测试(多市场多时段 trading_date、分时 day_offset、全列比对) - docs/dataframe.md 性能一节改为实测数据 + 何时该用 DataFrame 出口 Co-authored-by: openbot-coder <openbot-coder@users.noreply.github.com>
This commit is contained in:
1 parent
04e0c57569
commit
8c25feca18
4 files changed
+224
-25
No files matched your search
+23
-3
@@ -116,7 +116,27 @@ DataFrame 只是换了个容器,**下面这些口径不会因为转成 DataFra
|
||||
|
||||
## 性能
|
||||
|
||||
转换是**列式采集**:按模型预先算好列计划,一次遍历填满所有列,不做逐行 `asdict()`。
|
||||
5,227 只 A 股报价转 polars 约 20~40ms,相对一次全市场查询(约 300ms)可以忽略。
|
||||
先说结论:**`df=` 只影响出参那一层,取数、连接池、缓存完全不变**,但转换本身不是免费的——
|
||||
结果集越大越明显。实测(缓存已热、同一台机器、Windows / Python 3.13):
|
||||
|
||||
`df=None` 时**完全不经过这层**(装饰器直接透传),零额外开销。
|
||||
| 场景 | `df=None` | `df="polars"` | `df="pandas"` |
|
||||
|---|---|---|---|
|
||||
| 全市场报价 5,225 只 | 66 ms | 117 ms(+51) | 124 ms(+58) |
|
||||
| 1,000 只 × 240 根 1 分钟(24 万行) | 1,386 ms | 1,768 ms(+383) | 1,976 ms(+590) |
|
||||
| 单只 × 240 根 1 分钟 | 1 ms | 2 ms | 2 ms |
|
||||
|
||||
只看转换层本身(不碰网络):5,225 行报价 → polars **51 ms** / pandas **62 ms**;
|
||||
24 万行 K 线 → polars **444 ms** / pandas **585 ms**。
|
||||
|
||||
几个要点:
|
||||
|
||||
- **小结果无感**:单只 K 线、单只报价这类常见调用只多 1 ms 左右。
|
||||
- **大结果按行数线性增长**:每行约 2~3 µs(12 列)。全市场 1 分钟线(约 125 万行)
|
||||
转换约 2.3 s(polars)/ 3.1 s(pandas)——如果你的链路是「全市场分钟线直落库」,
|
||||
这笔开销通常远小于下游写入,但如果只是做筛选/聚合,建议先拿 `df=None` 的 list 算完再转。
|
||||
- **polars 比 pandas 快 25~30%**(同数据、同机器),大结果更明显。
|
||||
- **转换是列式采集**:列计划按模型缓存(含交易日列的按时间字段缓存),
|
||||
普通列走 C 层取值,不做逐行 `asdict()`。
|
||||
- **`df=None` 时完全不经过这一层**:装饰器直接透传,零额外开销。
|
||||
- **缓存命中也要转**:磁盘/内存缓存里存的是 dataclass 记录,DataFrame 是每次调用现建的
|
||||
——高频轮询同一批数据时,这笔转换开销每次都会付。
|
||||
Reference in new issue
Block a user