52 lines
2.7 KiB
Markdown
52 lines
2.7 KiB
Markdown
# Data Bus —— 数据总线 + 时序库模板化封装
|
||
|
||
对应 PRD 5.2「② 数据总线 + 时序库」与 Issue #4（EPIC）。
|
||
复用 **Kafka + TDengine + PostgreSQL + MinIO**，全部改为**按模板配置**
|
||
topic / 时序库表 / 关系表 / 对象桶：换行业只改模板资产（模板 YAML + 点位字典 CSV），
|
||
内核代码零改动。
|
||
|
||
## 模块
|
||
|
||
| 文件 | 职责 |
|
||
|------|------|
|
||
| `templating.py` | 模板命名推导：Kafka topic + 分区策略、TDengine 超级表/子表、PostgreSQL schema/表、MinIO 桶/对象键 |
|
||
| `kafka_naming.py` | Kafka topic 命名/分区模板化组件（issue #28）：配置外置、点位维度覆盖、按 (topic,partition) 生产路由 |
|
||
| `minio_lifecycle.py` | MinIO 对象桶 + 生命周期策略模板化（issue #31）：桶/对象键命名 + `mc mb`/`mc ilm` 落地命令 + S3 兼容生命周期策略 JSON |
|
||
| `tdengine_schema.py` | 时序库 schema 自动生成（超级表 + 每测点子表，**依据点位字典**）+ 批量 INSERT SQL |
|
||
| `postgres_schema.py` | 关系库 schema（模板 / 模型 / 用户 / 权限）+ 角色授权语句 |
|
||
| `batch_writer.py` | 批量写入缓冲：批量聚合（默认 5000 条/0.1s，对齐 PRD 5.2「5k/100ms」基线）、幂等去重、失败重试 —— **数据不丢不重** |
|
||
|
||
## 使用示例
|
||
|
||
```python
|
||
from data_bus.batch_writer import BatchWriter, TdengineSink
|
||
from data_bus.tdengine_schema import generate_schema, specs_from_point_dict_rows
|
||
from data_bus.templating import TemplateNaming
|
||
|
||
naming = TemplateNaming(template="ti-cl4") # 换行业只改模板名
|
||
|
||
# 依据点位字典自动生成 TDengine 完整 schema（超级表 + 每测点子表）
|
||
point_dict_rows = [{"device_id": "CLF-01", "point_id": "CLF-01.TEMP", "unit": "℃", "dataType": "float"}]
|
||
schema_ddls = generate_schema(naming, specs_from_point_dict_rows(point_dict_rows), retention_days=90)
|
||
|
||
sink = TdengineSink(naming, executor=run_sql) # executor 注入 TDengine 连接适配器
|
||
writer = BatchWriter(sink, batch_size=5000, flush_interval=0.1)
|
||
|
||
writer.push_many(rows) # 批量入队（重复键自动过滤）
|
||
writer.flush() # 主动刷盘；失败保留缓冲重发
|
||
```
|
||
|
||
## 验收口径（Issue #4）
|
||
|
||
- **端到端写入**：`push → flush → sink` 全链路（MemorySink 本地联调 / TdengineSink 落库）。
|
||
- **批量写入**：batch_size / flush_interval 触发批量 flush（默认 5000 条 / 0.1s）。
|
||
- **数据不丢不重**：写成功才清缓冲（不丢）；(device_id, point_id, ts) 幂等去重
|
||
（不重，含失败重发的部分写入场景，sink 侧二次兜底）。
|
||
|
||
## 测试
|
||
|
||
```bash
|
||
cd core/data-bus
|
||
python -m unittest discover -s tests -v
|
||
```
|