bot_ym/iAOP - iAOP - Xi'an Yunmei

23 Commits 1 Branch 0 Tags

2 Commits

Include renames

Author	SHA1	Message	Date
bot_dev1	818f1db860	feat(#58 ): GPU 后端实现（NVIDIA Triton/ONNX，PRD 5.6 推理后端可插拔）落地父 EPIC #8 / Issue #58 要求的 NVIDIA GPU（5090）推理后端，严格实现 Issue #57 定义的 InferenceBackend 抽象接口（load_model/infer/health_check/unload）。新增 core/llm-gateway/gpu_backend.py： - GpuTritonBackend：Triton Inference Server 客户端适配层（gRPC/HTTP），按 model_repository 的 ONNX/TensorRT 模型推理。 - 配置驱动：server_url/model_name/version/grpc/并发/超时/max_tokens 全部由构造参数（values）注入，切换后端 = 改适配层配置，业务代码零改动。 - SDK 解耦：tritonclient 惰性导入 + ImportError 容错；无 SDK/GPU 时退化到确定性 OfflineKernel，CI 纯 CPU 也能跑全套契约测试。 - fail-closed：未 load_model 即 infer 抛 RuntimeError（生产严格）。 - 健康探针：is_server_live + is_model_ready 双判定，供 #61 监控消费。 - 审计：infer 返回 InferResult（text/token 计数/latency_ms）。注册表接入：default_registry() 登记 gpu-triton，build_backend 可配置切换。新增 core/llm-gateway/tests/test_gpu_backend.py（22 个用例）：接口契约 / 生命周期幂等与 fail-closed / 能力声明 / 向后兼容 generate / 注册表配置切换 / SDK 解耦退化。测试：python -m unittest discover -s tests（llm-gateway 目录）全套 119 通过（原 97 + 新增 22），零回归。	2026-08-04 21:55:40 +08:00
bot_dev1	03ae81a217	feat(#57 ): InferenceBackend 抽象接口定义（PRD 5.6 loadModel/infer/health/unload）将原先内联在 gateway.py 的薄弱 InferenceBackend 提炼为正式抽象基类（ABC），对齐 PRD 5.6「⑥ 部署底座」契约，为 #44/#45/#58/#59 各类后端提供统一接入点。实现内容： - 新增 core/llm-gateway/backends.py： · InferenceBackend（ABC）：PRD 要求的四个生命周期方法 load_model / infer / health_check / unload（均幂等），能力声明 capabilities，并保留 generate() 向后兼容（转发到 infer().text） · 值对象 BackendCapabilities（streaming/max_concurrency/on_premises/modalities） / BackendHealth（healthy/detail/checked_at）/ InferResult（text+审计元信息） · LocalBackend / CloudBackend 占位实现迁移至此并继承新 ABC，补齐生命周期 · default_registry + build_backend：配置驱动切换后端（未知 name 报错并提示已知项） - gateway.py：删除内联定义，改为从 backends.py 再导出，LLMGateway.ask() 调用路径不变 - __init__.py：再导出新符号（BackendCapabilities/BackendHealth/InferResult/ build_backend/default_registry），InferenceBackend 现为 ABC 设计原则：业务代码仅依赖接口，不感知硬件；切换后端 = 换实现 + 改配置，业务零改动。测试：core/llm-gateway 全量 97 个用例通过（新增 27 + 既有 70，零回归）。运行：python -m unittest discover -s tests -v（在 core/llm-gateway 目录下）	2026-08-04 21:04:00 +08:00

Author

SHA1

Message

Date

bot_dev1

818f1db860

feat(#58 ): GPU 后端实现（NVIDIA Triton/ONNX，PRD 5.6 推理后端可插拔）

落地父 EPIC #8 / Issue #58 要求的 NVIDIA GPU（5090）推理后端，严格实现
Issue #57 定义的 InferenceBackend 抽象接口（load_model/infer/health_check/unload）。

新增 core/llm-gateway/gpu_backend.py：
- GpuTritonBackend：Triton Inference Server 客户端适配层（gRPC/HTTP），按
  model_repository 的 ONNX/TensorRT 模型推理。
- 配置驱动：server_url/model_name/version/grpc/并发/超时/max_tokens 全部由
  构造参数（values）注入，切换后端 = 改适配层配置，业务代码零改动。
- SDK 解耦：tritonclient 惰性导入 + ImportError 容错；无 SDK/GPU 时退化到
  确定性 OfflineKernel，CI 纯 CPU 也能跑全套契约测试。
- fail-closed：未 load_model 即 infer 抛 RuntimeError（生产严格）。
- 健康探针：is_server_live + is_model_ready 双判定，供 #61 监控消费。
- 审计：infer 返回 InferResult（text/token 计数/latency_ms）。

注册表接入：default_registry() 登记 gpu-triton，build_backend 可配置切换。

新增 core/llm-gateway/tests/test_gpu_backend.py（22 个用例）：
接口契约 / 生命周期幂等与 fail-closed / 能力声明 / 向后兼容 generate /
注册表配置切换 / SDK 解耦退化。

测试：python -m unittest discover -s tests（llm-gateway 目录）
全套 119 通过（原 97 + 新增 22），零回归。

2026-08-04 21:55:40 +08:00

bot_dev1

03ae81a217

feat(#57 ): InferenceBackend 抽象接口定义（PRD 5.6 loadModel/infer/health/unload）

将原先内联在 gateway.py 的薄弱 InferenceBackend 提炼为正式抽象基类（ABC），
对齐 PRD 5.6「⑥ 部署底座」契约，为 #44/#45/#58/#59 各类后端提供统一接入点。

实现内容：
- 新增 core/llm-gateway/backends.py：
  · InferenceBackend（ABC）：PRD 要求的四个生命周期方法 load_model / infer /
    health_check / unload（均幂等），能力声明 capabilities，并保留 generate()
    向后兼容（转发到 infer().text）
  · 值对象 BackendCapabilities（streaming/max_concurrency/on_premises/modalities）
    / BackendHealth（healthy/detail/checked_at）/ InferResult（text+审计元信息）
  · LocalBackend / CloudBackend 占位实现迁移至此并继承新 ABC，补齐生命周期
  · default_registry + build_backend：配置驱动切换后端（未知 name 报错并提示已知项）
- gateway.py：删除内联定义，改为从 backends.py 再导出，LLMGateway.ask() 调用路径不变
- __init__.py：再导出新符号（BackendCapabilities/BackendHealth/InferResult/
  build_backend/default_registry），InferenceBackend 现为 ABC

设计原则：业务代码仅依赖接口，不感知硬件；切换后端 = 换实现 + 改配置，业务零改动。

测试：core/llm-gateway 全量 97 个用例通过（新增 27 + 既有 70，零回归）。
运行：python -m unittest discover -s tests -v（在 core/llm-gateway 目录下）

2026-08-04 21:04:00 +08:00