feat(#58): GPU 后端实现（NVIDIA Triton/ONNX，PRD 5.6 推理后端可插拔） #100

2026-08-04T13:59:20Z

bot_dev1 commented

2026-08-04 13:59:20 +00:00

背景

落地父 EPIC #8 / Issue #58 要求的 NVIDIA GPU（5090）推理后端，严格实现 Issue #57 定义的 InferenceBackend 抽象接口（load_model/infer/health_check/unload）。

fixes #58

实现

新增 core/llm-gateway/gpu_backend.py：

GpuTritonBackend：Triton Inference Server 客户端适配层（gRPC/HTTP），按 model_repository 的 ONNX/TensorRT 模型推理
配置驱动：server_url/model_name/version/grpc/并发/超时/max_tokens 全部由构造参数（values）注入，切换后端 = 改配置
SDK 解耦：tritonclient 惰性导入 + ImportError 容错；无 SDK/GPU 时退化到确定性 OfflineKernel，CI 纯 CPU 也能跑全套契约测试
fail-closed：未 load_model 即 infer 抛 RuntimeError
健康探针：is_server_live + is_model_ready 双判定，供 #61 监控消费
审计：infer 返回 InferResult（text/token 计数/latency_ms）

注册表接入：default_registry() 登记 gpu-triton，build_backend 可配置切换

测试

新增 core/llm-gateway/tests/test_gpu_backend.py（22 个用例）：接口契约 / 生命周期幂等与 fail-closed / 能力声明 / 向后兼容 generate / 注册表配置切换 / SDK 解耦退化

python -m unittest discover -s tests（llm-gateway 目录）全套 119 通过（原 97 + 新增 22），零回归。

## 背景落地父 EPIC #8 / Issue #58 要求的 NVIDIA GPU（5090）推理后端，严格实现 Issue #57 定义的 `InferenceBackend` 抽象接口（load_model/infer/health_check/unload）。 fixes #58 ## 实现新增 `core/llm-gateway/gpu_backend.py`： - `GpuTritonBackend`：Triton Inference Server 客户端适配层（gRPC/HTTP），按 model_repository 的 ONNX/TensorRT 模型推理 - 配置驱动：server_url/model_name/version/grpc/并发/超时/max_tokens 全部由构造参数（values）注入，切换后端 = 改配置 - SDK 解耦：tritonclient 惰性导入 + ImportError 容错；无 SDK/GPU 时退化到确定性 OfflineKernel，CI 纯 CPU 也能跑全套契约测试 - fail-closed：未 load_model 即 infer 抛 RuntimeError - 健康探针：is_server_live + is_model_ready 双判定，供 #61 监控消费 - 审计：infer 返回 InferResult（text/token 计数/latency_ms）注册表接入：`default_registry()` 登记 `gpu-triton`，`build_backend` 可配置切换 ## 测试新增 `core/llm-gateway/tests/test_gpu_backend.py`（22 个用例）：接口契约 / 生命周期幂等与 fail-closed / 能力声明 / 向后兼容 generate / 注册表配置切换 / SDK 解耦退化 `python -m unittest discover -s tests`（llm-gateway 目录）全套 **119 通过**（原 97 + 新增 22），零回归。

bot_dev1 added 2 commits 2026-08-04 13:59:20 +00:00

feat(#57 ): InferenceBackend 抽象接口定义（PRD 5.6 loadModel/infer/health/unload） 03ae81a217

将原先内联在 gateway.py 的薄弱 InferenceBackend 提炼为正式抽象基类（ABC），
对齐 PRD 5.6「⑥ 部署底座」契约，为 #44/#45/#58/#59 各类后端提供统一接入点。

实现内容：
- 新增 core/llm-gateway/backends.py：
  · InferenceBackend（ABC）：PRD 要求的四个生命周期方法 load_model / infer /
    health_check / unload（均幂等），能力声明 capabilities，并保留 generate()
    向后兼容（转发到 infer().text）
  · 值对象 BackendCapabilities（streaming/max_concurrency/on_premises/modalities）
    / BackendHealth（healthy/detail/checked_at）/ InferResult（text+审计元信息）
  · LocalBackend / CloudBackend 占位实现迁移至此并继承新 ABC，补齐生命周期
  · default_registry + build_backend：配置驱动切换后端（未知 name 报错并提示已知项）
- gateway.py：删除内联定义，改为从 backends.py 再导出，LLMGateway.ask() 调用路径不变
- __init__.py：再导出新符号（BackendCapabilities/BackendHealth/InferResult/
  build_backend/default_registry），InferenceBackend 现为 ABC

设计原则：业务代码仅依赖接口，不感知硬件；切换后端 = 换实现 + 改配置，业务零改动。

测试：core/llm-gateway 全量 97 个用例通过（新增 27 + 既有 70，零回归）。
运行：python -m unittest discover -s tests -v（在 core/llm-gateway 目录下）

feat(#58 ): GPU 后端实现（NVIDIA Triton/ONNX，PRD 5.6 推理后端可插拔） 818f1db860

落地父 EPIC #8 / Issue #58 要求的 NVIDIA GPU（5090）推理后端，严格实现
Issue #57 定义的 InferenceBackend 抽象接口（load_model/infer/health_check/unload）。

新增 core/llm-gateway/gpu_backend.py：
- GpuTritonBackend：Triton Inference Server 客户端适配层（gRPC/HTTP），按
  model_repository 的 ONNX/TensorRT 模型推理。
- 配置驱动：server_url/model_name/version/grpc/并发/超时/max_tokens 全部由
  构造参数（values）注入，切换后端 = 改适配层配置，业务代码零改动。
- SDK 解耦：tritonclient 惰性导入 + ImportError 容错；无 SDK/GPU 时退化到
  确定性 OfflineKernel，CI 纯 CPU 也能跑全套契约测试。
- fail-closed：未 load_model 即 infer 抛 RuntimeError（生产严格）。
- 健康探针：is_server_live + is_model_ready 双判定，供 #61 监控消费。
- 审计：infer 返回 InferResult（text/token 计数/latency_ms）。

注册表接入：default_registry() 登记 gpu-triton，build_backend 可配置切换。

新增 core/llm-gateway/tests/test_gpu_backend.py（22 个用例）：
接口契约 / 生命周期幂等与 fail-closed / 能力声明 / 向后兼容 generate /
注册表配置切换 / SDK 解耦退化。

测试：python -m unittest discover -s tests（llm-gateway 目录）
全套 119 通过（原 97 + 新增 22），零回归。