42 lines
1.6 KiB
YAML
42 lines
1.6 KiB
YAML
|
# -*- coding: utf-8 -*-
|
|||
|
|
# 模板「推理后端适配层」配置资产示例：ti-cl4（氯化车间/海绵钛，Template-Ti 一期）。
|
|||
|
|
#
|
|||
|
|
# 说明：
|
|||
|
|
# - 这是「推理后端选择」配置点（PRD 5.6 ⑥ 部署底座）：
|
|||
|
|
# 切换后端（NVIDIA 5090 GPU ↔ 华为昇腾 NPU）**只改本文件 backend 字段**，
|
|||
|
|
# 业务代码零改动（统一走 InferenceBackend 接口）；
|
|||
|
|
# - backend: gpu —— NVIDIA 5090（Triton/ONNX，vLLM/Triton OpenAI 兼容接口）
|
|||
|
|
# npu —— 华为昇腾（ACL/CANN，MindIE/onnxruntime-ascend）
|
|||
|
|
# - endpoint 为空时进入 dry-run 模式（适配层就绪，便于离线验证/联调）；
|
|||
|
|
# - 该配置由 Helm 渲染注入（deploy/k8s/helm/iaop/values.yaml -> ConfigMap）。
|
|||
|
|
template: ti-cl4
|
|||
|
|
version: 1.0.0
|
|||
|
|
|
|||
|
|
# ---- 推理后端选择（切换后端只改这一处） ----
|
|||
|
|
backend: gpu # gpu | npu
|
|||
|
|
|
|||
|
|
inference:
|
|||
|
|
# 与 Helm values.inference 保持同构，便于一键部署时直接覆盖
|
|||
|
|
model: iaop-ti-cl4-v1
|
|||
|
|
endpoint: http://iaop-inference.iaop.svc.cluster.local:8000/v1
|
|||
|
|
timeout_seconds: 60
|
|||
|
|
runtime: vllm # gpu: vllm|triton；npu: mindie|onnx-ascend
|
|||
|
|
device: nvidia-5090 # gpu: nvidia-5090；npu: ascend-310p|ascend-910b
|
|||
|
|
cann_version: "" # npu: CANN 工具链版本（如 8.0），gpu 忽略
|
|||
|
|
max_tokens: 1024
|
|||
|
|
temperature: 0.1
|
|||
|
|
|
|||
|
|
# ---- 资源配额（Helm 部署时以此为默认值） ----
|
|||
|
|
resources:
|
|||
|
|
requests:
|
|||
|
|
cpu: "2"
|
|||
|
|
memory: 8Gi
|
|||
|
|
limits:
|
|||
|
|
cpu: "8"
|
|||
|
|
memory: 32Gi
|
|||
|
|
|
|||
|
|
# ---- 灰度发布策略（ArgoCD 滚动发布参数，PRD 5.6 配置点） ----
|
|||
|
|
rollingUpdate:
|
|||
|
|
maxUnavailable: 0
|
|||
|
|
maxSurge: 1
|