19 lines
742 B
YAML
19 lines
742 B
YAML
|
# -*- coding: utf-8 -*-
|
|||
|
|
# 模板「本地 70B 推理后端」配置资产示例：ti-cl4（Template-Ti 一期）。
|
|||
|
|
#
|
|||
|
|
# 说明（issue #44 / PRD 5.4「④ LLM 网关 + RAG」）：
|
|||
|
|
# - 本地 70B（vLLM/TGI 等 OpenAI 兼容服务）承载敏感/核心内容，数据不出厂；
|
|||
|
|
# - endpoint 为空时进入 dry-run 占位模式（联调/演示）；
|
|||
|
|
# - 切换/新增本地推理服务只改本文件，业务代码零改动。
|
|||
|
|
template: ti-cl4
|
|||
|
|
version: 1.0.0
|
|||
|
|
|
|||
|
|
local70b:
|
|||
|
|
# 本地推理服务地址（OpenAI 兼容；空 = dry-run）
|
|||
|
|
endpoint: "http://10.20.0.30:8000/v1"
|
|||
|
|
model: "iaop-local-70b"
|
|||
|
|
timeout_seconds: 60
|
|||
|
|
max_tokens: 1024
|
|||
|
|
temperature: 0.1
|
|||
|
|
echo_context: true # 是否在输出回显 RAG 来源引用（溯源）
|