feat(fam-edge): NVIDIA 多模型降级链 - adapter 支持 model_chain(asset 上传一次逐个尝试)+switch_interval_sec 切换间隔+model_timeouts 每模型独立超时;实测全部候选不可用(omni 500/12b 400/其余 404),链机制保留待可用模型
This commit is contained in:
@@ -67,11 +67,22 @@ models:
|
||||
- provider: "nvidia"
|
||||
role: "vision"
|
||||
enabled: true
|
||||
# Nemotron Nano 12B v2 VL:NIM 官方支持整视频 video_url 输入(内部自行采样帧)
|
||||
model_name: "nvidia/nemotron-nano-12b-v2-vl"
|
||||
# 多模型降级链(实测记录 2026-08-21):
|
||||
# omni 官方支持视频但 asset_id 引用 500;12b 400;llama-vision 不支持视频;
|
||||
# cosmos/phi/gemma/kosmos/fuyu/paligemma 均 404 端点不可用。
|
||||
# 链机制保留(asset 上传一次,逐个尝试+间隔切换),可用模型出现时自动生效。
|
||||
model_name: "nvidia/nemotron-3-nano-omni-30b-a3b-reasoning"
|
||||
fallback_models:
|
||||
- "nvidia/nemotron-nano-12b-v2-vl"
|
||||
- "meta/llama-3.2-11b-vision-instruct"
|
||||
base_url: "https://integrate.api.nvidia.com/v1"
|
||||
api_key: "${NVIDIA_API_KEY}"
|
||||
timeout: 600
|
||||
switch_interval_sec: 5 # 模型切换间隔:一个失败后等待再试下一个
|
||||
model_timeouts: # 模型级独立超时(最终值,不参与 ×2)
|
||||
"nvidia/nemotron-3-nano-omni-30b-a3b-reasoning": 300
|
||||
"nvidia/nemotron-nano-12b-v2-vl": 300
|
||||
"meta/llama-3.2-11b-vision-instruct": 120
|
||||
circuit_breaker:
|
||||
enabled: true
|
||||
threshold: 5
|
||||
|
||||
Reference in New Issue
Block a user