[阶段2] FAM-Edge 重构为整视频分析+同步接口+人物服务 - 移除切片/抽帧/队列,新增 oracle_db/person_service/qa/watch_processor/video_processor,api_gateway 提供 /api/oracle/sync 与 /api/oracle/people/correct
This commit is contained in:
@@ -1,78 +1,58 @@
|
||||
# FAM-Edge 配置文件 (Oracle 端) - 多模型池配置
|
||||
# Tailscale: Oracle=100.74.137.126, NAS=100.70.234.39
|
||||
# FAM-Edge 配置文件 (Oracle 端) - 新架构 v2
|
||||
#
|
||||
# 异步队列模式:
|
||||
# NAS 上传视频 → /api/edge/video/enqueue 入 SQLite 队列 → 消费者线程异步处理
|
||||
# → NAS Poller 从 /api/edge/results 拉取结果
|
||||
# 速率限制: Gemini 1000RPM x2 burst, NVIDIA 40RPM x2 burst
|
||||
# 新架构(2026-08-21 重构):
|
||||
# 1. 不再切片/抽帧:整视频直传云端 VLM(Gemini 用 Files API,NVIDIA 用整视频 video_url)
|
||||
# 2. 视频来源:rclone 从 Google 硬盘实时同步到本地 local_dir,监听目录处理新视频
|
||||
# 3. Oracle 自建 SQLite 库存储所有视频摘要/事件/人物,并对外提供同步接口供 NAS 拉取
|
||||
# 4. 独立 person_service 汇总全量人物 -> LLM 合并为规范人物表 -> 回灌视频提示
|
||||
# 5. NAS 仅作管理后台,每 30 分钟从甲骨文拉增量镜像到本地 MariaDB
|
||||
|
||||
# NAS 端回调地址(旧 webhook 模式保留,异步模式不使用)
|
||||
nas:
|
||||
webhook_url: "http://100.70.234.39:8000/api/core/callback/event"
|
||||
media_base_url: "http://100.70.234.39:8000/media"
|
||||
media_token: "sentinel-media-2026"
|
||||
|
||||
# Oracle 端服务
|
||||
# Oracle 端 HTTP 服务
|
||||
server:
|
||||
host: "0.0.0.0"
|
||||
port: 5000
|
||||
max_concurrent_tasks: 1
|
||||
|
||||
# 异步任务队列
|
||||
queue:
|
||||
db_path: "/opt/fam-edge/data/fam_queue.db"
|
||||
upload_dir: "/tmp/fam_uploads"
|
||||
poll_interval: 10 # 消费者轮询间隔(秒)
|
||||
# API 速率限制 (RPM),burst_factor=2 表示突发容量为 2 倍 RPM
|
||||
rate_limit:
|
||||
gemini_rpm: 1000
|
||||
nvidia_rpm: 40
|
||||
burst_factor: 2
|
||||
# Google 硬盘同步(rclone 负责同步落地,本段仅描述监听行为)
|
||||
gdrive_sync:
|
||||
enabled: true
|
||||
local_dir: "/opt/fam-edge/gdrive_videos" # rclone 同步落地目录(video_processing 监听此目录)
|
||||
watch_interval_sec: 30 # 监听新视频的轮询间隔
|
||||
camera_name: "客厅" # 摄像头名称(注入视频提示)
|
||||
# 文件名解析开始时间:监控文件名含时间戳时使用(如 2026-08-21_081500.mp4)
|
||||
parse_start_from_filename: true
|
||||
|
||||
# 编排调度模式: fallback(顺序降级, 默认) | ensemble(并行交叉验证)
|
||||
orchestrator:
|
||||
mode: "fallback"
|
||||
overall_timeout: 600
|
||||
# Oracle 本地库(视频摘要/事件/人物)
|
||||
oracle_db:
|
||||
path: "/opt/fam-edge/data/oracle.db"
|
||||
|
||||
# 关键帧筛选参数(自适应:帧数随视频时长动态计算)
|
||||
video:
|
||||
candidate_per_minute: 2 # 每分钟粗抽候选帧数
|
||||
candidate_min: 30 # 候选帧下限(短视频保底)
|
||||
candidate_max: 120 # 候选帧上限(超长视频截断)
|
||||
key_frame_interval_sec: 150 # 关键帧间隔(秒),每2.5分钟1张
|
||||
min_key_frames: 5 # 关键帧下限(帧差不足时补足到此数)
|
||||
max_key_frames_floor: 8 # 关键帧上限的下限(短视频保底)
|
||||
max_key_frames_cap: 30 # 关键帧上限(超长视频截断)
|
||||
mse_threshold: 500
|
||||
jpeg_quality: 80
|
||||
max_long_edge: 1024
|
||||
# NAS 拉取同步接口鉴权 token(与 NAS oracle_sync.token 一致)
|
||||
sync_api:
|
||||
token: "${ORACLE_SYNC_TOKEN}"
|
||||
|
||||
# 超时(秒)
|
||||
timeout:
|
||||
download: 60
|
||||
vlm_visual: 600
|
||||
vlm_fusion: 300
|
||||
callback: 30
|
||||
overall: 1800
|
||||
# 人物识别服务
|
||||
person_service:
|
||||
enabled: true
|
||||
schedule_interval_sec: 1800 # 每 30 分钟重新汇总一次人物
|
||||
model: "gemini" # 用哪个模型做人物合并(vision 模型也支持纯文本)
|
||||
|
||||
# 多模型池配置(新框架:本地大模型不参与视频分析,仅智能问答兜底)
|
||||
#
|
||||
# 视频分析链路(推送模式):
|
||||
# 云端 VLM 直接产出结构化 JSON (global_summary / entities_json / frame_details)
|
||||
# -> Edge 仅做格式化/校验 (format_cloud_result) -> 直接回写 NAS,无本地融合步骤
|
||||
# 视觉角色: Gemini(主) -> NVIDIA NIM(备) 顺序降级; 两云端全失败 -> 任务 FAILED 走重试
|
||||
#
|
||||
# 智能问答链路:
|
||||
# Gemini -> NVIDIA -> 本地 Ollama (仅当两云端都失败才启用本地兜底)
|
||||
# 视频处理
|
||||
video_processing:
|
||||
max_concurrent: 1
|
||||
timeout: 900 # 单视频分析超时(整视频上云较慢)
|
||||
# 降级顺序:先 gemini 整视频,失败再 nvidia 整视频;两者都失败 -> 标记 failed
|
||||
vision_order: ["gemini", "nvidia"]
|
||||
|
||||
# 智能问答降级链(与视频分析独立):Gemini -> NVIDIA -> 本地 Ollama
|
||||
models:
|
||||
- provider: "gemini"
|
||||
role: "vision"
|
||||
enabled: true
|
||||
model_name: "gemini-flash-latest" # 主模型(每日免费配额 20 请求,按模型独立)
|
||||
fallback_models: # 429 配额耗尽/503 过载时依次切换
|
||||
fallback_models:
|
||||
- "gemini-flash-lite-latest"
|
||||
api_key: "${GEMINI_API_KEY}"
|
||||
timeout: 90
|
||||
timeout: 600
|
||||
circuit_breaker:
|
||||
enabled: true
|
||||
threshold: 5
|
||||
@@ -81,16 +61,17 @@ models:
|
||||
- provider: "nvidia"
|
||||
role: "vision"
|
||||
enabled: true
|
||||
model_name: "nvidia/nemotron-3-nano-omni-30b-a3b-reasoning" # Omni 原生视频输入;llama-3.2-11b-vision 仅逐帧
|
||||
# Nemotron Nano 12B v2 VL:NIM 官方支持整视频 video_url 输入(内部自行采样帧)
|
||||
model_name: "nvidia/nemotron-nano-12b-v2-vl"
|
||||
base_url: "https://integrate.api.nvidia.com/v1"
|
||||
api_key: "${NVIDIA_API_KEY}"
|
||||
timeout: 120
|
||||
timeout: 600
|
||||
circuit_breaker:
|
||||
enabled: true
|
||||
threshold: 5
|
||||
cooldown: 300
|
||||
|
||||
# 本地模型:纯文本 qwen2.5:7b,仅参与智能问答,作为 Gemini/NVIDIA 都失败时的兜底
|
||||
# 本地模型:纯文本 qwen2.5:7b,仅参与智能问答兜底
|
||||
- provider: "ollama"
|
||||
role: "text"
|
||||
usage: "qa_fallback"
|
||||
|
||||
Reference in New Issue
Block a user