ericwyuan/sentinel-home-ai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
149 Commits 1 Branch 0 Tags
63b28663f1703c8c71c40d6dba6d02104cf5b9c8
Commit Graph

9 Commits

Author SHA1 Message Date
ericwyuan
63b28663f1 feat(fam-edge): 启动时预热 Ollama，避免兜底触发时冷启动等 1-2 分钟 
排查"Ollama 模型没有常驻内存"：systemd 里 OLLAMA_KEEP_ALIVE=-1 其实一直配置
正确，但这个环境变量只保证"加载过之后不因为空闲被换出"，不负责启动时主动
预加载。查 model_calls 表，ollama provider 从来没有一条调用记录——因为它是
问答链路最后一级兜底，前面 NVIDIA/Gemini 一直调用成功，从未真正轮到它，
自然也就从未被加载进内存过。

新增 OllamaAdapter.warm_up()：送一条 num_predict=1 的最小请求强制模型加载，
超时给够 180s（冷启动实测能到 1-2 分钟）。app.py 启动时在后台线程调用，不
阻塞主服务启动；找不到 ollama 配置或预热失败都只记警告，不影响服务本身。

实测部署验证：重启后 36 秒完成预热，ollama ps 显示 qwen2.5:7b 已加载，
expires_at 显示不过期（keep_alive=-1 生效）——真正需要兜底的那一刻不会再有
冷启动延迟。

新增 test_ollama_adapter.py 4 个用例覆盖预热成功/HTTP失败/异常不上抛/超时
时长。
 2026-08-23 09:33:49 +08:00
ericwyuan
9bba7b7e14 fix(chat): 流式问答中文乱码 + 问答模型链换成专用文字大模型 
## 乱码修复
Gemini 流式接口 resp.iter_lines(decode_unicode=True) 没有显式设置
resp.encoding，requests 自己猜编码猜错了（Gemini 的 SSE 响应 Content-Type
不带 charset 参数），导致中文变成典型的 UTF-8 被当 Latin-1 解码的乱码。
fam-core 转发这一跳的 requests.iter_lines 调用有同样的坑，一并修了。
两处响应的 Content-Type 都补上 charset=utf-8，减少下游再犯同样错误的机会。
顺手用 latin-1/utf-8 往返把 NAS chat_history 里已经存了乱码的 3 条历史记录
恢复成正常文字。

## 问答模型链重新设计（跟视频分析完全独立）
用户要求问答不再用 flash/omni，优先用 NVIDIA 免费文字模型里上下文最大的几个，
不行再退 Gemini 非 flash 文字模型，最后本地 Ollama 兜底。

- base_adapter 新增 usage 字段（纯标记，不影响行为）
- qa.py 的 QAOrchestrator 只挑 role='text' 的适配器参与问答（按 config 出现
  顺序决定降级顺序），role='vision' 的视频分析适配器（gemini-flash-latest /
  nvidia omni）不再参与问答，两条链路彻底解耦
- 新增问答专用 NVIDIA 文字模型链（同一适配器内部 model_chain 降级）：
  nemotron-3-ultra-550b-a55b(1M上下文/561B) -> nemotron-3-super-120b-a12b
  (1M上下文/124B) -> openai/gpt-oss-120b(131K上下文/117B)。三个都用真实
  API 调用验证过当前账号可访问；同时验证过 llama-3.1-70b-instruct 和
  nemotron-super-49b-v1.5 都收到"08/25/2026 起弃用"通知，排除；
  nemotron-ultra-253b/mistral-large-2/nemotron-4-340b/kimi-k2.6 在目录里
  能看到但实测调用返回 404"账号无权限"，排除
- 新增问答专用 Gemini 非 flash 文字模型：gemini-pro-latest -> gemini-2.5-pro
  （1M 上下文，复用视频分析同一批多 key 轮换）
- /api/edge/chat/ask(/stream) 默认 max_tokens 从 1024 提到 3072：新链路
  优先用的都是"推理"模型，回答前会先吐一段思考过程，1024 经常在思考阶段
  就被截断，用户永远看不到真正答案

新增 test_qa.py::test_init_only_keeps_text_role_adapters_in_config_order
验证角色过滤+顺序正确。

本地检查过 Ollama 服务本身：systemd enabled+running（8h 正常运行，
qwen2.5:7b 已加载），并非没启动——用户观察到的现象另有原因。
 2026-08-23 07:46:48 +08:00
ericwyuan
2c5bf950c5 feat: 事件时间轴缩略帧 + 人物管理头像 + 人物合并硬规则校验 
## 新架构：Oracle 集中计算 + NAS 代理展示

### Oracle 端 (fam-edge)
- 新增 frame_service: ffmpeg 视频抽帧 + VLM 人物定位裁剪头像（磁盘缓存）
- 新增 /api/oracle/frame: 按 video_id+ts 抽帧返回 jpeg（带 token）
- 新增 /api/oracle/avatar: 按 label 生成人物头像（VLM 定位人物 + 兜底整帧居中）
- 新增 person_identifier: 人物身份识别模块
- Gemini 适配器支持 flash/flash-lite 双模型切换，429 自动降级
- frame_service VLM 全模型 429 时进入 10 分钟熔断，避免每次请求白打配额
- 兜底头像不落缓存，配额恢复后自动重试 VLM 精确定位

### 人物合并硬规则校验（框架级修复）
- person_service: LLM 合并结果落库前加硬冲突检测
  - 性别冲突 → 绝不合并
  - 年龄档跨未成年/成年 → 绝不合并（防止把爷爷/宝宝并进同一人）
- oracle_db: upsert_person 入口剥离括号后缀（人物A（别名：人物B） → 人物A），消灭垃圾人物行
- 修复 set_canonical 丢弃 source 参数的 bug（旧代码硬编码 'manual' 导致错误合并被永久固化）
- get_events_for_label: 只提取该身份组的特征文本，头像定位更精准

### NAS 端 (fam-core)
- 新增 img_proxy: /api/proxy/frame 和 /api/proxy/avatar 代理 Oracle 图片
- app.py 注册 img_bp 蓝图
- oracle_sync / db_layer / member_manager 同步人物表

### UI 端 (fam-ui)
- 事件时间轴: 每条事件卡片加时间点缩略帧
- 人物管理: 每人卡片加头像（150x150 圆角）
- parse_persons: 剥离括号备注，与 Oracle 归一化一致
- 新增 EventItem 组件、Timeline 页改造
- Chat / ServiceStatus 页相应调整

### 数据库
- scripts/ddl.sql: 同步表结构更新
- Oracle people 表: features_json / display_uid / source 字段完善
 2026-08-23 00:13:56 +08:00
ericwyuan
a1523b46c8 [重构] 运动事件驱动架构 - 整段素材按 ss_motion_events 分割运动片段再分析(不再整段送云端): oracle_db 加 motion_event_id/camera_id 列 + get_motion_events_in_range/has_unfinished_motion_in_range/get_video_by_motion_event_id; video_processor 素材→分割/片段→分析双分支(ffmpeg -c:v copy -c:a aac 保留音频); video_queue 片段入队; config 加 motion_segment 块 2026-08-22 12:19:17 +08:00
ericwyuan
0d8e62607c feat(fam-edge): DSM 运动侦测预过滤 - 空转时段跳过云端视频分析 
群晖 Surveillance Station 用 SYNO.SurveillanceStation.EventCenter.Event（未公开
文档的内部接口，参数是下划线风格 camera_ids/start_time/end_time，公开文档里的
cameraIds/fromTime/toTime 是旧版 Event API 的参数名，两者不通用）记录了摄像头
真实的运动侦测事件（event_type=10=运动，start_time+duration 精确到秒），比自己
本地跑 ffmpeg 帧差分更准、不需要额外算力，之前一直在这台 NAS 上验证可行性。

新增 DsmMotionClient：process_video() 分析每段视频前，先用视频的
[event_start, event_start+duration] 时间窗查一次这个接口，窗口内一条运动事件都
没有就跳过云端分析（标记 done，compute_provider=skipped_no_motion），省掉长期
无人时段白白消耗的 Gemini/NVIDIA 配额。

安全设计：查询本身失败/未配置/账号密码没填一律 fail-open（当作"有运动"，照常
分析），不会因为这层可选优化漏检真实事件——这是一个纯粹的省配额优化，不能反过来
影响监控系统的可靠性。

新增 12 个单测覆盖：禁用/缺凭证时的 fail-open、登录失败、网络异常、无事件、有
事件、按 camera_id 过滤（响应是按 ds_id 分组不是按 camera_id，容易搞混）、
最短运动时长阈值、session 过期重登录重试、env 变量解析。

账号密码走 .env 的 DSM_ACCOUNT/DSM_PASSWORD，不明文入库。
 2026-08-22 09:46:00 +08:00
ericwyuan
f798c31cab fix(fam-edge): 人物 uid 跨视频复用导致特征串人 - 拆分同 uid 下的性别冲突 
根因: 大模型给的 人物A/B/C 这类临时 uid 只在单次视频分析内部稳定，不同视频各
自独立编号——同一个字符串在不同视频里完全可能指向不同的真人（实测生产数据里
"人物A" 在 29 个视频里混了男女两个人，"人物B" 混了男/女/儿童三个人）。但
people 表 label 全局 UNIQUE，upsert_person / person_service 的特征聚合都直接
按这个字符串当全局稳定身份用，导致不同真人的特征被硬合并进同一行，"我"这张卡
显示出来的描述其实是我和媳妇两个人的特征混在一起。

两处落地点都加了同一条硬规则（性别是相对稳定信号，冲突大概率是撞了另一个人）：
1. oracle_db.upsert_person(): 单视频入库时，新特征性别与已有行冲突就不覆盖合
   并，改分配 uid#2/uid#3 这样的派生 label 单独建行。
2. person_service._aggregate_features(): 每次全量重新聚合时按性别在线聚类，
   同一 uid 下冲突的性别拆成独立分组，不再无脑覆盖成一坨。

拆出来的派生 label 走已有的"未命名 -> LLM 合并 -> 硬规则否决"流程，由现有机制
判断该并入哪个已命名身份。

新增 test_oracle_db.py（5 例）+ test_person_service.py（5 例）覆盖同性别合并 /
性别冲突拆分 / 后缀分配 / unknown 不触发拆分等场景。

生产数据已用新逻辑重新 reconcile 并手动核对 3 个因数据量太大 LLM 没能正确认领
的派生 label（人物A#2/人物B#2#2 -> 媳妇，爷爷#2 -> 爷爷），现在 4 个人物分组
（我/媳妇/爷爷/汤圆）特征都是内部一致的，不再互相串。
 2026-08-22 08:45:24 +08:00
ericwyuan
708b6365f4 feat(fam-edge): Gemini key 分配改真随机 + 按项目名标注统计 
用户明确要求: 每次调用应该是 1/n 概率的真随机抽取，而不是上一版的顺序轮转
（round-robin 在当前单消费者串行处理场景下已经是数学最优均匀分配，但用户想要
"数组里随机取一个，每次都是四分之一概率"这种更直观的随机语义）。_rotated_keys()
去掉持久的轮转下标，改用 random.randrange 每次调用随机选起点，仍保留"起点 key
全部模型失败就级联到下一个 key"的兜底逻辑不变。

同时新增 key_labels 配置：4 个 key 分别对应用户在 Google Cloud 上开的 4 个项目
（智能摄像头-1/2/3/4），model_calls 统计现在按项目名而不是泛化的 key1/key2
展示，ModelStats 页面的 Key 列/拆分逻辑同步改为按最后一个 "·" 分隔（原来写死
按 "·key" 前缀查找，项目名场景下不适用）。

新增/重写 7 个单测覆盖：随机起点级联顺序、randrange 调用范围正确性、大样本
随机分布均匀性、key_labels 默认值/自定义值/key 被丢弃时的对齐。
 2026-08-22 07:37:33 +08:00
ericwyuan
1ad6af3d5d fix(fam-edge): Gemini 多 key 从未真正轮转 - 流量全压在 key1 
analyze_video/_generate_text 原来每次都从 api_keys[0] 开始遍历，只有当
key 的全部模型都失败才换下一个 key；由于 flash-lite 兜底基本总能在
key1 下成功，key2/3/4 实际零流量，配置的多 key 配额分散形同虚设。

新增 _rotated_keys()：每次调用前记住上次轮转到的起点，按起点滚动排序
返回 key 列表并把起点推进到下一个，多次调用后流量均匀摊到全部 key。
model_calls 统计的 model 字段现在带上 ·key{n} 后缀，可以看出具体是哪个
key 在跑（ModelStats 页面对应拆出 Key 列展示）。

新增 4 个单测覆盖起点归零/逐次推进/回绕/单 key 情形。
 2026-08-22 07:19:23 +08:00
ericwyuan
61db82cb9b refactor(fam-edge): 重构第一阶段 - 人物图片零额外调用 + 运行时稳定性 + 工程质量 
人物图片功能重做: bbox 随核心视频分析那一次 Gemini 调用一并产出(prompts.py 加
person_appearances.bbox 字段, [ymin,xmin,ymax,xmax] 0-1000 归一化), frame_service
直接用存好的 bbox 裁剪头像/事件缩略图, 删除原来"展示时额外调用 Gemini 定位人物"的
整套逻辑(locate_person_bbox/VLM 校验/熔断), 从架构上消除与核心视频分析共抢配额的
问题; 用真实数据验证裁剪结果正确框住人物本体。

NVIDIA 模型修复: 实测原配置的 3 个模型均不可用(asset_id 引用 500/400, 不支持视频),
改用 nemotron-3-nano-omni 的 base64 内嵌视频方式(唯一实测打通), 加 max_base64_mb
防止对大文件做注定失败的编码。

Gemini 多 Key 轮换: 支持 extra_api_keys 配置多个独立项目的 key, 配额用尽时依次
换 key 重试(每换 key 需重新上传, Files API 按项目隔离)。

稳定性加固: CircuitBreaker HALF_OPEN 清空旧失败计数(修复探测一失败就重新 OPEN 的
bug); chat() 统一接入熔断器(原来只有视频分析路径检查); NVIDIA 适配器改用共享
json_parser(原来自己重复实现且不做 schema 校验); Gemini Files API 上传超时也尝试
清理远程孤儿文件; video_processor/video_queue 里直接操作 OracleDB._conn 的裸 SQL
改走新增的 set_event_start_time/mark_video_invalid/reset_video_to_pending 方法;
/health 加入队列线程存活状态; 密钥改用 ${ENV_VAR} 引用(.env 已支持自动加载),
不再明文写入 config.yaml。

工程质量: 新增 fam-edge/tests(32 个单元测试, 覆盖熔断器状态机/JSON 解析容错/
时间戳解析/bbox 坐标换算/多 key 解析), 新增 scripts/smoke_test.py(发版前接口
稳定性检查); 清理死代码(OllamaAdapter.analyze_frames、get_sync_delta 死分支、
未使用的 vision_timeout/max_concurrent_tasks 配置项); 修正 get_events_for_label
排序(改最近优先 + 过滤畸形历史时间戳)。

已部署 Oracle 并跑通 smoke test 全部 6 项检查。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-22 00:22:57 +08:00