ericwyuan/sentinel-home-ai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
168 Commits 1 Branch 0 Tags
db4f46140b366b80c02b4462fec5d411a2620c13
Commit Graph

168 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
ericwyuan
7579782daf refactor(fam-ui): 重构第三阶段 - Streamlit 换成 Vue3+Vite+Tailwind 完全重写 
范围变更：原计划是给 Streamlit 界面做视觉美化，用户中途要求换新框架完全重新实现。
最终方案：Vue 3 + Vite + Tailwind CSS v4，本地 npm run build 出静态文件，NAS 不装
Node.js，由 fam-core 的 Flask 直接提供（send_from_directory），原来独立跑在 :8501
的 Streamlit 进程整个退休，前端和 API 合并到 fam-core 的 :8000 一个进程。

fam-core 新增只读 API(ui_api.py)：全部包装 db_layer.py 里已有的查询函数，没有
新写查询逻辑（除了下面两处真实缺口）。新增 static_app.py 做 SPA 静态文件服务
(assets 直出 + 非 API 路径回退 index.html 供前端路由接管)，app.py 注册顺序上
必须排在其他 /api/* 蓝图之后。

顺带补的两个功能缺口（旧 Streamlit 版本自己绕开 db_layer 写了裸 SQL 才有的功能，
db_layer 本身不支持）：
- get_chat_history 补 offset 参数（分页）
- 新增 get_attention_events（统计图表页"关注事件"表格）

fam-ui 完全重写为 Vue 3 项目：7 个页面 1:1 迁移功能（事件时间轴/AI对话/对话历史/
人物管理/统计图表/模型统计/服务状态），深色主题设计系统（Inter+JetBrains Mono
字体、蓝紫渐变强调色、语义色 token）。用本地 npm run dev 代理到真实 NAS 数据做
了完整联调，过程中发现并修了两个真 bug：
- URLSearchParams 把 undefined 转成字符串 "undefined" 传给后端，导致日期筛选失效
- MariaDB SUM() 返回 Decimal，Flask 默认序列化成字符串，前端字符串拼接出乱码数字
  （ui_api.py::_ser 统一转 int/float 修复）

移动端 H5 补了响应式：原来的固定宽度侧边栏 + flex-wrap 导航在手机宽度下会把每个
按钮挤到文字逐字换行；改成 lg 以上桌面侧边栏、lg 以下移动端顶栏 + 横向可滑动导航
胶囊；人物管理页命名表单（输入框+命名按钮+合并下拉）在窄屏下改为纵向堆叠。

已部署 NAS 并验证：curl 确认 index.html/assets/深层路由/API 路由全部 200；
Browser 工具在桌面宽度和手机宽度下把 7 个页面点了一遍（含真实提问一次 AI 对话、
人物头像/事件缩略图加载、命名合并表单），旧 Streamlit 进程已停止。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-22 06:48:25 +08:00
ericwyuan
e56d362d73 refactor(fam-core): 重构第二阶段 - img_proxy 收尾 + 稳定性小修 + 工程质量 
img_proxy 收尾: 提交此前未提交的图片代理蓝图(app.py 注册)，改为复用 oracle_sync
已解析好的 base_url/token/timeout，不再独立读一份配置(避免配置改动时两处不同步)。

稳定性/正确性: chat_handler 问答失败时不再把 Oracle 内部 HTTP 状态码等细节透传给
客户端，改为通用错误信息(详细原因仍记服务端日志); 删除 logger.py 里旧任务架构
遗留的死函数 log_task; 更新 config.yaml.example 到当前 v2 架构(原文件还是重构前
的 scheduler/dispatcher/video_server 旧结构，当前代码完全不读这些字段)。

工程质量: 新增 fam-core/tests(9 个单元测试，覆盖 _format_events 上下文格式化和
config_loader 的 ${ENV_VAR} 解析)。

部署时发现并修复一个和这次改动无关的运维问题: NAS .env 文件缺 export 关键字，
plain source 只在当前 shell 生效不会被子进程(gunicorn)继承，导致 Oracle-Sync
token 校验失败；用 set -a/set +a 强制导出重启，非代码改动。

已部署 NAS 并验证：/health、/api/status、/api/proxy/frame、/api/proxy/avatar
全部通过；浏览器实测事件时间轴、人物管理页正常渲染。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-22 00:50:49 +08:00
ericwyuan
61db82cb9b refactor(fam-edge): 重构第一阶段 - 人物图片零额外调用 + 运行时稳定性 + 工程质量 
人物图片功能重做: bbox 随核心视频分析那一次 Gemini 调用一并产出(prompts.py 加
person_appearances.bbox 字段, [ymin,xmin,ymax,xmax] 0-1000 归一化), frame_service
直接用存好的 bbox 裁剪头像/事件缩略图, 删除原来"展示时额外调用 Gemini 定位人物"的
整套逻辑(locate_person_bbox/VLM 校验/熔断), 从架构上消除与核心视频分析共抢配额的
问题; 用真实数据验证裁剪结果正确框住人物本体。

NVIDIA 模型修复: 实测原配置的 3 个模型均不可用(asset_id 引用 500/400, 不支持视频),
改用 nemotron-3-nano-omni 的 base64 内嵌视频方式(唯一实测打通), 加 max_base64_mb
防止对大文件做注定失败的编码。

Gemini 多 Key 轮换: 支持 extra_api_keys 配置多个独立项目的 key, 配额用尽时依次
换 key 重试(每换 key 需重新上传, Files API 按项目隔离)。

稳定性加固: CircuitBreaker HALF_OPEN 清空旧失败计数(修复探测一失败就重新 OPEN 的
bug); chat() 统一接入熔断器(原来只有视频分析路径检查); NVIDIA 适配器改用共享
json_parser(原来自己重复实现且不做 schema 校验); Gemini Files API 上传超时也尝试
清理远程孤儿文件; video_processor/video_queue 里直接操作 OracleDB._conn 的裸 SQL
改走新增的 set_event_start_time/mark_video_invalid/reset_video_to_pending 方法;
/health 加入队列线程存活状态; 密钥改用 ${ENV_VAR} 引用(.env 已支持自动加载),
不再明文写入 config.yaml。

工程质量: 新增 fam-edge/tests(32 个单元测试, 覆盖熔断器状态机/JSON 解析容错/
时间戳解析/bbox 坐标换算/多 key 解析), 新增 scripts/smoke_test.py(发版前接口
稳定性检查); 清理死代码(OllamaAdapter.analyze_frames、get_sync_delta 死分支、
未使用的 vision_timeout/max_concurrent_tasks 配置项); 修正 get_events_for_label
排序(改最近优先 + 过滤畸形历史时间戳)。

已部署 Oracle 并跑通 smoke test 全部 6 项检查。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-22 00:22:57 +08:00
ericwyuan
677c5bdcc7 fix(fam-edge): validate_schema 透传 person_appearances - events 清洗白名单原只留 timestamp/description/people/is_attention，丢弃了特征字段导致特征链路断 2026-08-21 18:30:06 +08:00
ericwyuan
68337f81c4 fix(fam-edge): 视频分析 max_tokens 4096→16384 - 3秒密度+person_appearances 特征使输出 JSON 巨大被截断导致解析失败 2026-08-21 18:26:51 +08:00
ericwyuan
ff01d14c79 feat(v3): 人物模块重构 - 大模型结构化特征值替代 OpenCV 帧定位。prompt 增加 person_appearances(uid+7特征+action)并重写合并 prompt(稳定特征优先比对)；gemini 透传特征字段；oracle_db events/people 加 person_appearances_json/features_json/display_uid + _merge_features；video_processor 去 cv2 改 ffprobe 校验、_store_result 聚合 uid 特征落 people、删缩略图/事件截图；person_service 聚合特征后基于特征文本 LLM 合并；api_gateway 删 3 个图接口；NAS 镜像+DDL 加新字段；fam-ui 特征卡替代头像、事件时间线人物特征块 2026-08-21 18:06:21 +08:00
ericwyuan
2ba3478291 fix(头像): 人物头像改为'出现事件画面'而非视频首帧 - 新增 /api/oracle/person/avatar（在该人物所有出现事件中返回第一个有截图的事件画面，JSON 精确匹配）；撤销 event_thumb 的视频首帧兜底（首帧可能无人/非本人）；fam-ui 人物页改调 avatar 接口 2026-08-21 16:13:05 +08:00
ericwyuan
27bfd6abbe fix(api): 事件截图接口兜底 - ev_{id}.jpg 缺失时返回所属视频首帧缩略图(thumbs/{video_id}.jpg)，避免旧事件/未生成截图导致前端头像空白 2026-08-21 16:09:55 +08:00
ericwyuan
02fc80b3b2 fix(fam-edge): 模型调用 started_at 改北京时间(UTC+8) - 原 datetime.now() 取 Oracle UTC 导致前端模型统计时间差 8 小时 2026-08-21 16:05:17 +08:00
ericwyuan
fec9a3e586 fix(fam-edge): video_queue 补 Dict 类型导入(status() 注解导致 worker 启动 NameError) 2026-08-21 15:53:58 +08:00
ericwyuan
0d0a7f6ef8 feat(监控): 实时服务状态界面 - Oracle 新增 service_activity 活动表(只保留7天，写入时清理)与 /api/oracle/activity 接口(队列实时状态/当前处理视频/模型调用/rclone/人物合并/最近50条活动)；VideoQueue 打点+当前处理跟踪+status()；PersonService 打点；rclone_sync.sh 同步结果写活动表；fam-ui 新增'🖥 服务状态'页(状态卡+活动时间流，直连 Oracle 实时拉取) 2026-08-21 15:52:36 +08:00
ericwyuan
da7631976d fix(ui): 日期维度改用视频录制时间 - 前端事件时间轴/统计/关注事件与后端 db_layer 统一按 event_start_time(文件名解析) 分组排序，空值回退 processed_at；修复全量重分析导致处理时间(8/21)把 8/15-8/20 视频全堆同一天、与文件名对不上的问题 2026-08-21 15:00:41 +08:00
ericwyuan
0d73c23bd1 fix(fam-edge): 人物标识清洗 - _clean_person 去括号注释(防模型输出'人物A(别名/标识:人物B)'污染人物表)；prompt 明确 people 只填标识本身；events.people 与 people_mentioned 均清洗 2026-08-21 14:47:47 +08:00
ericwyuan
a72b286bd7 refactor(prompt): Prompt 集中化 - 新增 fam-edge ai_orchestrator/prompts.py（视频分析/智能问答/人物合并三模板共享，消除 gemini/nvidia 两份发散）；gemini/nvidia _build_video_prompt 改调共享函数并注入 camera_name；person_service 改调 build_person_merge_prompt；fam-core chat_handler 独立 prompts.py（跨模块风格一致）替代内联 CHAT_SYSTEM_PROMPT；输出硬约束(首字符{/禁markdown)、3 秒密度抽取、people_mentioned 一致性强制、描述 7 维度、人物合并唯一性约束 2026-08-21 14:42:27 +08:00
ericwyuan
4e85a98944 fix(锁与查询组): #12 熔断器状态转换加锁；#10 问答人名匹配改 JSON_CONTAINS 精确匹配(防 LIKE 子串/特殊字符误匹配)；#4 OracleDB 复合写加锁；#6 每消费者独立 VideoProcessor(消除 adapter.timeout 共享竞争)；#15 done 视频文件被覆盖(mtime>processed_at)自动重置重分析 2026-08-21 14:24:12 +08:00
ericwyuan
034dca92b2 fix(优先组): #18 密钥明文直配 config(弃 .env 依赖)；#5 appearances 改 distinct 视频数覆盖校准(防 reconcile 累加膨胀)；#9 oracle_sync 拉取加锁防 trigger_now 与后台并发双拉；#11 LLM 合并命名解析 target 已有 canonical(统一显示名) 2026-08-21 14:22:28 +08:00
ericwyuan
6afdda582b feat(fam-edge): 队列健壮性 - ①失败重试间隔 retry_interval_sec=1h（last_fail_at 记录，配额类故障等恢复再试）；②max_retries 2→10；③入队前 OpenCV 文件校验（可解码/大小/元数据，失败标 invalid 不入队）+ mtime 稳定窗口防 rclone 半成品 + 处理前二次确认 2026-08-21 14:09:38 +08:00
ericwyuan
92ef9fe163 feat(ui): 人物管理显示人物代表画面 - 每个身份取其一 label 出现事件的截图作为头像（Oracle event thumb 接口） 2026-08-21 14:03:43 +08:00
ericwyuan
3fcd00d4c8 fix(fam-edge): 文件名解析支持纯数字 YYYYMMDD-HHMMSS 格式（监控录像名 20260820-140416，原正则只认带分隔符）；事件相对时间加 6h 启发式防误判绝对时间 2026-08-21 13:52:47 +08:00
ericwyuan
5233296dd3 fix(fam-edge): 事件时间戳改相对时间定位 - prompt 要求输出视频内相对时间 HH:MM:SS（模型对相对位置判断更准），后端按 开始时间+偏移 精确计算绝对时间落库；事件截图直接用偏移跳帧，消除模型绝对时间推算误差导致的图文不符 2026-08-21 13:48:46 +08:00
ericwyuan
05f727a9ef feat(events): 每个事件生成对应时间点画面截图 - oracle_db.mark_video_processed 返回 event_ids；video_processor 按事件时间戳-视频起始时间偏移跳帧截图存 ev_{id}.jpg；新增 /api/oracle/event/{id}/thumb 接口；fam-ui 事件列表每条显示对应截图 2026-08-21 13:44:16 +08:00
ericwyuan
41485072bf fix(ui): sync_events 查询补 JOIN sync_videos 取 camera_name(修 1054 报错)；feat(缩略图): Oracle 处理成功后抽首帧存 thumbs/{id}.jpg + /api/oracle/video/{id}/thumb 带 token 接口；fam-ui 视频会话显示缩略图(oracle_url+token)；start_ui.sh 注入 .env 2026-08-21 13:37:23 +08:00
ericwyuan
b7b5fe6f0b feat(fam-edge): NVIDIA 多模型降级链 - adapter 支持 model_chain(asset 上传一次逐个尝试)+switch_interval_sec 切换间隔+model_timeouts 每模型独立超时；实测全部候选不可用(omni 500/12b 400/其余 404)，链机制保留待可用模型 2026-08-21 13:30:59 +08:00
ericwyuan
83eefc194a config(fam-edge): gemini-flash-lite 超时放宽至 480s（8 分钟，用户要求；实测 22-34s 留足余量） 2026-08-21 13:07:42 +08:00
ericwyuan
3e94c2a8b0 feat(nas): 模型调用统计镜像与界面 - sync_model_calls 表+拉取+聚合统计；fam-ui 新增'🤖 模型统计'页（按模型成功/失败/成功率/平均耗时 + 最近调用明细含失败原因） 2026-08-21 12:23:32 +08:00
ericwyuan
b87b38b140 feat(fam-edge): 云端模型调用统计 - 新增 model_calls 表(provider/model/时间/耗时/成功/失败原因)，gemini/nvidia 每次请求经 model_call_hook 记录并随 sync delta 下发；gemini 支持模型级 model_timeouts（lite 实测22.6s×4≈90s） 2026-08-21 12:21:49 +08:00
ericwyuan
1b0f62e5e9 chore(fam-edge): gemini 模型链每个模型请求前打印当前超时（确认 ×2 对 flash/flash-lite 均生效） 2026-08-21 12:13:02 +08:00
ericwyuan
ce27e4ab0c feat(fam-edge): 视频生产-消费队列 - 新增 video_queue.py（生产者扫描新文件入队+重启恢复，独立消费者线程云端分析）；模型消费超时按原配置×timeout_multiplier(2)；failed 重试上限 max_retries(2)；删除旧 watch_processor 2026-08-21 12:01:25 +08:00
ericwyuan
ab5b706eeb fix(fam-edge): schema 对齐新架构 - parse_vlm_json 必填改 global_summary/events（兼容旧 frame_details/entities_json 转换）；NVIDIA PUT content-type 值改为 video/mp4 与 POST 一致（预签名校验） 2026-08-21 11:47:33 +08:00
ericwyuan
daf0f8377b fix(fam-edge): 上传端点与签名修正 - Gemini 上传改用 /upload/v1beta/files 端点（原 /v1beta/files 非上传端点）；NVIDIA PUT 用全小写 content-type 头（S3 预签名校验） 2026-08-21 11:43:58 +08:00
ericwyuan
d54070ece4 fix(fam-edge): 整视频上传方式修正 - Gemini 改 resumable 可续传协议(370MB 不再 raw 单发超时)；NVIDIA 改 Assets API 上传拿 asset_id(video_url 引用)，规避 25MB payload 上限 2026-08-21 11:37:24 +08:00
ericwyuan
f20b6c9254 fix(fam-edge): WatchProcessor 递归扫描子目录（GDrive 录像按 YYYYMMDDAM/PM 子目录组织） 2026-08-21 11:28:14 +08:00
ericwyuan
dbc5193659 fix(nas): sync_cursor 查询 key/value 列加反引号（MariaDB 保留字导致 /api/status 500） 2026-08-21 11:23:25 +08:00
ericwyuan
8ca02495bf fix(nas): start_core.sh 启动时 source 项目 .env 注入 ORACLE_SYNC_TOKEN 2026-08-21 11:09:46 +08:00
ericwyuan
8960a8bf6b fix(sql): sync_cursor 表 key/value 列加反引号（MariaDB 保留字） 2026-08-21 11:06:41 +08:00
ericwyuan
ec25f4f50c fix(fam-edge): ollama_adapter 补充缺失的 Dict 类型导入（修复 worker 启动 NameError） 2026-08-21 10:59:32 +08:00
ericwyuan
44026b65ea [阶段3] FAM-Core 瘦身为管理后台+Oracle-Sync 同步引擎，FAM-UI 改读同步镜像 - 删除 scheduler/dispatcher/poller/event_receiver/video_server，新增 oracle_sync 每30分钟拉增量写 sync_* 镜像表；member_manager/chat_handler 改走同步数据；UI 移除帧图改为事件时间线；DDL 新增 sync_videos/events/people/cursor 2026-08-21 10:38:26 +08:00
ericwyuan
9b1cc8f93b [阶段2] FAM-Edge 重构为整视频分析+同步接口+人物服务 - 移除切片/抽帧/队列，新增 oracle_db/person_service/qa/watch_processor/video_processor，api_gateway 提供 /api/oracle/sync 与 /api/oracle/people/correct 2026-08-21 10:38:15 +08:00
ericwyuan
ae1c13589f fix(人物管理): 头像优先选独照帧，避免双人图当头像 
人物卡片头像挑选策略调整:
1. 优先『独照』帧——该帧只有当前人物一个标签且 face_count=1（双人图不再作为某人头像）
2. 无独照时退而求其次用 face_count 最大的帧
3. 最后按时间序第一张兜底
修复: 一张图出现两人时(如 event_21/frame_3 '人物1, 人物2')，两人卡片都拿双人图做头像、无法区分的问题
 2026-08-21 05:54:38 +08:00
ericwyuan
73f6c77544 feat(人物管理): 头像优先选有人脸帧 + 人物合并到操作 
1. person_photo 读 event 的 meta.json（face_count），优先挑人脸数最多的帧做头像，无 meta 时按时间序第一张兜底
2. 人物卡片新增「合并到」下拉框+按钮，调 /api/member/merge（source=当前人物，target=所选人物），展示替换明细数
3. 至此设计文档 8 项需求全部落地（Edge 画框/mark_frames 端点/meta.json/backfill/merge_member/merge 路由/UI 头像+合并）
 2026-08-21 00:57:20 +08:00
ericwyuan
43b3178a9d feat(人物管理/红框标记): 关键帧人脸标记 + 人物命名重命名回溯 + 人物管理页改版 
1. fam-edge 新增 frame_marker.py: Edge 端人脸检测画红框+统计人脸数（NAS ARM 太弱只存图零计算），orchestrator 分析后回传前标记，新增 /api/edge/mark_frames 批量补标端点
2. fam-core 新增 tools/backfill_mark_frames.py: 存量关键帧批量补红框（幂等+备份 frames_orig）
3. db_layer.name_member 增强: 支持自动注册新标签/重命名回溯（旧真名一并替换）/多人组合字符串 REPLACE
4. fam-ui 成员命名页改为人物管理页: 所有人物照片墙+命名重命名+统计去重
5. event_receiver/member_manager 配套适配
 2026-08-21 00:53:30 +08:00
ericwyuan
47c42f24df docs: update PROGRESS.md - 人物统计去重与导航改进 2026-08-21 00:22:41 +08:00
ericwyuan
3fb86ee449 fix: 出现人物统计去重 + 导航移至页面顶部 
- person 字段是自由文本，一帧可为多人组合且带括号特征描述
  ('张三 (红色T恤), 汤圆, 人物3')，COUNT(DISTINCT person) 把每种
  组合字符串当一个人物，全局误报 20 人。新增 resolve_persons:
  去括号描述 -> 按中英逗号/顿号/斜杠拆分 -> family_members
  抽象标签映射真名，去重后全局实际 6 人
- 导航从侧边栏 radio 改为顶部 segmented_control：窄屏下
  Streamlit 侧边栏自动收起，页面入口藏进汉堡菜单导致
  "成员命名/问答界面不见了"；放主区域顶部任何屏宽可见
 2026-08-21 00:22:24 +08:00
ericwyuan
5d574029b0 docs: update PROGRESS.md - Gemini 降级排查修复 2026-08-21 00:07:56 +08:00
ericwyuan
eaf4ef3bd3 fix: Gemini 模型 fallback 链 — 修复全量降级 NVIDIA 
根因: 免费层配额 GenerateRequestsPerDayPerProjectPerModel 每天每
模型仅 20 请求，日均 30+ 任务耗尽后持续 429，全部降级 NVIDIA
(最近40任务 35 nvidia / 4 gemini)。

- gemini_adapter 抽 _generate() 模型链调用: 429 立即切换下一模型
  (flash -> flash-lite，各自独立 20/天配额)，503 退避 3s 重试一次
  再切换；视觉分析与问答统一走该链
- config: gemini 增 fallback_models，nvidia 恢复 nemotron-omni
  (原生视频输入；此前 Oracle 线上手动改过未回传仓库，被旧配置
  覆盖回 llama-3.2 逐帧模式) + timeout 30->120
- 健康检查校验整条模型链

实测 task 73: flash 429 -> lite 1s 内接管，12 帧直出，event_52
落库 provider=gemini。
 2026-08-21 00:07:34 +08:00
ericwyuan
7efbee89fb docs: update PROGRESS.md - 事件列表带年月日 2026-08-20 23:50:48 +08:00
ericwyuan
f50f98e292 ui: 事件列表条目带年月日 — 跨天事件可区分 
跨多天的事件列表仅显示 HH:MM 无法区分日期。按钮标签加 MM-DD
前缀，摘要行加浅蓝 YYYY-MM-DD 前缀，摘要截断 26→30 字适配。
 2026-08-20 23:50:31 +08:00
ericwyuan
6ecdffce04 docs: update PROGRESS.md - 压缩缓存回退补齐全部历史事件帧图 2026-08-20 22:42:31 +08:00
ericwyuan
80cc3249e5 feat: backfill_frames 支持压缩缓存回退 — 补齐全部历史事件帧图 
原始视频被 Surveillance Station 保留策略删除后，回退到
/tmp/fam_compressed/task_{id}/ 的 480p 压缩副本抽帧。实测
event 18-27（08-14 晚间 10 事件）补 78 帧全部成功，至此
所有历史事件帧图齐全，UI 不再出现暂无帧图。
 2026-08-20 22:42:08 +08:00
ericwyuan
3a3b68c428 docs: update PROGRESS.md - 历史事件关键帧补抽 2026-08-20 22:07:57 +08:00