ericwyuan/sentinel-home-ai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
131 Commits 1 Branch 0 Tags
2d9d96de5652b64b30a4967bf9f20b0abff17f3a
Commit Graph

62 Commits

Author SHA1 Message Date
ericwyuan
2d9d96de56 [功能] fam-edge 运动心跳支持 - /api/ss/motion 空 events 心跳刷新, has_motion_in_range_local 按 max_heartbeat_age_sec(900s) fail-open 2026-08-22 12:08:00 +08:00
ericwyuan
38dea6ba2e [重构] 运动预过滤改为本地事件(NAS推送) - 甲骨文不再反向访问NAS：新增 ss_motion_events 表/record_motion_events/has_motion_in_range_local，/api/ss/motion 接收端点，video_processor 改用本地运动事件预过滤，停用 dsm_motion_client 反向查询 2026-08-22 10:25:56 +08:00
ericwyuan
0d8e62607c feat(fam-edge): DSM 运动侦测预过滤 - 空转时段跳过云端视频分析 
群晖 Surveillance Station 用 SYNO.SurveillanceStation.EventCenter.Event（未公开
文档的内部接口，参数是下划线风格 camera_ids/start_time/end_time，公开文档里的
cameraIds/fromTime/toTime 是旧版 Event API 的参数名，两者不通用）记录了摄像头
真实的运动侦测事件（event_type=10=运动，start_time+duration 精确到秒），比自己
本地跑 ffmpeg 帧差分更准、不需要额外算力，之前一直在这台 NAS 上验证可行性。

新增 DsmMotionClient：process_video() 分析每段视频前，先用视频的
[event_start, event_start+duration] 时间窗查一次这个接口，窗口内一条运动事件都
没有就跳过云端分析（标记 done，compute_provider=skipped_no_motion），省掉长期
无人时段白白消耗的 Gemini/NVIDIA 配额。

安全设计：查询本身失败/未配置/账号密码没填一律 fail-open（当作"有运动"，照常
分析），不会因为这层可选优化漏检真实事件——这是一个纯粹的省配额优化，不能反过来
影响监控系统的可靠性。

新增 12 个单测覆盖：禁用/缺凭证时的 fail-open、登录失败、网络异常、无事件、有
事件、按 camera_id 过滤（响应是按 ds_id 分组不是按 camera_id，容易搞混）、
最短运动时长阈值、session 过期重登录重试、env 变量解析。

账号密码走 .env 的 DSM_ACCOUNT/DSM_PASSWORD，不明文入库。
 2026-08-22 09:46:00 +08:00
ericwyuan
f798c31cab fix(fam-edge): 人物 uid 跨视频复用导致特征串人 - 拆分同 uid 下的性别冲突 
根因: 大模型给的 人物A/B/C 这类临时 uid 只在单次视频分析内部稳定，不同视频各
自独立编号——同一个字符串在不同视频里完全可能指向不同的真人（实测生产数据里
"人物A" 在 29 个视频里混了男女两个人，"人物B" 混了男/女/儿童三个人）。但
people 表 label 全局 UNIQUE，upsert_person / person_service 的特征聚合都直接
按这个字符串当全局稳定身份用，导致不同真人的特征被硬合并进同一行，"我"这张卡
显示出来的描述其实是我和媳妇两个人的特征混在一起。

两处落地点都加了同一条硬规则（性别是相对稳定信号，冲突大概率是撞了另一个人）：
1. oracle_db.upsert_person(): 单视频入库时，新特征性别与已有行冲突就不覆盖合
   并，改分配 uid#2/uid#3 这样的派生 label 单独建行。
2. person_service._aggregate_features(): 每次全量重新聚合时按性别在线聚类，
   同一 uid 下冲突的性别拆成独立分组，不再无脑覆盖成一坨。

拆出来的派生 label 走已有的"未命名 -> LLM 合并 -> 硬规则否决"流程，由现有机制
判断该并入哪个已命名身份。

新增 test_oracle_db.py（5 例）+ test_person_service.py（5 例）覆盖同性别合并 /
性别冲突拆分 / 后缀分配 / unknown 不触发拆分等场景。

生产数据已用新逻辑重新 reconcile 并手动核对 3 个因数据量太大 LLM 没能正确认领
的派生 label（人物A#2/人物B#2#2 -> 媳妇，爷爷#2 -> 爷爷），现在 4 个人物分组
（我/媳妇/爷爷/汤圆）特征都是内部一致的，不再互相串。
 2026-08-22 08:45:24 +08:00
ericwyuan
708b6365f4 feat(fam-edge): Gemini key 分配改真随机 + 按项目名标注统计 
用户明确要求: 每次调用应该是 1/n 概率的真随机抽取，而不是上一版的顺序轮转
（round-robin 在当前单消费者串行处理场景下已经是数学最优均匀分配，但用户想要
"数组里随机取一个，每次都是四分之一概率"这种更直观的随机语义）。_rotated_keys()
去掉持久的轮转下标，改用 random.randrange 每次调用随机选起点，仍保留"起点 key
全部模型失败就级联到下一个 key"的兜底逻辑不变。

同时新增 key_labels 配置：4 个 key 分别对应用户在 Google Cloud 上开的 4 个项目
（智能摄像头-1/2/3/4），model_calls 统计现在按项目名而不是泛化的 key1/key2
展示，ModelStats 页面的 Key 列/拆分逻辑同步改为按最后一个 "·" 分隔（原来写死
按 "·key" 前缀查找，项目名场景下不适用）。

新增/重写 7 个单测覆盖：随机起点级联顺序、randrange 调用范围正确性、大样本
随机分布均匀性、key_labels 默认值/自定义值/key 被丢弃时的对齐。
 2026-08-22 07:37:33 +08:00
ericwyuan
1ad6af3d5d fix(fam-edge): Gemini 多 key 从未真正轮转 - 流量全压在 key1 
analyze_video/_generate_text 原来每次都从 api_keys[0] 开始遍历，只有当
key 的全部模型都失败才换下一个 key；由于 flash-lite 兜底基本总能在
key1 下成功，key2/3/4 实际零流量，配置的多 key 配额分散形同虚设。

新增 _rotated_keys()：每次调用前记住上次轮转到的起点，按起点滚动排序
返回 key 列表并把起点推进到下一个，多次调用后流量均匀摊到全部 key。
model_calls 统计的 model 字段现在带上 ·key{n} 后缀，可以看出具体是哪个
key 在跑（ModelStats 页面对应拆出 Key 列展示）。

新增 4 个单测覆盖起点归零/逐次推进/回绕/单 key 情形。
 2026-08-22 07:19:23 +08:00
ericwyuan
6b149a0dd0 fix(fam-edge): 人物合并加硬规则否决 - LLM 弱模型可能把爷爷/宝宝误并成同一人物 
PersonService._merge_labels 原来完全信任 LLM 给出的合并提议（label -> canonical），
但弱模型偶尔会把性别不同或年龄档跨未成年-成年的两个人合并成一个身份（如把"爷爷"
和"宝宝"并到同一个人物）。

新增 _features_conflict 硬冲突检测，落库前校验候选合并双方的 gender/age_band：
性别不同、或年龄档跨 child/adult 边界（幼儿/儿童/少年 vs 青年/中年/老年）一律
否决合并，只把结果当 LLM 的提议，不当最终结论。否决的合并计入 blocked 计数，
连同 updated 一起写入 service_activity 日志，方便观察 LLM 合并的实际可靠性。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-22 06:53:51 +08:00
ericwyuan
61db82cb9b refactor(fam-edge): 重构第一阶段 - 人物图片零额外调用 + 运行时稳定性 + 工程质量 
人物图片功能重做: bbox 随核心视频分析那一次 Gemini 调用一并产出(prompts.py 加
person_appearances.bbox 字段, [ymin,xmin,ymax,xmax] 0-1000 归一化), frame_service
直接用存好的 bbox 裁剪头像/事件缩略图, 删除原来"展示时额外调用 Gemini 定位人物"的
整套逻辑(locate_person_bbox/VLM 校验/熔断), 从架构上消除与核心视频分析共抢配额的
问题; 用真实数据验证裁剪结果正确框住人物本体。

NVIDIA 模型修复: 实测原配置的 3 个模型均不可用(asset_id 引用 500/400, 不支持视频),
改用 nemotron-3-nano-omni 的 base64 内嵌视频方式(唯一实测打通), 加 max_base64_mb
防止对大文件做注定失败的编码。

Gemini 多 Key 轮换: 支持 extra_api_keys 配置多个独立项目的 key, 配额用尽时依次
换 key 重试(每换 key 需重新上传, Files API 按项目隔离)。

稳定性加固: CircuitBreaker HALF_OPEN 清空旧失败计数(修复探测一失败就重新 OPEN 的
bug); chat() 统一接入熔断器(原来只有视频分析路径检查); NVIDIA 适配器改用共享
json_parser(原来自己重复实现且不做 schema 校验); Gemini Files API 上传超时也尝试
清理远程孤儿文件; video_processor/video_queue 里直接操作 OracleDB._conn 的裸 SQL
改走新增的 set_event_start_time/mark_video_invalid/reset_video_to_pending 方法;
/health 加入队列线程存活状态; 密钥改用 ${ENV_VAR} 引用(.env 已支持自动加载),
不再明文写入 config.yaml。

工程质量: 新增 fam-edge/tests(32 个单元测试, 覆盖熔断器状态机/JSON 解析容错/
时间戳解析/bbox 坐标换算/多 key 解析), 新增 scripts/smoke_test.py(发版前接口
稳定性检查); 清理死代码(OllamaAdapter.analyze_frames、get_sync_delta 死分支、
未使用的 vision_timeout/max_concurrent_tasks 配置项); 修正 get_events_for_label
排序(改最近优先 + 过滤畸形历史时间戳)。

已部署 Oracle 并跑通 smoke test 全部 6 项检查。

Co-Authored-By: Claude Sonnet 5 <noreply@anthropic.com>
 2026-08-22 00:22:57 +08:00
ericwyuan
677c5bdcc7 fix(fam-edge): validate_schema 透传 person_appearances - events 清洗白名单原只留 timestamp/description/people/is_attention，丢弃了特征字段导致特征链路断 2026-08-21 18:30:06 +08:00
ericwyuan
68337f81c4 fix(fam-edge): 视频分析 max_tokens 4096→16384 - 3秒密度+person_appearances 特征使输出 JSON 巨大被截断导致解析失败 2026-08-21 18:26:51 +08:00
ericwyuan
ff01d14c79 feat(v3): 人物模块重构 - 大模型结构化特征值替代 OpenCV 帧定位。prompt 增加 person_appearances(uid+7特征+action)并重写合并 prompt(稳定特征优先比对)；gemini 透传特征字段；oracle_db events/people 加 person_appearances_json/features_json/display_uid + _merge_features；video_processor 去 cv2 改 ffprobe 校验、_store_result 聚合 uid 特征落 people、删缩略图/事件截图；person_service 聚合特征后基于特征文本 LLM 合并；api_gateway 删 3 个图接口；NAS 镜像+DDL 加新字段；fam-ui 特征卡替代头像、事件时间线人物特征块 2026-08-21 18:06:21 +08:00
ericwyuan
2ba3478291 fix(头像): 人物头像改为'出现事件画面'而非视频首帧 - 新增 /api/oracle/person/avatar（在该人物所有出现事件中返回第一个有截图的事件画面，JSON 精确匹配）；撤销 event_thumb 的视频首帧兜底（首帧可能无人/非本人）；fam-ui 人物页改调 avatar 接口 2026-08-21 16:13:05 +08:00
ericwyuan
27bfd6abbe fix(api): 事件截图接口兜底 - ev_{id}.jpg 缺失时返回所属视频首帧缩略图(thumbs/{video_id}.jpg)，避免旧事件/未生成截图导致前端头像空白 2026-08-21 16:09:55 +08:00
ericwyuan
02fc80b3b2 fix(fam-edge): 模型调用 started_at 改北京时间(UTC+8) - 原 datetime.now() 取 Oracle UTC 导致前端模型统计时间差 8 小时 2026-08-21 16:05:17 +08:00
ericwyuan
fec9a3e586 fix(fam-edge): video_queue 补 Dict 类型导入(status() 注解导致 worker 启动 NameError) 2026-08-21 15:53:58 +08:00
ericwyuan
0d0a7f6ef8 feat(监控): 实时服务状态界面 - Oracle 新增 service_activity 活动表(只保留7天，写入时清理)与 /api/oracle/activity 接口(队列实时状态/当前处理视频/模型调用/rclone/人物合并/最近50条活动)；VideoQueue 打点+当前处理跟踪+status()；PersonService 打点；rclone_sync.sh 同步结果写活动表；fam-ui 新增'🖥 服务状态'页(状态卡+活动时间流，直连 Oracle 实时拉取) 2026-08-21 15:52:36 +08:00
ericwyuan
0d73c23bd1 fix(fam-edge): 人物标识清洗 - _clean_person 去括号注释(防模型输出'人物A(别名/标识:人物B)'污染人物表)；prompt 明确 people 只填标识本身；events.people 与 people_mentioned 均清洗 2026-08-21 14:47:47 +08:00
ericwyuan
a72b286bd7 refactor(prompt): Prompt 集中化 - 新增 fam-edge ai_orchestrator/prompts.py（视频分析/智能问答/人物合并三模板共享，消除 gemini/nvidia 两份发散）；gemini/nvidia _build_video_prompt 改调共享函数并注入 camera_name；person_service 改调 build_person_merge_prompt；fam-core chat_handler 独立 prompts.py（跨模块风格一致）替代内联 CHAT_SYSTEM_PROMPT；输出硬约束(首字符{/禁markdown)、3 秒密度抽取、people_mentioned 一致性强制、描述 7 维度、人物合并唯一性约束 2026-08-21 14:42:27 +08:00
ericwyuan
4e85a98944 fix(锁与查询组): #12 熔断器状态转换加锁；#10 问答人名匹配改 JSON_CONTAINS 精确匹配(防 LIKE 子串/特殊字符误匹配)；#4 OracleDB 复合写加锁；#6 每消费者独立 VideoProcessor(消除 adapter.timeout 共享竞争)；#15 done 视频文件被覆盖(mtime>processed_at)自动重置重分析 2026-08-21 14:24:12 +08:00
ericwyuan
034dca92b2 fix(优先组): #18 密钥明文直配 config(弃 .env 依赖)；#5 appearances 改 distinct 视频数覆盖校准(防 reconcile 累加膨胀)；#9 oracle_sync 拉取加锁防 trigger_now 与后台并发双拉；#11 LLM 合并命名解析 target 已有 canonical(统一显示名) 2026-08-21 14:22:28 +08:00
ericwyuan
6afdda582b feat(fam-edge): 队列健壮性 - ①失败重试间隔 retry_interval_sec=1h（last_fail_at 记录，配额类故障等恢复再试）；②max_retries 2→10；③入队前 OpenCV 文件校验（可解码/大小/元数据，失败标 invalid 不入队）+ mtime 稳定窗口防 rclone 半成品 + 处理前二次确认 2026-08-21 14:09:38 +08:00
ericwyuan
3fcd00d4c8 fix(fam-edge): 文件名解析支持纯数字 YYYYMMDD-HHMMSS 格式（监控录像名 20260820-140416，原正则只认带分隔符）；事件相对时间加 6h 启发式防误判绝对时间 2026-08-21 13:52:47 +08:00
ericwyuan
5233296dd3 fix(fam-edge): 事件时间戳改相对时间定位 - prompt 要求输出视频内相对时间 HH:MM:SS（模型对相对位置判断更准），后端按 开始时间+偏移 精确计算绝对时间落库；事件截图直接用偏移跳帧，消除模型绝对时间推算误差导致的图文不符 2026-08-21 13:48:46 +08:00
ericwyuan
05f727a9ef feat(events): 每个事件生成对应时间点画面截图 - oracle_db.mark_video_processed 返回 event_ids；video_processor 按事件时间戳-视频起始时间偏移跳帧截图存 ev_{id}.jpg；新增 /api/oracle/event/{id}/thumb 接口；fam-ui 事件列表每条显示对应截图 2026-08-21 13:44:16 +08:00
ericwyuan
41485072bf fix(ui): sync_events 查询补 JOIN sync_videos 取 camera_name(修 1054 报错)；feat(缩略图): Oracle 处理成功后抽首帧存 thumbs/{id}.jpg + /api/oracle/video/{id}/thumb 带 token 接口；fam-ui 视频会话显示缩略图(oracle_url+token)；start_ui.sh 注入 .env 2026-08-21 13:37:23 +08:00
ericwyuan
b7b5fe6f0b feat(fam-edge): NVIDIA 多模型降级链 - adapter 支持 model_chain(asset 上传一次逐个尝试)+switch_interval_sec 切换间隔+model_timeouts 每模型独立超时；实测全部候选不可用(omni 500/12b 400/其余 404)，链机制保留待可用模型 2026-08-21 13:30:59 +08:00
ericwyuan
b87b38b140 feat(fam-edge): 云端模型调用统计 - 新增 model_calls 表(provider/model/时间/耗时/成功/失败原因)，gemini/nvidia 每次请求经 model_call_hook 记录并随 sync delta 下发；gemini 支持模型级 model_timeouts（lite 实测22.6s×4≈90s） 2026-08-21 12:21:49 +08:00
ericwyuan
1b0f62e5e9 chore(fam-edge): gemini 模型链每个模型请求前打印当前超时（确认 ×2 对 flash/flash-lite 均生效） 2026-08-21 12:13:02 +08:00
ericwyuan
ce27e4ab0c feat(fam-edge): 视频生产-消费队列 - 新增 video_queue.py（生产者扫描新文件入队+重启恢复，独立消费者线程云端分析）；模型消费超时按原配置×timeout_multiplier(2)；failed 重试上限 max_retries(2)；删除旧 watch_processor 2026-08-21 12:01:25 +08:00
ericwyuan
ab5b706eeb fix(fam-edge): schema 对齐新架构 - parse_vlm_json 必填改 global_summary/events（兼容旧 frame_details/entities_json 转换）；NVIDIA PUT content-type 值改为 video/mp4 与 POST 一致（预签名校验） 2026-08-21 11:47:33 +08:00
ericwyuan
daf0f8377b fix(fam-edge): 上传端点与签名修正 - Gemini 上传改用 /upload/v1beta/files 端点（原 /v1beta/files 非上传端点）；NVIDIA PUT 用全小写 content-type 头（S3 预签名校验） 2026-08-21 11:43:58 +08:00
ericwyuan
d54070ece4 fix(fam-edge): 整视频上传方式修正 - Gemini 改 resumable 可续传协议(370MB 不再 raw 单发超时)；NVIDIA 改 Assets API 上传拿 asset_id(video_url 引用)，规避 25MB payload 上限 2026-08-21 11:37:24 +08:00
ericwyuan
f20b6c9254 fix(fam-edge): WatchProcessor 递归扫描子目录（GDrive 录像按 YYYYMMDDAM/PM 子目录组织） 2026-08-21 11:28:14 +08:00
ericwyuan
ec25f4f50c fix(fam-edge): ollama_adapter 补充缺失的 Dict 类型导入（修复 worker 启动 NameError） 2026-08-21 10:59:32 +08:00
ericwyuan
9b1cc8f93b [阶段2] FAM-Edge 重构为整视频分析+同步接口+人物服务 - 移除切片/抽帧/队列，新增 oracle_db/person_service/qa/watch_processor/video_processor，api_gateway 提供 /api/oracle/sync 与 /api/oracle/people/correct 2026-08-21 10:38:15 +08:00
ericwyuan
43b3178a9d feat(人物管理/红框标记): 关键帧人脸标记 + 人物命名重命名回溯 + 人物管理页改版 
1. fam-edge 新增 frame_marker.py: Edge 端人脸检测画红框+统计人脸数（NAS ARM 太弱只存图零计算），orchestrator 分析后回传前标记，新增 /api/edge/mark_frames 批量补标端点
2. fam-core 新增 tools/backfill_mark_frames.py: 存量关键帧批量补红框（幂等+备份 frames_orig）
3. db_layer.name_member 增强: 支持自动注册新标签/重命名回溯（旧真名一并替换）/多人组合字符串 REPLACE
4. fam-ui 成员命名页改为人物管理页: 所有人物照片墙+命名重命名+统计去重
5. event_receiver/member_manager 配套适配
 2026-08-21 00:53:30 +08:00
ericwyuan
eaf4ef3bd3 fix: Gemini 模型 fallback 链 — 修复全量降级 NVIDIA 
根因: 免费层配额 GenerateRequestsPerDayPerProjectPerModel 每天每
模型仅 20 请求，日均 30+ 任务耗尽后持续 429，全部降级 NVIDIA
(最近40任务 35 nvidia / 4 gemini)。

- gemini_adapter 抽 _generate() 模型链调用: 429 立即切换下一模型
  (flash -> flash-lite，各自独立 20/天配额)，503 退避 3s 重试一次
  再切换；视觉分析与问答统一走该链
- config: gemini 增 fallback_models，nvidia 恢复 nemotron-omni
  (原生视频输入；此前 Oracle 线上手动改过未回传仓库，被旧配置
  覆盖回 llama-3.2 逐帧模式) + timeout 30->120
- 健康检查校验整条模型链

实测 task 73: flash 429 -> lite 1s 内接管，12 帧直出，event_52
落库 provider=gemini。
 2026-08-21 00:07:34 +08:00
ericwyuan
0d5173f442 feat: UI 时间轴重构 + 关键帧图片全链路持久化 
界面重做(深色监控面板主题):
- 事件时间轴页: 左侧事件列表卡片 + 右侧关键帧时间轴
  (时间点 + 视频帧 + 人物/动作/衣着摘要 + 关注标记)
- 全局 CSS: 深色主题、卡片化按钮、统计卡、对话气泡、成员卡片
- 侧边栏任务队列状态徽章; 历史帧无图时优雅降级占位

关键帧持久化链路:
- Edge orchestrator: process_push_task 成功后把 keyframes
  base64 注入 frame_details[i].frame_image (位置对齐视觉输入帧)
- NAS event_receiver: 落库前 base64 解码写盘到
  fam-ui/static/frames/event_{id}/frame_{idx}.jpg
- payload 增量 ~300KB/事件 (6帧 jpeg q80), 队列/拉取均无压力

配置: fam-core/fam-ui 新增 storage.frame_image_dir
 2026-08-20 19:50:36 +08:00
ericwyuan
9aba71c8ed fix: Edge队列时间戳根治 — INSERT显式北京时间 + 存量表schema迁移 
795e8ac 只改了 CREATE TABLE 的 DEFAULT，但 DEFAULT 固化在已存在表的
schema 中，IF NOT EXISTS 不会更新旧表——新行 created_at 仍走旧
DEFAULT(localtime)=UTC。三处修复:
1. enqueue INSERT 显式写 created_at/updated_at (+8 hours)，不再依赖 schema DEFAULT
2. _init_db 检测旧 schema 含 localtime 时重建表迁移（数据保留，幂等）
3. 存量数据修正: 行16/19 created_at +8h

验证: 本地迁移单测3例通过；线上行20(task 44) created_at=18:43:35
为北京时间(UTC机器当时10:43)。
 2026-08-20 18:50:59 +08:00
ericwyuan
80b2fcc40c fix: 视频时间语义修正 — 绝对时间戳偏移换算 + mtime 起点修正 + 直传超时 
三处时间语义 bug（时区统一排查的延伸发现）:

1. NVIDIA 集锦偏移语义: frame_timestamps 是绝对时间
   'YYYY-MM-DD HH:MM:SS'(当日秒 77474s)被直接当视频内偏移用，
   seek 超出 30 分钟视频 → 0 帧 → 集锦恒为空 → 视频模式永远降级。
   修复: analyze_video 增加 event_start_time 参数，偏移 =
   帧时间 - 视频开始时间(跨午夜 +86400)；orchestrator 两处
   调用点透传。另加 ffprobe 时长过滤跳过超界片段(日志明示)，
   fps=15 统一 CFR 输出。

2. NAS dispatcher event_start_time: 原用文件 mtime(=录制结束
   时刻)，真实开始时间应为 mtime - 视频时长，事件时间整体偏移
   一个视频周期(~30min)。新增 _probe_duration 用 ffmpeg 解析
   Duration(NAS 无独立 ffprobe)。

3. 直传超时: 压缩后 ~19MB 略低于 20MB 分块阈值走直传，
   timeout(10,120) 在 1Mbps 下传 19MB 需 ~152s 必超时(task 42
   三连败 FAILED)。加大到 (10, 300)。

测试数据陷阱记录: 两轮 0KB/9.47s 集锦异常均为测试时间戳超出
视频时长所致(1801s>1800s)，单输入/多输入 concat 行为本身正常。
 2026-08-20 17:58:16 +08:00
ericwyuan
795e8acc6c fix: 时区统一北京时区 — Edge(UTC机器)三处时间处理修复 
背景: Oracle Edge 机器为 UTC 时区，NAS 与视频均为北京时间，
网页要求统一北京时区。排查结论: NAS 端(北京时间)与 UI(直读
MariaDB)均正确，问题集中在 Edge 端三处。

1. queue_manager: 7 处 datetime('now','localtime') 在 UTC 机器上
   写入 UTC 时间(比北京慢8h)，全部改为 datetime('now','+8 hours')
2. preprocessor.compute_timestamps: event_start_time 缺失时 fallback
   datetime.now() 用了 Edge 本地时间(UTC)，改为北京时间
   datetime.now(timezone(+8h))；带时区的 ISO 输入统一转北京时间
3. nvidia_adapter._ts_to_seconds: 不支持生产格式
   'YYYY-MM-DD HH:MM:SS'(split后int抛ValueError全部返回-1)，
   导致集锦视频永远为空、视频模式永远降级逐帧——上一轮引入的
   bug，测试用 HH:MM:SS 格式未暴露。现支持两种格式；drawtext
   标签与提示词同步为完整时间戳说明

数据修正: event 17(task 298 手动测试缺 event_start_time)的
frame_timestamp 全为 UTC，按视频文件名真实时间(04:34:10)重算；
Edge 队列存量时间戳 +8h。

验证: 单测三例通过(生产格式解析/fallback北京时间/ISO带时区转换)；
task 41 新代码正确写入北京时间 17:36:52。
 2026-08-20 17:41:59 +08:00
ericwyuan
55633d3302 feat: NVIDIA 切换到原生视频输入 — nemotron-3-nano-omni + 集锦视频单次调用 
调研结论: build.nvidia.com 免费托管 API 上 video-llama3-8b 与
qwen2.5-vl-72b 已下线(404)，nvidia/nemotron-3-nano-omni-30b-a3b-reasoning
可用(200, 40RPM 免费额度内)，原生支持 video_url 输入(MP4 base64)。

实现:
1. nvidia_adapter 新增 analyze_video: 按关键帧时间点截取 ±1.5s 片段
   (drawtext 叠加时间戳，连字符避免冒号转义)拼集锦视频，640 宽 CRF28，
   base64 后经 video_url 单次调用，输出全 schema JSON(frame_details +
   global_summary + entities_json)并归一化对齐时间戳
2. analyze_frames 保留为无视频文件时的降级路径; chat max_tokens
   512→2048(reasoning 模型 token 消耗大); timeout 20→120s
3. orchestrator.run_visual_analysis 增加 video_path 参数，fallback 循环
   对支持 analyze_video 的适配器优先走视频模式，失败自动降级逐帧

实测(360MB 测试视频, 3 关键帧): 集锦 107KB, 全程 37s, 动态动作识别准确
(走动→坐沙发→坐餐桌)，跨片段综合摘要正常 — 显著优于旧逐帧静态识别。
 2026-08-20 17:21:33 +08:00
ericwyuan
f4e742481d fix: json_parser 不再要求模型输出 compute_provider — Gemini 有效响应被误杀 
根因: validate_schema 把 compute_provider 列为必填并校验非空数组，
但提示词模板从不要求模型输出该字段（它是 orchestrator 在解析成功后
自行填充的内部记账字段）。Gemini 返回完整合法 JSON 时被误判解析失败，
100% 复现。NVIDIA 走单帧轻量解析绕过了该校验，故此前仅 Gemini 受影响。

修复: compute_provider 从必填清单移除，缺失/非法时归一为空数组，
由 format_cloud_result 用实际成功的 provider 覆盖填充。

验证: 单元测试模拟 Gemini 真实输出（无 compute_provider + markdown
fence 包裹）解析通过。
 2026-08-20 16:14:27 +08:00
ericwyuan
8cb5553beb fix: Edge端三处修复 — API key丢失致全模型失败 + 失败结果黑洞 + 重派发死锁 
根因: Edge服务手动重启未source .env，GEMINI/NVIDIA key丢失，
所有视觉模型调用失败("All models failed")，且失败结果永不回传NAS。

1. config_loader: 启动时自动加载.env(export KEY=VALUE)，已存在环境变量不覆盖
2. queue_manager.enqueue: FAILED(或已交付SUCCESS)行重置为PENDING复用重跑，
   修复 INSERT OR IGNORE + UNIQUE(nas_task_id) 导致的静默忽略死锁
3. get_undelivered_results: 包含FAILED状态，/results构造failed负载，
   NAS Poller可感知失败避免僵尸循环空转重传
4. ddl.sql: failure_stage ENUM 增加 'process'(与db_layer valid_stages对齐)，
   修复 pymysql DataError 1265

验证: task 293(压缩后22MB) NVIDIA降级分析成功→event_id=13；
task 295 全链路成功→event_id=14；NAS端ENUM已同步ALTER
 2026-08-20 15:35:40 +08:00
ericwyuan
203b076783 feat: NAS端FFmpeg预压缩 — 根治360MB视频跨境上传超时 
根因诊断（网络问题，非代码逻辑）:
- NAS(中国移动) → Oracle(美国Phoenix) 跨境上行带宽实测仅 0.5-0.9MB/s 且波动大
- 下载方向 3.0MB/s（非对称，典型国际出口拥塞）
- Tailscale P2P: ping 可通(224ms)但持续数据流被阻断(0 B/s, 127s超时)
- 360MB 原始视频上传需 10-20min，任何大分块都会超时

NAS dispatcher:
- 新增 _compress_video: 480p/CRF28/veryfast，静态监控场景实测 ~36x 压缩比
  (360MB → ~12MB，上传时间 20min → ~30s)
- ffmpeg 自动探测: CodecPack ffmpeg41(带libx264) > /usr/local/bin > PATH
  (Synology 系统 ffmpeg 被裁剪，无 h264 编解码)
- scale 两级滤镜: force_original_aspect_ratio=decrease + trunc(iw/2)*2
  (h264 要求偶数尺寸，853x480 会报错)
- 压缩缓存 /tmp/fam_compressed/task_{id}/，源文件未变则重试复用，TTL 24h
- 压缩完成后重置 PROCESSING 状态（重置 stale 回收计时基准）
- 压缩失败回退原始文件分块上传
- _query_uploaded_chunks 失败时记录日志（原静默失败导致全量重传无感知）

Edge api_gateway:
- fix: total_chunks 变更清理旧分块后同步重写 meta.json
  (原 bug: meta.json 不更新导致每块上传都触发清理，删除同批新分块死循环)

config:
- stale_timeout 600→1800（覆盖压缩+上传+Edge队列积压总时长）
- 新增 ffmpeg_path / compress_timeout 配置项
 2026-08-20 14:59:50 +08:00
ericwyuan
5915cf4be3 fix: 分块大小减至5MB + Edge端chunk_size变更自动清理 + 断点续传防护 
NAS dispatcher:
- CHUNK_SIZE 10MB→5MB（~1Mbps上行带宽下可靠传输）
- chunk上传timeout (30,120)→(60,180)（增加连接和读取余量）
- _query_uploaded_chunks 返回 (set, edge_total) 元组
- expected_total != edge_total 时跳过断点续传（防止chunk_size变更导致文件损坏）

Edge api_gateway:
- upload_chunk 检测 total_chunks 变更，自动清理旧分块
- 防止不同chunk_size的旧分块与新分块混合导致assemble后文件损坏
 2026-08-20 14:18:29 +08:00
ericwyuan
b6c13a9047 feat: 分块断点续传上传 — 20MB/块 + 分块级重试 + 断点查询 
Edge 端新增 3 个端点:
- POST /api/edge/video/chunk: 接收单块，保存到 task_{id}/chunk_{index:04d}
- GET /api/edge/video/chunks: 查询已上传分块（断点续传）
- POST /api/edge/video/assemble: 合并全部分块入队

NAS Dispatcher 重写:
- 大文件(>50MB)自动分块上传(20MB/块)
- 每块最多重试 3 次（分块级重试，非整文件级）
- 上传前查询已上传分块，跳过已有的（断点续传）
- 全部上传后调 /assemble 合并入队
- 小文件(<=50MB)走直接上传路径
- max_retries 3→5（文件级重试次数）
- scheduler 切回生产目录

解决: 360MB 视频跨公网单次上传超时/断连问题
 2026-08-20 12:27:30 +08:00
ericwyuan
02da23ef42 feat: 异步任务队列架构 - SQLite队列 + 速率限制 + NAS Poller 
Edge端:
- 新增 SQLite 异步任务队列 (queue_manager + consumer)
- 新增 TokenBucket 速率限制器 (Gemini 1000 RPM, NVIDIA 40 RPM, burst 2x)
- 新增 /api/edge/video/enqueue + /api/edge/results 端点
- 消费者线程从队列消费任务，按速率限制调用AI模型
- orchestrator 集成 rate_limiter，Gemini优先→NVIDIA兜底

NAS端:
- Dispatcher 重构为 enqueue 模式（上传后立即返回，不等结果）
- 新增 Poller 线程（定期从Edge拉取结果写 MariaDB）
- app.py 启动 Poller，config.yaml 新增 poller 配置
- db_layer 更新 valid_stages 添加 'process'
 2026-08-20 12:07:09 +08:00
ericwyuan
853cb21542 fix: NVIDIA single-frame JSON parsing + Gemini timeout/circuit breaker tuning 
NVIDIA fix:
- Replace parse_vlm_json (requires full schema: global_summary/entities_json/
  frame_details/compute_provider) with lightweight _parse_single_frame_json
  that only extracts per-frame fields (person/action/clothing/etc)
- Root cause: NVIDIA adapter does per-frame analysis returning single-frame
  JSON, but parse_vlm_json rejected it for missing full-schema fields
- Verified: task 297 → 6/6 frames parsed successfully, first SUCCESS

Gemini + circuit breaker tuning:
- Gemini timeout: 30s → 90s (multi-image vision analysis needs more time)
- NVIDIA timeout: 20s → 30s (per-frame API call)
- Circuit breaker threshold: 3 → 5 (less aggressive tripping)
- Circuit breaker cooldown: 600s → 300s (faster recovery)
 2026-08-20 11:02:26 +08:00
ericwyuan
babf5b09a9 [架构重构] 移除本地Ollama融合，云端直出JSON直存DB，Q&A三模型降级 
1. 视频摘要链路：云端VLM直出结构化JSON → Edge format_cloud_result格式化校验 → 直存NAS DB（移除run_text_fusion本地融合）
2. 智能问答链路：Gemini→NVIDIA→Ollama降级，新增chat()纯文本问答方法
3. 适配器重构：base/gemini/nvidia/ollama adapter新增chat()；gemini多图单请求结构化JSON；nvidia逐帧调用聚合
4. 端点变更：/api/edge/chat → /api/edge/chat/ask，调orchestrator.run_qa()
5. chat_handler改经Edge Q&A编排，不再直连Ollama
6. 配置更新：ollama_url → qa_url，Ollama role注释改为Q&A兜底
7. README同步更新架构描述、拓扑图、时序图、模块表
 2026-08-20 10:21:09 +08:00