ericwyuan/sentinel-home-ai
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
147 Commits 1 Branch 0 Tags
9bba7b7e1484254c20bd3a9aa40dfa67cd512b53
Commit Graph

8 Commits

Author SHA1 Message Date
ericwyuan
9bba7b7e14 fix(chat): 流式问答中文乱码 + 问答模型链换成专用文字大模型 
## 乱码修复
Gemini 流式接口 resp.iter_lines(decode_unicode=True) 没有显式设置
resp.encoding，requests 自己猜编码猜错了（Gemini 的 SSE 响应 Content-Type
不带 charset 参数），导致中文变成典型的 UTF-8 被当 Latin-1 解码的乱码。
fam-core 转发这一跳的 requests.iter_lines 调用有同样的坑，一并修了。
两处响应的 Content-Type 都补上 charset=utf-8，减少下游再犯同样错误的机会。
顺手用 latin-1/utf-8 往返把 NAS chat_history 里已经存了乱码的 3 条历史记录
恢复成正常文字。

## 问答模型链重新设计（跟视频分析完全独立）
用户要求问答不再用 flash/omni，优先用 NVIDIA 免费文字模型里上下文最大的几个，
不行再退 Gemini 非 flash 文字模型，最后本地 Ollama 兜底。

- base_adapter 新增 usage 字段（纯标记，不影响行为）
- qa.py 的 QAOrchestrator 只挑 role='text' 的适配器参与问答（按 config 出现
  顺序决定降级顺序），role='vision' 的视频分析适配器（gemini-flash-latest /
  nvidia omni）不再参与问答，两条链路彻底解耦
- 新增问答专用 NVIDIA 文字模型链（同一适配器内部 model_chain 降级）：
  nemotron-3-ultra-550b-a55b(1M上下文/561B) -> nemotron-3-super-120b-a12b
  (1M上下文/124B) -> openai/gpt-oss-120b(131K上下文/117B)。三个都用真实
  API 调用验证过当前账号可访问；同时验证过 llama-3.1-70b-instruct 和
  nemotron-super-49b-v1.5 都收到"08/25/2026 起弃用"通知，排除；
  nemotron-ultra-253b/mistral-large-2/nemotron-4-340b/kimi-k2.6 在目录里
  能看到但实测调用返回 404"账号无权限"，排除
- 新增问答专用 Gemini 非 flash 文字模型：gemini-pro-latest -> gemini-2.5-pro
  （1M 上下文，复用视频分析同一批多 key 轮换）
- /api/edge/chat/ask(/stream) 默认 max_tokens 从 1024 提到 3072：新链路
  优先用的都是"推理"模型，回答前会先吐一段思考过程，1024 经常在思考阶段
  就被截断，用户永远看不到真正答案

新增 test_qa.py::test_init_only_keeps_text_role_adapters_in_config_order
验证角色过滤+顺序正确。

本地检查过 Ollama 服务本身：systemd enabled+running（8h 正常运行，
qwen2.5:7b 已加载），并非没启动——用户观察到的现象另有原因。
 2026-08-23 07:46:48 +08:00
ericwyuan
2c5bf950c5 feat: 事件时间轴缩略帧 + 人物管理头像 + 人物合并硬规则校验 
## 新架构：Oracle 集中计算 + NAS 代理展示

### Oracle 端 (fam-edge)
- 新增 frame_service: ffmpeg 视频抽帧 + VLM 人物定位裁剪头像（磁盘缓存）
- 新增 /api/oracle/frame: 按 video_id+ts 抽帧返回 jpeg（带 token）
- 新增 /api/oracle/avatar: 按 label 生成人物头像（VLM 定位人物 + 兜底整帧居中）
- 新增 person_identifier: 人物身份识别模块
- Gemini 适配器支持 flash/flash-lite 双模型切换，429 自动降级
- frame_service VLM 全模型 429 时进入 10 分钟熔断，避免每次请求白打配额
- 兜底头像不落缓存，配额恢复后自动重试 VLM 精确定位

### 人物合并硬规则校验（框架级修复）
- person_service: LLM 合并结果落库前加硬冲突检测
  - 性别冲突 → 绝不合并
  - 年龄档跨未成年/成年 → 绝不合并（防止把爷爷/宝宝并进同一人）
- oracle_db: upsert_person 入口剥离括号后缀（人物A（别名：人物B） → 人物A），消灭垃圾人物行
- 修复 set_canonical 丢弃 source 参数的 bug（旧代码硬编码 'manual' 导致错误合并被永久固化）
- get_events_for_label: 只提取该身份组的特征文本，头像定位更精准

### NAS 端 (fam-core)
- 新增 img_proxy: /api/proxy/frame 和 /api/proxy/avatar 代理 Oracle 图片
- app.py 注册 img_bp 蓝图
- oracle_sync / db_layer / member_manager 同步人物表

### UI 端 (fam-ui)
- 事件时间轴: 每条事件卡片加时间点缩略帧
- 人物管理: 每人卡片加头像（150x150 圆角）
- parse_persons: 剥离括号备注，与 Oracle 归一化一致
- 新增 EventItem 组件、Timeline 页改造
- Chat / ServiceStatus 页相应调整

### 数据库
- scripts/ddl.sql: 同步表结构更新
- Oracle people 表: features_json / display_uid / source 字段完善
 2026-08-23 00:13:56 +08:00
ericwyuan
ff01d14c79 feat(v3): 人物模块重构 - 大模型结构化特征值替代 OpenCV 帧定位。prompt 增加 person_appearances(uid+7特征+action)并重写合并 prompt(稳定特征优先比对)；gemini 透传特征字段；oracle_db events/people 加 person_appearances_json/features_json/display_uid + _merge_features；video_processor 去 cv2 改 ffprobe 校验、_store_result 聚合 uid 特征落 people、删缩略图/事件截图；person_service 聚合特征后基于特征文本 LLM 合并；api_gateway 删 3 个图接口；NAS 镜像+DDL 加新字段；fam-ui 特征卡替代头像、事件时间线人物特征块 2026-08-21 18:06:21 +08:00
ericwyuan
b87b38b140 feat(fam-edge): 云端模型调用统计 - 新增 model_calls 表(provider/model/时间/耗时/成功/失败原因)，gemini/nvidia 每次请求经 model_call_hook 记录并随 sync delta 下发；gemini 支持模型级 model_timeouts（lite 实测22.6s×4≈90s） 2026-08-21 12:21:49 +08:00
ericwyuan
9b1cc8f93b [阶段2] FAM-Edge 重构为整视频分析+同步接口+人物服务 - 移除切片/抽帧/队列，新增 oracle_db/person_service/qa/watch_processor/video_processor，api_gateway 提供 /api/oracle/sync 与 /api/oracle/people/correct 2026-08-21 10:38:15 +08:00
ericwyuan
babf5b09a9 [架构重构] 移除本地Ollama融合，云端直出JSON直存DB，Q&A三模型降级 
1. 视频摘要链路：云端VLM直出结构化JSON → Edge format_cloud_result格式化校验 → 直存NAS DB（移除run_text_fusion本地融合）
2. 智能问答链路：Gemini→NVIDIA→Ollama降级，新增chat()纯文本问答方法
3. 适配器重构：base/gemini/nvidia/ollama adapter新增chat()；gemini多图单请求结构化JSON；nvidia逐帧调用聚合
4. 端点变更：/api/edge/chat → /api/edge/chat/ask，调orchestrator.run_qa()
5. chat_handler改经Edge Q&A编排，不再直连Ollama
6. 配置更新：ollama_url → qa_url，Ollama role注释改为Q&A兜底
7. README同步更新架构描述、拓扑图、时序图、模块表
 2026-08-20 10:21:09 +08:00
ericwyuan
99d75a4bda feat(adapter): 云端视觉适配器 + role 角色区分 
- base_adapter 增加 role 字段(vision/text)与 get_role()
- gemini_adapter 修复 v1beta 下模型名 404(gemini-1.5-flash→gemini-flash-latest), 改逐帧调用
- 新增 nvidia_adapter(openai SDK, 规避 NIM 单次限 1 图逐帧), 注册 adapter_factory
- 视觉分析仅 vision 角色参与, 文本融合交给 role=text 模型
 2026-08-20 09:11:44 +08:00
ericwyuan
cdd1f21d4c [3.1-3.5] FAM-Edge 全链路 - API-Gateway/Video-Preprocessor/AI-Orchestrator/模型适配器(基类+Ollama+Gemini)/熔断器/JSON解析容错 + 配置 2026-08-19 22:25:38 +08:00