 Blizzard
|
53f7e172c3
|
fix: KB 级联删「事务化」—— 失败不再留不可删孤儿（T4.F）
原为 best-effort：三库删失败只 log、MinIO 删错误全吞、PG 照删 → 删一半失败即在
向量/全文/图谱/MinIO 留下「PG 无记录、连 file_id 都查不到」的不可删孤儿。
改为「类事务」（跨库 2PC 不可行，退而求其次：不留不可恢复孤儿 + 失败可见可重试）：
- milvus.deleteByFile / bleve.deleteDoc / blob.Delete 改返回 error（原 void 吞错）
- rag.DeleteDoc 三库全试一遍（最大化清理）+ 聚合错误（原只回 Neo4j 的错）；三库删幂等
- gateway KbDeleteDoc 失败闭合：先删依赖存储(三库→MinIO)、PG 最后删；
任一存储删失败 → 不删 PG、返 502「未删除请重试」（保留 file_id 供幂等重试）
- 语义翻转：从「总能从列表删掉但留孤儿」→「有孤儿风险就不删、报错可重试」
live：杀 mcp-go→删→502+文档保留；mcp-go 活→删→200+清空（清场僵尸进程后验证）
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-07-06 16:32:25 +08:00 |
|
|
Blizzard
|
79e834e8e9
|
feat(rag): 大文件 RAG 做深 —— 并发入库/图谱窗口化 + Bleve落盘 + file_id治理
几十万字文件从"广而浅"到准生产级：
- 向量化串行→并发分批保序(embedAll)；几十万字上千块快数倍
- 图谱整篇喂LLM(爆上下文只抽开头)→窗口化并发抽(extractGraphWindowed)，
全覆盖；窗口/封顶/并发 env 可配；图谱可单配便宜模型(GRAPH_CHAT_*，未配回退主chat)
- Bleve 内存索引(重启即丢、三路退两路)→落盘 scorch(env BLEVE_PATH，失败退内存兜底)
- 下游键改稳定 file_id：Neo4j 关系打 file_id(实体仍 kb+name 共享)；
新增 kb_delete 工具 + Engine.DeleteDoc 级联删 Milvus/Bleve/Neo4j
- 单测：窗口化/去重/env可配/落盘持久/图谱模型回退
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-30 13:37:45 +08:00 |
|
|
Blizzard
|
a4852c3aef
|
fix(rag): T2.2 把"三路混合"做实 —— 中文全文/图谱两路从 0 贡献修活
基建拉起后实测发现"三路混合检索"对中文其实只有向量路在干活：
`hybrid: 向量=1 全文=0 图谱=0` —— 全文、图谱两路恒 0 贡献（典型"广而浅"）。两个真因：
1. Bleve 全文：默认标准分词器不切中文 → 整段当一个 token → 中文查询永远 0 命中。
修：text 字段用 cjk 分词器（bigram），kb/doc 用 keyword（保 TermQuery 精确过滤）。
2. 图谱检索：`$q CONTAINS a.name` 要求实体名是查询子串，而 LLM 把实体抽成"星云一号卫星"
（带后缀），查询说"星云一号"→ CONTAINS 失败 → 0 命中。
修：加查询字符 n-gram（2..8）双向子串匹配，`星云一号` 即可命中 `星云一号卫星`。
live 验证（同一查询）：修复前 `向量=1 全文=0 图谱=0` → 修复后 `向量=1 全文=1 图谱=9`，
三路全贡献。中文混合检索从 1/3 变真 3/3。
测试：Bleve 中文检索命中 + queryNgrams 子串/长度边界（CI 安全，无需基建）。
DEPTH_ROADMAP T2.2：三路做实✅；检索质量度量(离线评测集 recall@k/MRR)待补。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-30 10:00:25 +08:00 |
|
|
Blizzard
|
10ac5a5277
|
feat(kb): 笔记可编辑（按 doc 替换重索引）+ 笔记关系图（[[双链]]）
Obsidian 化继续：笔记能编辑/新建，文档间 [[双链]] 连成可点关系图。
按 doc 重索引（编辑不重复累积）：
- Milvus 加 doc 字段（旧 schema 自动重建）；insert 带 doc；deleteDoc(kb,doc) 重入库前清旧块。
- Bleve 索引 id 含 doc + deleteDoc 按 kb+doc 清旧块。
- rag.Ingest(kb, doc, text)：写入前按 doc 删旧块再写（Neo4j MERGE 仍幂等，附加式）。
- kb_ingest 工具加 doc 参数；gateway runIngest 把 doc 透传，forceDoc 支持编辑保持笔记名稳定。
编辑/新建：
- gateway POST /kb/note {kb,name,content}：落库 + 以 name 为 doc 重入库（替换旧块，搜索/图谱同步）。
- 前端 VaultPanel：阅读/编辑切换（textarea 预填原文，保存调 saveNote）、新建笔记、乐观更新。
笔记关系图：
- GraphView 加 onNode（节点可点）；VaultPanel 阅读/关系图切换，关系图 = 文档间 [[双链]] 三元组
力导向（点节点跳转该笔记）。
验证：curl 编辑 笔记B → 检索只返编辑后内容（旧块已清，不重复）。Preview：关系图渲染
笔记B—链接→项目A概述/模块X 且节点可点；编辑器预填原文可改可存。tsc+vite+后端 build 通过；重建 .app。
注：Milvus 加 doc 字段会触发集合重建（旧向量丢，文库原文在 PG 可重灌）；Neo4j 图谱按附加式合并，
编辑删除的实体不会自动消失（图谱倾向增长）。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-13 15:22:03 +08:00 |
|
|
Blizzard
|
85a5c2c1e7
|
feat(rag): 混合检索融合 — Milvus 向量 + Bleve 全文 + RRF + DashScope rerank
检索从向量单路升级为混合：向量(Milvus) + 全文(Bleve BM25) → RRF 融合 →
可选 rerank(DashScope gte-rerank)。
- rag/bleve.go: Bleve 全文索引(内存,随 ingest 写入;kb 过滤)；ingest 同步写 Milvus+Bleve
- rag/fuse.go: RRF(Reciprocal Rank Fusion, k=60, 按文本去重)融合多路排序
- rag/rerank.go: DashScope gte-rerank 客户端(可选,env 配置,失败降级 RRF)
- rag/rag.go: Search 改混合(向量+全文→RRF→可选rerank→topK)；main 读 RERANK_* env
- 验证: 全模块 build✓ + e2e PASS; live——入库写双索引；查'NATS'→全文精确命中#1+向量
→RRF NATS 排首(向量=4 全文=1)；接 DashScope gte-rerank(百炼 key 有权限)→relevance
score 0.19 真重排；retriever 节点端到端→DeepSeek 答 Milvus
- 边界: Neo4j 图路(GraphRAG,需实体抽取)推迟；Bleve 内存索引重启重建；rerank 走 env
(TODO 同 embedding 搬控制面 kind=rerank)
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-11 09:53:37 +08:00 |
|