sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
338 Commits 5 Branches 0 Tags
a42f30239f5baeeb2d728e80a4464d2dc70e2102
Commit Graph

8 Commits

Author SHA1 Message Date
Blizzard b26fe21408 fix(rag): 检索三路不再静默吞错 —— 逐路诊断 + 一路挂不拖垮全部 
排查"向量路为什么是空的"花了半小时，因为空就是空，没有任何线索。这次把
整条检索链上的静默降级一次清掉。

真 bug（不只是可观测性）：
  - kb_search 与 Search() 都拿 rag.Ready() 当总闸，而 Ready() 只代表"向量路
    可用"（embedding + Milvus）。全文(bleve)与图谱(Neo4j)根本不依赖它们，却
    被一并毙掉 → "模型配置没下发"表现为"整个知识库什么都搜不到"，还不报错。
    改为逐路判定，任一路可用就仍有召回。

不再吞错：
  - milvus.search 原先把 error 转成 nil,nil —— 检索失败与无召回彻底无法区分；
  - bleve.search / graph.search 出错直接回 nil，连日志都没有；
  - searchPaths 丢掉 embedding 的 error。
    三处改为如实返回，错误统一打日志。

逐路诊断（RouteDiag）：每路上报 ok/empty/disabled/error + 耗时 + 原因，经
kb_search 的 diag 参数（仅试验台传，生产调用返回值不变）→ gateway → 检索
试验台。界面上现在能直接看出"这一路没配置/报错了/确实没匹配"，不必翻日志。
内存兜底索引也会在 note 里点明"重启即清零"。

测试：3 组，覆盖"无 embedding 时全文仍可召回"、三种空的区分、内存索引提示。
把总闸加回去验证过第一条确实会红——测试能抓到这个回归，不是摆设。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-20 15:10:03 +08:00
Blizzard 53f7e172c3 fix: KB 级联删「事务化」—— 失败不再留不可删孤儿（T4.F） 
原为 best-effort：三库删失败只 log、MinIO 删错误全吞、PG 照删 → 删一半失败即在
向量/全文/图谱/MinIO 留下「PG 无记录、连 file_id 都查不到」的不可删孤儿。

改为「类事务」（跨库 2PC 不可行，退而求其次：不留不可恢复孤儿 + 失败可见可重试）：
- milvus.deleteByFile / bleve.deleteDoc / blob.Delete 改返回 error（原 void 吞错）
- rag.DeleteDoc 三库全试一遍（最大化清理）+ 聚合错误（原只回 Neo4j 的错）；三库删幂等
- gateway KbDeleteDoc 失败闭合：先删依赖存储(三库→MinIO)、PG 最后删；
  任一存储删失败 → 不删 PG、返 502「未删除请重试」（保留 file_id 供幂等重试）
- 语义翻转：从「总能从列表删掉但留孤儿」→「有孤儿风险就不删、报错可重试」

live：杀 mcp-go→删→502+文档保留；mcp-go 活→删→200+清空（清场僵尸进程后验证）

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-06 16:32:25 +08:00
Blizzard 79e834e8e9 feat(rag): 大文件 RAG 做深 —— 并发入库/图谱窗口化 + Bleve落盘 + file_id治理 
几十万字文件从"广而浅"到准生产级：
- 向量化串行→并发分批保序(embedAll)；几十万字上千块快数倍
- 图谱整篇喂LLM(爆上下文只抽开头)→窗口化并发抽(extractGraphWindowed)，
  全覆盖；窗口/封顶/并发 env 可配；图谱可单配便宜模型(GRAPH_CHAT_*，未配回退主chat)
- Bleve 内存索引(重启即丢、三路退两路)→落盘 scorch(env BLEVE_PATH，失败退内存兜底)
- 下游键改稳定 file_id：Neo4j 关系打 file_id(实体仍 kb+name 共享)；
  新增 kb_delete 工具 + Engine.DeleteDoc 级联删 Milvus/Bleve/Neo4j
- 单测：窗口化/去重/env可配/落盘持久/图谱模型回退

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-30 13:37:45 +08:00
Blizzard 10ac5a5277 feat(kb): 笔记可编辑（按 doc 替换重索引）+ 笔记关系图（[[双链]]） 
Obsidian 化继续：笔记能编辑/新建，文档间 [[双链]] 连成可点关系图。

按 doc 重索引（编辑不重复累积）：
- Milvus 加 doc 字段（旧 schema 自动重建）；insert 带 doc；deleteDoc(kb,doc) 重入库前清旧块。
- Bleve 索引 id 含 doc + deleteDoc 按 kb+doc 清旧块。
- rag.Ingest(kb, doc, text)：写入前按 doc 删旧块再写（Neo4j MERGE 仍幂等，附加式）。
- kb_ingest 工具加 doc 参数；gateway runIngest 把 doc 透传，forceDoc 支持编辑保持笔记名稳定。

编辑/新建：
- gateway POST /kb/note {kb,name,content}：落库 + 以 name 为 doc 重入库（替换旧块，搜索/图谱同步）。
- 前端 VaultPanel：阅读/编辑切换（textarea 预填原文，保存调 saveNote）、新建笔记、乐观更新。

笔记关系图：
- GraphView 加 onNode（节点可点）；VaultPanel 阅读/关系图切换，关系图 = 文档间 [[双链]] 三元组
  力导向（点节点跳转该笔记）。

验证：curl 编辑 笔记B → 检索只返编辑后内容（旧块已清，不重复）。Preview：关系图渲染
笔记B—链接→项目A概述/模块X 且节点可点；编辑器预填原文可改可存。tsc+vite+后端 build 通过；重建 .app。

注：Milvus 加 doc 字段会触发集合重建（旧向量丢，文库原文在 PG 可重灌）；Neo4j 图谱按附加式合并，
编辑删除的实体不会自动消失（图谱倾向增长）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 15:22:03 +08:00
Blizzard d5dfb7a928 fix(rag,desktop): Milvus 集合丢失自愈 + 检索框布局塌陷 
真实演示中暴露的两个 bug：

1) Milvus 重连健壮性（mcp-go/internal/rag/milvus.go）
   基础设施重启后向量集合丢失，但 ensure() 的 m.ok 缓存认定集合仍在、跳过重建，
   导致 insert/search 报 "collection not found"，必须重启进程才恢复。
   修复：新增 invalidate() + isCollectionGone()；insert/search 遇"集合不存在"类错误
   时清缓存 + 重 ensure（重建集合）+ 重试一次。
   实测：运行期 drop 集合后再入库 → 日志"清缓存重建后重试写入" → 写入成功且可检索（自愈，无需重启）。

2) 检索框布局塌陷（desktop frontend/src/ui/Input.tsx）
   Phase A 给 Input 基类内置了 w-full，与检索行调用方的 flex-1 / w-16 冲突，
   查询框被挤成一条缝。修复：基类去掉 w-full，宽度交由调用方（Field 内 flex-col 自动撑满，
   或显式 w-full/flex-1/w-16）。
   实测(Preview)：查询框 412px、topK 64px；报告页输入仍撑满（764/220px），无回归。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:05:53 +08:00
Blizzard 8ff68078b7 feat: 知识库管理界面（入库监控 + 检索台） 
桌面端「知识库」模块从占位变为可用：入库(切块/embedding/Milvus 监控) +
检索调试台(向量召回，带分数与来源)。

- mcp-go: 新工具 kb_search(返回结构化 JSON [{text,score}])；rag.Hit 加 json 标签
- gateway: POST /api/v1/kb/search → kb_search（结构化命中给检索台）
- desktop: lib/api ingestKb/searchKb；新 KbView(左 入库+监控日志 / 右 检索台命中列表
  带 Milvus 来源徽标+分数)；App 接 kb 视图；LeftNav 知识库 ready
- 验证: gateway/mcp-go build✓ + e2e PASS + 前端 build✓；真实浏览器——入库3条→监控
  '已入库3块'；语义查询'存储和搜索向量的组件'→Milvus(0.612)>Neo4j>NATS 排序正确,
  全走真实百炼 embedding(控制面下发)+Milvus

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:40:32 +08:00
Blizzard e5bbe7318c feat(rag): Milvus 集合维度自适应 — 切换 embedding 模型自动重建 
ensure() 检测已存集合的向量维度，与当前 embedding 维度不一致则 Drop+重建
(DescribeCollection 读 TypeParams[dim])。支持从 mock(256)切到真实 embedding(如
百炼 text-embedding-v3=1024 维)无需手动清库。

验证: 接阿里云百炼 text-embedding-v3(OpenAI 兼容)真实 embedding——集合自动
256→1024 重建，入库5条；语义检索(查询措辞与文档不同)：'存储搜索向量的组件'
→Milvus、'传消息的中间件'→NATS、'知识图谱存哪'→Neo4j，全部语义命中正确。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:12:24 +08:00
Blizzard 84d1a1dd3a feat: RAG 核心链 — embedding(provider) + Milvus 真连 + 入库/检索 
mcp-go 接通向量 RAG：embedding(OpenAI 兼容 provider 抽象) + Milvus 真实连接，
kb_ingest 入库、wiki_search 真检索。retriever 节点一行不改即从桩变真。

- mcp-go internal/rag: embed.go(OpenAI 兼容 /embeddings 客户端) + milvus.go(milvus-sdk-go
  真连，集合按首次 embedding 维度懒建+AUTOINDEX/COSINE索引+加载，insert/向量search) +
  rag.go(Engine: 切块→embed→insert / embed query→search；embedding 或 Milvus 缺则降级)
- mcp-go gateway: 新工具 kb_ingest，wiki_search 换真(RAG 向量检索，kb 过滤 topK)
- mcp-go main: rag.Open 读 MILVUS_ADDR/EMBED_BASE_URL/EMBED_API_KEY/EMBED_MODEL 环境变量
- gateway: POST /api/v1/kb/ingest → kb_ingest（供知识库页/脚本）
- scripts/mock_embeddings.py: 确定性词法向量(字+bigram 哈希)，无真 key 验证检索
- 开发期 embedding 接在线 API(无真 key 用 mock)，见 llm-provider-strategy
- 验证: 全模块 build✓ + e2e PASS; live——入库5条→Milvus；retriever 节点查'向量数据库'
  →召回 Milvus 那条→DeepSeek 答'Milvus'；查'知识图谱'→Neo4j（向量检索区分正确）

注: 当前向量单路；Bleve/Neo4j 融合 + rerank + 真实语义 embedding 为后续。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:07:36 +08:00