sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
46 Commits 1 Branch 0 Tags
69967ea5345541c618e6d85b77131ba2b082429a
Commit Graph

10 Commits

Author SHA1 Message Date
Blizzard 69967ea534 refactor(kb): 文库列表/正文分离 + [[双链]]索引表（可扛大文件） 
不再一次拉回整库正文、不再前端扫全文 —— 列表只读元数据，正文按需取，链接走索引。

- store: SaveDoc 维护 size+preview(前 500 字)；ListVault 仅 Select 元数据(name/size/preview，
  不含 content)；GetDoc 取单篇全文；DocLink 表 + ReplaceDocLinks(入库/编辑时按 from 重建出链)
  + ListLinks。
- gateway: 入库/笔记保存时正则抽 [[链接]]→ReplaceDocLinks 维护索引；
  /kb/vault 改返元数据+预览；新增 /kb/doc(单篇全文) 与 /kb/links(全库双链)。
- 前端：listVault 返元数据，新增 getDoc/listLinks；VaultPanel 列表只展示名/字数，
  选中后 getDoc 按需载正文(带加载态)，反链/笔记关系图改用服务端 links 索引(不扫全文)。

验证：curl /kb/vault 仅 name/size/preview；/kb/doc 取单篇；/kb/links 返 3 条双链。
Preview：文库点「架构总览」按需载正文(平台分五层)、反向链接(1)=Dispatcher(来自索引)。tsc+vite+gateway build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 16:53:23 +08:00
Blizzard 10ac5a5277 feat(kb): 笔记可编辑（按 doc 替换重索引）+ 笔记关系图（[[双链]]） 
Obsidian 化继续：笔记能编辑/新建，文档间 [[双链]] 连成可点关系图。

按 doc 重索引（编辑不重复累积）：
- Milvus 加 doc 字段（旧 schema 自动重建）；insert 带 doc；deleteDoc(kb,doc) 重入库前清旧块。
- Bleve 索引 id 含 doc + deleteDoc 按 kb+doc 清旧块。
- rag.Ingest(kb, doc, text)：写入前按 doc 删旧块再写（Neo4j MERGE 仍幂等，附加式）。
- kb_ingest 工具加 doc 参数；gateway runIngest 把 doc 透传，forceDoc 支持编辑保持笔记名稳定。

编辑/新建：
- gateway POST /kb/note {kb,name,content}：落库 + 以 name 为 doc 重入库（替换旧块，搜索/图谱同步）。
- 前端 VaultPanel：阅读/编辑切换（textarea 预填原文，保存调 saveNote）、新建笔记、乐观更新。

笔记关系图：
- GraphView 加 onNode（节点可点）；VaultPanel 阅读/关系图切换，关系图 = 文档间 [[双链]] 三元组
  力导向（点节点跳转该笔记）。

验证：curl 编辑 笔记B → 检索只返编辑后内容（旧块已清，不重复）。Preview：关系图渲染
笔记B—链接→项目A概述/模块X 且节点可点；编辑器预填原文可改可存。tsc+vite+后端 build 通过；重建 .app。

注：Milvus 加 doc 字段会触发集合重建（旧向量丢，文库原文在 PG 可重灌）；Neo4j 图谱按附加式合并，
编辑删除的实体不会自动消失（图谱倾向增长）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 15:22:03 +08:00
Blizzard 55c85302b6 feat(kb): Obsidian 式文库 —— 笔记浏览 + [[双链]] + 反向链接（Tab 化） 
把知识库做出 Obsidian 感：入库的每份文件/笔记留原文，可浏览、可读、可互链。

- store: sundynix_doc（owner+kb+name 唯一，存原文），SaveDoc(OnConflict 覆盖)/ListVault。
- gateway: runIngest 留存原文（文件用文件名、文本用首行作笔记名）；GET /kb/vault?kb= 取文库（owner 隔离）。
- Markdown 组件：解析 [[名称]] / [[名称|别名]] → onLink 可点（Obsidian 双链）。
- KbView 改 Tab（入库 / 文库 / 检索 / 图谱）：
  - 文库 = 左文档列表 + 右 Markdown 笔记（[[双链]]点击跳转）+ 反向链接面板（扫全库 [[本笔记]]）。
  - 检索、图谱各占整页；图谱放大到 460。

验证(Preview)：入两条带 [[双链]] 的笔记 → 文库列出 2 篇 → 打开「项目A概述」渲染出可点的
[[模块X]][[模块Y]] + 反向链接显示「模块X」→ 点 [[模块X]] 跳转到该笔记、其 [[项目A概述]] 亦可点。
curl 证隔离：alice 取 wt 的 vault → 空。tsc+vite+gateway build 通过；重建 .app 重启窗口。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 15:06:31 +08:00
Blizzard 3a175e46f3 feat(kb): 批量文件入库(文件列表) + 项目/案件知识库 + owner 作用域隔离 
回应三点诉求：一次入一批文件、按文件夹/项目/案件组织、且只有我能查我的库。

隔离（核心）：知识库实际分区键 = "owner/name"，owner 由网关从 X-User-ID 注入，
客户端只发库名、发不了 owner —— 故任何人都只能查到自己 owner 前缀下的数据。
- gateway: scopedKB(owner/kb) 注入 ingest/search/graph；ingest/search/graph 全部带身份头。
- store: sundynix_kb 注册表（owner+name 唯一 + kind），ListKB/EnsureKB(OnConflict DoNothing)。

项目/案件组织：
- gateway: GET /kb/list（owner 隔离列表）、POST /kb/create（folder/project/case/general）；
  入库时 EnsureKB 自动登记。
- 前端: KbView 顶部知识库下拉 + 新建（项目/案件/文件夹/通用），检索/图谱/入库都绑定所选库。

批量文件：
- 前端: 选择文件(multiple) + 选择文件夹(webkitdirectory) + 拖拽一批 → 每文件一个 job，
  文件列表实时显示各自状态（排队/解析/向量化/写入/抽取/完成/失败）+ 完成/失败计数。

验证：curl 证隔离 —— wt 入 default→可检索；alice 查同名 default→[] 空；alice 列表不含 wt 案件库。
Preview 证 UI —— 知识库下拉含 案件-2024-001(案件)+default(通用)、owner 隔离徽标、批量/文件夹按钮。
tsc+vite+gateway build 通过；重建 .app 重启窗口。

注：身份目前来自 X-User-ID 头（可信前端），生产应换 JWT 鉴权中间件——隔离机制(owner 前缀)已就位。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:50:33 +08:00
Blizzard 72e008bfe8 feat(kb): 入库可视化做厚 —— 文件解析/知识抽取过程 + 力导向知识图谱 
把"进度条"升级成可观测的入库工作台，回应三点诉求：解析过程、知识抽取过程、丰富图谱。

- contract: IngestEvent 加 Preview（解析文本预览）+ Triples[]TripleView（抽出的三元组）。
- 后端回流：rag.Ingest 抽实体阶段把 LLM 抽出的三元组实时回流（边出现边渲染）；
  gateway 解析完成回流文件类型 + 文本预览片段。
- 前端 GraphView.tsx：零依赖自建力导向布局（斥力+边弹簧+居中静态收敛），实体=节点
  按度着色（枢纽紫/关联青/叶子）、关系=带标签边、hover 高亮邻域、节点过多按度裁剪。
- 前端 KbView 重做：入库从"阶段徽标+进度条"→竖向时间线（解析预览/切块块/向量化进度/
  抽取知识三元组 chips + 实时小图谱逐步浮现）；右侧知识图谱从扁平列表→GraphView，
  入库完成自动刷新整库图谱。

验证(Preview)：入库一段多事实文本 → 时间线逐阶段点亮、抽出 17 条三元组实时浮现、
右侧力导向图渲染 sundynix-agentix/知识库 为枢纽 + 带标签关系边。tsc+vite+后端 build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:22:50 +08:00
Blizzard d623b8590e feat: GraphRAG — LLM 抽三元组建 Neo4j 图谱 + 混合检索加图谱第三路 
混合检索从 2 路(向量+全文)升级为 3 路(+图谱)。入库时 LLM 抽实体/关系建
Neo4j 图，检索时图谱路(实体关联三元组)融进 RRF；UI 可视化图谱。

- mcp-go rag: chat.go(OpenAI 兼容非流式 chat 客户端,抽取用) + graph.go(neo4j-go-driver
  连接 + LLM 抽三元组 + MERGE 实体/关系 + 图谱召回/全量三元组) + rag.go(Config 结构;
  graph+chat 路;Ingest 加 抽实体/写Neo4j 阶段;Search 三路 RRF 融合;SetChat 热更新)
- mcp-go: Neo4j env(默认 neo4j://localhost:7687, neo4j/sundynix);订阅 chat 控制面配置
  (复用 DeepSeek 做抽取);新工具 kb_graph(返回三元组)
- gateway: GET /api/v1/kb/graph;frontend KbView 知识图谱面板(实体—关系→实体)
- 验证: 全模块 build✓ + e2e PASS; live——入库'sundynix用Milvus...'→DeepSeek 抽 4 三元组
  →Neo4j(8 实体);检索三路融合 向量=4 全文=2 图谱=1;浏览器图谱面板渲染 4 三元组
- 边界: 实体链接用 CONTAINS 朴素匹配(可升级 LLM 查询实体抽取);全文/图谱重启随入库重建

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 11:10:22 +08:00
Blizzard 2d5fd2fca5 feat: 实时入库监控 + 向量拆分可视化（异步入库 + 进度 SSE） 
入库从同步改为异步流水线 + 进度回流（复用 token 流 NATS streaming）。
UI 实时看到 解析→切块→向量化(分批)→写入 各阶段 + 拆分块预览。

- shared: contract.IngestEvent(stage/done/total/chunks/error)
- mcp-go: rag.Ingest 加 onProgress + 分批向量化(10/批)逐批回报;kb_ingest 带 job_id
  把进度发到 sundynix.streams.<job_id> + CompleteStream
- gateway: 入库异步返回 job_id，后台 runIngest 发进度;GET /kb/ingest/:id/stream SSE
- frontend: streamIngest(EventSource);KbView 实时进度面板(阶段徽标+进度条+拆分列表)
- 验证: build✓+e2e PASS; 浏览器 12 行→6 阶段点亮+进度条 12/12+拆分 12 块逐条

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 10:33:36 +08:00
Blizzard 3550a22557 feat: 文件入库 — docx/xlsx/pdf/csv 经 mcp-py 解析 → RAG 
入库从纯文本升级为多文件类型：解析(mcp-py 算法层)与切块/embedding 解耦。
上传文件 → Gateway 按类型路由 → mcp-py parse_document 解析为文本 → kb_ingest。

- mcp-py: parsers.py(docx=python-docx / xlsx=openpyxl / pdf=pypdf / csv / txt→文本)；
  parse_document 工具做真(base64 文件→文本，线程池跑 CPU 密集解析)；pyproject 加依赖
- gateway: POST /api/v1/kb/ingest_file(multipart)；parseFile 文本类直读、office/pdf→mcp-py
- nats-server.conf: max_payload 8MB(容纳 base64 文件经工具调用；大文件应走对象存储)
- frontend: KbView 加文件上传(accept docx/xlsx/pdf/csv...)；api.ingestFile
- 验证: 全模块 build✓ + e2e PASS; live——4 类文件上传→mcp-py 解析→入库→检索命中:
  docx(营收报告)/xlsx(销量表行)/pdf(Q2计划)/csv(城市人口) 全部正确
- 边界: 扫描件/版面 OCR(MinerU/PaddleOCR)推迟；大文件 base64 走 NATS 受 max_payload
  限，生产应走对象存储(MinIO)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 10:10:07 +08:00
Blizzard 8ff68078b7 feat: 知识库管理界面（入库监控 + 检索台） 
桌面端「知识库」模块从占位变为可用：入库(切块/embedding/Milvus 监控) +
检索调试台(向量召回，带分数与来源)。

- mcp-go: 新工具 kb_search(返回结构化 JSON [{text,score}])；rag.Hit 加 json 标签
- gateway: POST /api/v1/kb/search → kb_search（结构化命中给检索台）
- desktop: lib/api ingestKb/searchKb；新 KbView(左 入库+监控日志 / 右 检索台命中列表
  带 Milvus 来源徽标+分数)；App 接 kb 视图；LeftNav 知识库 ready
- 验证: gateway/mcp-go build✓ + e2e PASS + 前端 build✓；真实浏览器——入库3条→监控
  '已入库3块'；语义查询'存储和搜索向量的组件'→Milvus(0.612)>Neo4j>NATS 排序正确,
  全走真实百炼 embedding(控制面下发)+Milvus

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:40:32 +08:00
Blizzard 84d1a1dd3a feat: RAG 核心链 — embedding(provider) + Milvus 真连 + 入库/检索 
mcp-go 接通向量 RAG：embedding(OpenAI 兼容 provider 抽象) + Milvus 真实连接，
kb_ingest 入库、wiki_search 真检索。retriever 节点一行不改即从桩变真。

- mcp-go internal/rag: embed.go(OpenAI 兼容 /embeddings 客户端) + milvus.go(milvus-sdk-go
  真连，集合按首次 embedding 维度懒建+AUTOINDEX/COSINE索引+加载，insert/向量search) +
  rag.go(Engine: 切块→embed→insert / embed query→search；embedding 或 Milvus 缺则降级)
- mcp-go gateway: 新工具 kb_ingest，wiki_search 换真(RAG 向量检索，kb 过滤 topK)
- mcp-go main: rag.Open 读 MILVUS_ADDR/EMBED_BASE_URL/EMBED_API_KEY/EMBED_MODEL 环境变量
- gateway: POST /api/v1/kb/ingest → kb_ingest（供知识库页/脚本）
- scripts/mock_embeddings.py: 确定性词法向量(字+bigram 哈希)，无真 key 验证检索
- 开发期 embedding 接在线 API(无真 key 用 mock)，见 llm-provider-strategy
- 验证: 全模块 build✓ + e2e PASS; live——入库5条→Milvus；retriever 节点查'向量数据库'
  →召回 Milvus 那条→DeepSeek 答'Milvus'；查'知识图谱'→Neo4j（向量检索区分正确）

注: 当前向量单路；Bleve/Neo4j 融合 + rerank + 真实语义 embedding 为后续。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:07:36 +08:00