sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
298 Commits 5 Branches 0 Tags
6de1b3f6b2459e4653924428f6b08109d019534b
Commit Graph

13 Commits

Author SHA1 Message Date
Blizzard 7ae7f7be67 feat(memory): 记忆召回加 Relevance —— Generative Agents 打分补齐第三项 (P1) 
审计三真桩之一。记忆召回此前打分只有 Recency+Importance,缺 Relevance(对当前
任务的语义相关性)——注释写"待接 Milvus",但召回时甚至不知道当前问什么。

关键发现:dispatcher 注入点 fetchMemory(ctx,uid,_) 手上已有当前任务文本(b.query),
只是被 `_` 丢弃了。所以不是"接 Milvus"那么重,把 query 一路传下去 + 缓存嵌入即可。

设计(偏离注释的"接 Milvus"——用户偏好量小,不值当上向量库):
- Profile 加 embedding 列(float32 小端打包存 bytea);Upsert 时对 value 向量化缓存
  (value 没变不重算,失败留空不阻断)。
- memory 包定义 Embedder 小接口,gateway 注入 rag.Engine(复用同一控制面下发的
  embedding 模型),不硬依赖 rag 内部;rag.Engine 加导出 Embed 方法。
- memory_get 工具加可选 query 入参;fetchMemory 停止丢弃 b.query 传下去。
- Get(ctx,uid,query):query 非空且 embedder 就绪 → embed(query) 对每条缓存向量
  内存算余弦 → 三项打分 0.25R+0.35I+0.4Rel;否则回落两项(升级前行为)。
- 优雅降级贯穿:无 query/无 embedder/query 嵌入失败/行无向量 → 静默回落,绝不报错。
  零 Milvus 依赖、零向量库同步问题、保住"没 embedding 也能跑"。

验证:单测(编解码往返/cosine 截0/三项模式相关性翻转顺序/降级返 nil)+ 端到端
(真 PG:写入即向量化、query=咖啡把低重要度的咖啡记忆翻到运动前面)。migration
加列已 live;embedding 复用 RAG 已验证基建。三模块 build/vet/test 全绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-18 12:47:55 +08:00
Blizzard 53f7e172c3 fix: KB 级联删「事务化」—— 失败不再留不可删孤儿（T4.F） 
原为 best-effort：三库删失败只 log、MinIO 删错误全吞、PG 照删 → 删一半失败即在
向量/全文/图谱/MinIO 留下「PG 无记录、连 file_id 都查不到」的不可删孤儿。

改为「类事务」（跨库 2PC 不可行，退而求其次：不留不可恢复孤儿 + 失败可见可重试）：
- milvus.deleteByFile / bleve.deleteDoc / blob.Delete 改返回 error（原 void 吞错）
- rag.DeleteDoc 三库全试一遍（最大化清理）+ 聚合错误（原只回 Neo4j 的错）；三库删幂等
- gateway KbDeleteDoc 失败闭合：先删依赖存储(三库→MinIO)、PG 最后删；
  任一存储删失败 → 不删 PG、返 502「未删除请重试」（保留 file_id 供幂等重试）
- 语义翻转：从「总能从列表删掉但留孤儿」→「有孤儿风险就不删、报错可重试」

live：杀 mcp-go→删→502+文档保留；mcp-go 活→删→200+清空（清场僵尸进程后验证）

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-06 16:32:25 +08:00
Blizzard a17e25b6ba feat(rag): 检索质量评测 —— 单路检索能力 + recall@k/MRR 评测台 
- 引擎抽 searchPaths(三路召回) + SearchByMode(vector/fulltext/graph/hybrid，
  纯检索不 rerank，公平对比)；kb_search 加 mode 参数(空=生产含rerank)，
  gateway KbSearch 透传 mode
- scripts/rageval.py：标注语料+查询 → 四模式 recall@k/MRR 对比表（可复用）
- live 量化：纯语义改写让全文0.88/图谱0.75 漏召回，混合 1.00 兜回，
  混合=各路上界的稳健组合

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-30 13:56:39 +08:00
Blizzard 79e834e8e9 feat(rag): 大文件 RAG 做深 —— 并发入库/图谱窗口化 + Bleve落盘 + file_id治理 
几十万字文件从"广而浅"到准生产级：
- 向量化串行→并发分批保序(embedAll)；几十万字上千块快数倍
- 图谱整篇喂LLM(爆上下文只抽开头)→窗口化并发抽(extractGraphWindowed)，
  全覆盖；窗口/封顶/并发 env 可配；图谱可单配便宜模型(GRAPH_CHAT_*，未配回退主chat)
- Bleve 内存索引(重启即丢、三路退两路)→落盘 scorch(env BLEVE_PATH，失败退内存兜底)
- 下游键改稳定 file_id：Neo4j 关系打 file_id(实体仍 kb+name 共享)；
  新增 kb_delete 工具 + Engine.DeleteDoc 级联删 Milvus/Bleve/Neo4j
- 单测：窗口化/去重/env可配/落盘持久/图谱模型回退

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-30 13:37:45 +08:00
Blizzard ddc2265c5b feat(mcp-go): RAG 语义切块 —— 递归 + 句界 + 重叠 + rune 安全 
替换朴素切块（按行切 + 字节硬截）为工业级语义切块：
- 修真 bug：旧版 s[:2000] 按字节切，中文 UTF-8（3 字节/字）会被切碎成乱码；
  新版全程按 rune 操作。
- 算法：splitToAtoms（换行/中英句末标点切原子，超大无标点原子按 rune 窗口兜底）
  → packAtoms（贪心打包到 target=500 字、句末收口，尾块 <100 字并入相邻）
  → addOverlap（块间 80 字重叠，保跨块上下文）。硬上限 1000。
- chunk.go 独立成文件 + chunk_test.go（空/短/rune安全/大小上界/句界/重叠/超大无标点）。

收益：检索片段语义完整（不再断句）、中文不乱码、跨块上下文不丢 → RAG 召回质量。
make test-go 全绿。后续可加 Markdown 标题路径前缀（结构化文档增强）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 15:21:17 +08:00
Blizzard 10ac5a5277 feat(kb): 笔记可编辑（按 doc 替换重索引）+ 笔记关系图（[[双链]]） 
Obsidian 化继续：笔记能编辑/新建，文档间 [[双链]] 连成可点关系图。

按 doc 重索引（编辑不重复累积）：
- Milvus 加 doc 字段（旧 schema 自动重建）；insert 带 doc；deleteDoc(kb,doc) 重入库前清旧块。
- Bleve 索引 id 含 doc + deleteDoc 按 kb+doc 清旧块。
- rag.Ingest(kb, doc, text)：写入前按 doc 删旧块再写（Neo4j MERGE 仍幂等，附加式）。
- kb_ingest 工具加 doc 参数；gateway runIngest 把 doc 透传，forceDoc 支持编辑保持笔记名稳定。

编辑/新建：
- gateway POST /kb/note {kb,name,content}：落库 + 以 name 为 doc 重入库（替换旧块，搜索/图谱同步）。
- 前端 VaultPanel：阅读/编辑切换（textarea 预填原文，保存调 saveNote）、新建笔记、乐观更新。

笔记关系图：
- GraphView 加 onNode（节点可点）；VaultPanel 阅读/关系图切换，关系图 = 文档间 [[双链]] 三元组
  力导向（点节点跳转该笔记）。

验证：curl 编辑 笔记B → 检索只返编辑后内容（旧块已清，不重复）。Preview：关系图渲染
笔记B—链接→项目A概述/模块X 且节点可点；编辑器预填原文可改可存。tsc+vite+后端 build 通过；重建 .app。

注：Milvus 加 doc 字段会触发集合重建（旧向量丢，文库原文在 PG 可重灌）；Neo4j 图谱按附加式合并，
编辑删除的实体不会自动消失（图谱倾向增长）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 15:22:03 +08:00
Blizzard 72e008bfe8 feat(kb): 入库可视化做厚 —— 文件解析/知识抽取过程 + 力导向知识图谱 
把"进度条"升级成可观测的入库工作台，回应三点诉求：解析过程、知识抽取过程、丰富图谱。

- contract: IngestEvent 加 Preview（解析文本预览）+ Triples[]TripleView（抽出的三元组）。
- 后端回流：rag.Ingest 抽实体阶段把 LLM 抽出的三元组实时回流（边出现边渲染）；
  gateway 解析完成回流文件类型 + 文本预览片段。
- 前端 GraphView.tsx：零依赖自建力导向布局（斥力+边弹簧+居中静态收敛），实体=节点
  按度着色（枢纽紫/关联青/叶子）、关系=带标签边、hover 高亮邻域、节点过多按度裁剪。
- 前端 KbView 重做：入库从"阶段徽标+进度条"→竖向时间线（解析预览/切块块/向量化进度/
  抽取知识三元组 chips + 实时小图谱逐步浮现）；右侧知识图谱从扁平列表→GraphView，
  入库完成自动刷新整库图谱。

验证(Preview)：入库一段多事实文本 → 时间线逐阶段点亮、抽出 17 条三元组实时浮现、
右侧力导向图渲染 sundynix-agentix/知识库 为枢纽 + 带标签关系边。tsc+vite+后端 build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:22:50 +08:00
Blizzard d5ae2f71d4 feat(desktop): 工业化升级 D —— 内容可信（Markdown 渲染 + 健康五灯全真） 
- components/Markdown.tsx：零依赖、行级 Markdown 渲染（# 标题 / **粗** *斜* `码` /
  - 与 1. 列表 / > 引用 / --- 分隔 / 段落），流式安全（每 token 重渲染容忍残缺）。
  报告正文与运行输出从裸 <pre> 换成真排版，瞬间像份报告。
- 健康聚合：mcp-go 加 rag.Status() + health 工具（milvus/neo4j/embedding 就绪）；
  gateway GET /api/v1/health 聚合 gateway/nats/db/redis(本地) + milvus/neo4j(经 mcp-go)；
  health.ts 轮询 /health，TopBar 五盏灯（Gateway/DB/NATS/Milvus/Neo4j）从"灰=未知"变真实绿/红。

验证：浏览器(Preview)跑报告——正文以标题/有序列表/引用/分隔线/二级标题排版呈现；
五盏灯全绿（/health 返回 db/gateway/milvus/nats/neo4j/redis 全 true）。tsc + vite build + 后端 build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-12 17:34:54 +08:00
Blizzard d623b8590e feat: GraphRAG — LLM 抽三元组建 Neo4j 图谱 + 混合检索加图谱第三路 
混合检索从 2 路(向量+全文)升级为 3 路(+图谱)。入库时 LLM 抽实体/关系建
Neo4j 图，检索时图谱路(实体关联三元组)融进 RRF；UI 可视化图谱。

- mcp-go rag: chat.go(OpenAI 兼容非流式 chat 客户端,抽取用) + graph.go(neo4j-go-driver
  连接 + LLM 抽三元组 + MERGE 实体/关系 + 图谱召回/全量三元组) + rag.go(Config 结构;
  graph+chat 路;Ingest 加 抽实体/写Neo4j 阶段;Search 三路 RRF 融合;SetChat 热更新)
- mcp-go: Neo4j env(默认 neo4j://localhost:7687, neo4j/sundynix);订阅 chat 控制面配置
  (复用 DeepSeek 做抽取);新工具 kb_graph(返回三元组)
- gateway: GET /api/v1/kb/graph;frontend KbView 知识图谱面板(实体—关系→实体)
- 验证: 全模块 build✓ + e2e PASS; live——入库'sundynix用Milvus...'→DeepSeek 抽 4 三元组
  →Neo4j(8 实体);检索三路融合 向量=4 全文=2 图谱=1;浏览器图谱面板渲染 4 三元组
- 边界: 实体链接用 CONTAINS 朴素匹配(可升级 LLM 查询实体抽取);全文/图谱重启随入库重建

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 11:10:22 +08:00
Blizzard 2d5fd2fca5 feat: 实时入库监控 + 向量拆分可视化（异步入库 + 进度 SSE） 
入库从同步改为异步流水线 + 进度回流（复用 token 流 NATS streaming）。
UI 实时看到 解析→切块→向量化(分批)→写入 各阶段 + 拆分块预览。

- shared: contract.IngestEvent(stage/done/total/chunks/error)
- mcp-go: rag.Ingest 加 onProgress + 分批向量化(10/批)逐批回报;kb_ingest 带 job_id
  把进度发到 sundynix.streams.<job_id> + CompleteStream
- gateway: 入库异步返回 job_id，后台 runIngest 发进度;GET /kb/ingest/:id/stream SSE
- frontend: streamIngest(EventSource);KbView 实时进度面板(阶段徽标+进度条+拆分列表)
- 验证: build✓+e2e PASS; 浏览器 12 行→6 阶段点亮+进度条 12/12+拆分 12 块逐条

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 10:33:36 +08:00
Blizzard 85a5c2c1e7 feat(rag): 混合检索融合 — Milvus 向量 + Bleve 全文 + RRF + DashScope rerank 
检索从向量单路升级为混合：向量(Milvus) + 全文(Bleve BM25) → RRF 融合 →
可选 rerank(DashScope gte-rerank)。

- rag/bleve.go: Bleve 全文索引(内存,随 ingest 写入;kb 过滤)；ingest 同步写 Milvus+Bleve
- rag/fuse.go: RRF(Reciprocal Rank Fusion, k=60, 按文本去重)融合多路排序
- rag/rerank.go: DashScope gte-rerank 客户端(可选,env 配置,失败降级 RRF)
- rag/rag.go: Search 改混合(向量+全文→RRF→可选rerank→topK)；main 读 RERANK_* env
- 验证: 全模块 build✓ + e2e PASS; live——入库写双索引；查'NATS'→全文精确命中#1+向量
  →RRF NATS 排首(向量=4 全文=1)；接 DashScope gte-rerank(百炼 key 有权限)→relevance
  score 0.19 真重排；retriever 节点端到端→DeepSeek 答 Milvus
- 边界: Neo4j 图路(GraphRAG,需实体抽取)推迟；Bleve 内存索引重启重建；rerank 走 env
  (TODO 同 embedding 搬控制面 kind=rerank)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 09:53:37 +08:00
Blizzard 3b54e59ecf feat: embedding 配置搬上控制面 — 数据源页可视化配置 + 热更新 
embedding 从 env 改为控制面驱动(持久化+可视化)，复用 chat 模型同套范式：
配置控制面泛化为按 kind(chat/embedding)，加 embedding kind。

- shared: 配置 subjects 泛化 sundynix.config.<kind>.get/.updated；bus 方法改 kind 参数
  (RequestConfig/ServeConfig/PublishConfigUpdated/SubscribeConfigUpdated)
- gateway: sundynix_model 加 kind 列(每 kind 唯一激活)+旧行回填 chat；admin 按 kind
  增删改/激活/列表，测试连接 embedding 走 POST /embeddings；main 按 kind ServeConfig；
  变更广播各 kind
- dispatcher: 取 chat 配置(kind 化)
- mcp-go: rag.Engine.SetEmbedding 热更新(RWMutex)；main 取/订阅 embedding 控制面配置
  (覆盖 env)
- admin 控制台: api 按 kind；抽出复用 ModelManager；ModelsPage(chat)+新 DatasourcesPage
  (embedding + 向量/图库占位)；routes 数据源页就绪
- 验证: 全模块 build✓ + e2e PASS + 控制台 npm build✓；live 全跑通——chat(DeepSeek 回填
  kind 仍工作)；mcp-go 不带 EMBED env 启动→控制台配 embedding(百炼)→测试连接✓→激活
  →NATS 热更新 mcp-go→入库+语义检索'存向量的数据库'→Milvus；浏览器数据源页拉到激活配置

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:25:54 +08:00
Blizzard 84d1a1dd3a feat: RAG 核心链 — embedding(provider) + Milvus 真连 + 入库/检索 
mcp-go 接通向量 RAG：embedding(OpenAI 兼容 provider 抽象) + Milvus 真实连接，
kb_ingest 入库、wiki_search 真检索。retriever 节点一行不改即从桩变真。

- mcp-go internal/rag: embed.go(OpenAI 兼容 /embeddings 客户端) + milvus.go(milvus-sdk-go
  真连，集合按首次 embedding 维度懒建+AUTOINDEX/COSINE索引+加载，insert/向量search) +
  rag.go(Engine: 切块→embed→insert / embed query→search；embedding 或 Milvus 缺则降级)
- mcp-go gateway: 新工具 kb_ingest，wiki_search 换真(RAG 向量检索，kb 过滤 topK)
- mcp-go main: rag.Open 读 MILVUS_ADDR/EMBED_BASE_URL/EMBED_API_KEY/EMBED_MODEL 环境变量
- gateway: POST /api/v1/kb/ingest → kb_ingest（供知识库页/脚本）
- scripts/mock_embeddings.py: 确定性词法向量(字+bigram 哈希)，无真 key 验证检索
- 开发期 embedding 接在线 API(无真 key 用 mock)，见 llm-provider-strategy
- 验证: 全模块 build✓ + e2e PASS; live——入库5条→Milvus；retriever 节点查'向量数据库'
  →召回 Milvus 那条→DeepSeek 答'Milvus'；查'知识图谱'→Neo4j（向量检索区分正确）

注: 当前向量单路；Bleve/Neo4j 融合 + rerank + 真实语义 embedding 为后续。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:07:36 +08:00