sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
332 Commits 5 Branches 0 Tags
bd829cfecb624adce1459d550f1bae42f8485d25
Commit Graph

54 Commits

Author SHA1 Message Date
Blizzard 7c8c723245 fix(admin): 诊断解析放错了函数 + 补 kb_search 形状测试 
上一个提交里，诊断解析被塞进了用户面的 KbSearch，而真正传 diag 的
AdminKbSearch 还在用老代码 —— 于是试验台永远拿不到 routes。写法上是
字符串替换只改了文件里第一处匹配，而这两个 handler 的收尾代码一模一样。
用户面已还原（它不传 diag，拿到的本就是裸数组，多一层解析是错的）。

补 3 组 mcp 层测试钉死 kb_search 的两种返回形状：
  - 不带 diag（生产调用：dispatcher / Agent 工具链）→ 裸 JSON 数组，契约不变；
  - 带 diag → {hits, routes} 对象；
  - not ready 时不被总闸短路，仍逐路诊断。
这层是"改可观测性顺手改坏生产"的高风险位置：diag 分支若无条件生效，所有
调用方的解析都会静默失败。

真环境验证（本地 gateway + mcp-go + 真 PG/Milvus/bleve）：
  vector    empty     该知识库在 Milvus 中没有向量（未入库或集合被重建过）
  fulltext  ok        15 命中
  graph     disabled  Neo4j 未连接或未配置
以前这三行都只是"0 条"。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-20 15:24:49 +08:00
Blizzard b26fe21408 fix(rag): 检索三路不再静默吞错 —— 逐路诊断 + 一路挂不拖垮全部 
排查"向量路为什么是空的"花了半小时，因为空就是空，没有任何线索。这次把
整条检索链上的静默降级一次清掉。

真 bug（不只是可观测性）：
  - kb_search 与 Search() 都拿 rag.Ready() 当总闸，而 Ready() 只代表"向量路
    可用"（embedding + Milvus）。全文(bleve)与图谱(Neo4j)根本不依赖它们，却
    被一并毙掉 → "模型配置没下发"表现为"整个知识库什么都搜不到"，还不报错。
    改为逐路判定，任一路可用就仍有召回。

不再吞错：
  - milvus.search 原先把 error 转成 nil,nil —— 检索失败与无召回彻底无法区分；
  - bleve.search / graph.search 出错直接回 nil，连日志都没有；
  - searchPaths 丢掉 embedding 的 error。
    三处改为如实返回，错误统一打日志。

逐路诊断（RouteDiag）：每路上报 ok/empty/disabled/error + 耗时 + 原因，经
kb_search 的 diag 参数（仅试验台传，生产调用返回值不变）→ gateway → 检索
试验台。界面上现在能直接看出"这一路没配置/报错了/确实没匹配"，不必翻日志。
内存兜底索引也会在 note 里点明"重启即清零"。

测试：3 组，覆盖"无 embedding 时全文仍可召回"、三种空的区分、内存索引提示。
把总闸加回去验证过第一条确实会红——测试能抓到这个回归，不是摆设。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-20 15:10:03 +08:00
Blizzard bfd0d74c34 feat(status): 全文索引降级上报到控制台 —— 让静默降级看得见 
上一个提交修的是"卷没挂"这个实例，这个提交修的是"它坏了几周没人发现"这个
类别问题：全文路退内存兜底后，混合检索只表现为召回变差，不报错、无告警。

- mcp-go: bleveStore 记录 persistent；health 工具多报一个 fulltext_disk。
  仍是 map[string]bool，gateway 现有反序列化不受影响（加非 bool 字段会让
  整个 health 解析失败，连带 Milvus/Neo4j 健康灯一起黑）。
- gateway: 基建灯新增「全文索引」一项，退内存时给出后果与排查方向，
  而不只是一盏灰灯。
- admin: 基建列表此前只渲染 name/up，detail 字段一直没露出——而降级原因
  恰恰只存在于 detail 里。补上渲染（离线态用琥珀色），并给「全文索引」
  补 INFRA_META（它不是独立服务，没有端口，落在容器卷上）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-20 13:44:48 +08:00
Blizzard c1420b5665 fix(rag): 全文索引在容器里根本没持久化 —— 补 /data 卷 + BLEVE_PATH 
排查「fulltext 路 0 命中」时发现的真问题，比原以为的分词器问题严重得多。

现状：mcp-go 容器**没有任何 volume**，也没设 BLEVE_PATH，于是索引落到相对
CWD 的 .data/bleve。而运行阶段没有 WORKDIR（CWD=/）、进程又是非 root(uid 10001)，
两种结局都糟：
  - 在 / 下建不了目录 → openBleve 静默退回内存索引，重启即清零；
  - 就算建得了，也只是写进容器可写层，每次发版重建容器一样清零。
更糟的是它不报错：混合检索少一路只表现为召回变差，看不出故障。

改动：
  - Dockerfile：建 /data 并 chown 给 app，WORKDIR 设为 /data；
  - 两份 compose：BLEVE_PATH=/data/bleve + 挂持久卷（132 那份此前连
    顶层 volumes 段都没有）；
  - .env.example：写清默认相对路径相对的是**启动目录**——本地从仓库根起
    和从 sundynix-mcp-go/ 起会写出两份互不相干的索引，排查时极易被坑。

附带澄清：中文分词本身没问题。直接开落盘索引验证过，mapping 里 text 字段
确实是 cjk，实测「星间链」命中 4 条、「海关监管」命中 104 条，BM25 打分正常。
a4852c3 那次修复是有效的，之前怀疑分词器的判断作废。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-20 13:40:31 +08:00
Blizzard 09ac03b758 perf(docker): 依赖下载全部换国内源(内网构建提速)
deploy-132 / deploy (push) Failing after 5m35s
Details 
go mod download 走默认 proxy.golang.org 内网极慢。四个 Dockerfile 统一换国内镜像:
- Go: GOPROXY=https://goproxy.cn,direct(三个 Go 服务)
- alpine: apk 源换 mirrors.aliyun.com(ca-certificates/tzdata)
- pip: mcp-py 换清华 pypi 源
- npm: gateway admin 已在用 npmmirror(此前已有)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-18 16:03:45 +08:00
Blizzard 2d14245086 fix(docker): 运行镜像 gcr.io/distroless → alpine(内网 runner 连不上 gcr.io)
deploy-132 / deploy (push) Has been cancelled
Details 
128 的 runner 能拉 docker.io 但连不上 gcr.io(dial 443 i/o timeout),distroless 拉不到。
三个 Go 服务运行 stage 换 alpine:3.20 + ca-certificates(TLS 连 LLM/MinIO)+ tzdata +
非 root 用户。二进制 CGO_ENABLED=0 全静态,alpine 上直接跑;本地已验证构建+启动正常。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-18 15:54:35 +08:00
Blizzard ec9431bfa4 fix(report): 报告源/产物落 MinIO,去掉 gateway↔mcp-go 本地盘耦合 
多机/容器化第一时间断裂的隐患(ARCHITECTURE_REVIEW §7 #1):此前报告
源(reportStore)与 .docx 产物(reportExport/reportRender)都写 mcp-go
本地 SUNDYNIX_REPORTS_DIR,gateway 再按同一路径 c.File 回流——mcp-go
与 gateway 不共享磁盘即断。

- blob 包从 gateway/internal 提到 sundynix-shared/blob,gateway 与 mcp-go
  共用同一 MinIO;新增 PutBytes/GetBytes 走二进制(.docx)。
- mcp-go 注入 blob:report 源/产物优先 Put 到对象存储(键 reports/<id>.{json,docx}),
  导出结果返回 minio://<key>;MinIO 未就绪回退本地盘(单机降级,getSource 兼容旧本地报告)。
- gateway ExportReport 识别 minio:// → GetBytes 流式下载,否则 c.File 本地降级。
- 测试:mcp 本地回落往返单测 + shared/blob 真 MinIO 二进制往返(BLOB_TEST_ENDPOINT 门控)。
  四模块 build 绿,受影响测试全过。
- 附带:go mod tidy 引入 genproto 拆包冲突,四模块统一钉单体 genproto 新版解决
  (注:勿 go work sync,会剪掉 indirect require 回落旧版重现冲突)。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-18 13:29:31 +08:00
Blizzard 7ae7f7be67 feat(memory): 记忆召回加 Relevance —— Generative Agents 打分补齐第三项 (P1) 
审计三真桩之一。记忆召回此前打分只有 Recency+Importance,缺 Relevance(对当前
任务的语义相关性)——注释写"待接 Milvus",但召回时甚至不知道当前问什么。

关键发现:dispatcher 注入点 fetchMemory(ctx,uid,_) 手上已有当前任务文本(b.query),
只是被 `_` 丢弃了。所以不是"接 Milvus"那么重,把 query 一路传下去 + 缓存嵌入即可。

设计(偏离注释的"接 Milvus"——用户偏好量小,不值当上向量库):
- Profile 加 embedding 列(float32 小端打包存 bytea);Upsert 时对 value 向量化缓存
  (value 没变不重算,失败留空不阻断)。
- memory 包定义 Embedder 小接口,gateway 注入 rag.Engine(复用同一控制面下发的
  embedding 模型),不硬依赖 rag 内部;rag.Engine 加导出 Embed 方法。
- memory_get 工具加可选 query 入参;fetchMemory 停止丢弃 b.query 传下去。
- Get(ctx,uid,query):query 非空且 embedder 就绪 → embed(query) 对每条缓存向量
  内存算余弦 → 三项打分 0.25R+0.35I+0.4Rel;否则回落两项(升级前行为)。
- 优雅降级贯穿:无 query/无 embedder/query 嵌入失败/行无向量 → 静默回落,绝不报错。
  零 Milvus 依赖、零向量库同步问题、保住"没 embedding 也能跑"。

验证:单测(编解码往返/cosine 截0/三项模式相关性翻转顺序/降级返 nil)+ 端到端
(真 PG:写入即向量化、query=咖啡把低重要度的咖啡记忆翻到运动前面)。migration
加列已 live;embedding 复用 RAG 已验证基建。三模块 build/vet/test 全绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-18 12:47:55 +08:00
Blizzard 53f7e172c3 fix: KB 级联删「事务化」—— 失败不再留不可删孤儿（T4.F） 
原为 best-effort：三库删失败只 log、MinIO 删错误全吞、PG 照删 → 删一半失败即在
向量/全文/图谱/MinIO 留下「PG 无记录、连 file_id 都查不到」的不可删孤儿。

改为「类事务」（跨库 2PC 不可行，退而求其次：不留不可恢复孤儿 + 失败可见可重试）：
- milvus.deleteByFile / bleve.deleteDoc / blob.Delete 改返回 error（原 void 吞错）
- rag.DeleteDoc 三库全试一遍（最大化清理）+ 聚合错误（原只回 Neo4j 的错）；三库删幂等
- gateway KbDeleteDoc 失败闭合：先删依赖存储(三库→MinIO)、PG 最后删；
  任一存储删失败 → 不删 PG、返 502「未删除请重试」（保留 file_id 供幂等重试）
- 语义翻转：从「总能从列表删掉但留孤儿」→「有孤儿风险就不删、报错可重试」

live：杀 mcp-go→删→502+文档保留；mcp-go 活→删→200+清空（清场僵尸进程后验证）

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-06 16:32:25 +08:00
Blizzard 6095bc71d2 refactor(mcp-go): 拆除 search.Hybrid 残骸（T4.F） 
- search.Hybrid 空转(NewHybrid 返空、Query 返 nil TODO)、构造后存进 Gateway
  却从不被调用（真实 RAG 走 rag.Engine）→ 纯误导性死重量
- 删 internal/search 包 + gateway.go 字段/构造参数 + main.go 接线
- build/vet 干净；wiki_search 不受影响（本就用 g.rag）

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-02 13:39:14 +08:00
Blizzard 5736ad145e feat(prompts): v2 DB 控制面热切换 —— 版本留存 + 不重启即生效 
在 v1(注册表+文件覆盖)上加 DB 管理层与热切换，镜像 model-config 控制面：
- store: sundynix_prompt 表(key/version/content/active) + ActivePrompts/ListPrompts/
  CreateVersion/Activate/Deactivate
- 控制面: ServePrompts/RequestActivePrompts(+Retry)/PublishPromptsUpdated/SubscribePromptsUpdated；
  prompts.ApplyOverrides 整体替换覆盖集(DB 激活集为权威)
- gateway API: GET/POST /api/v1/prompts、version/activate/deactivate；激活/撤销即广播
- dispatcher/mcp-go: 启动拉激活集 + 订阅热更新(不重启)
- live: 建版本→激活→mcp-go 图谱抽取 2→0→回滚 2(全程不重启)；deactivate 回退代码默认；版本可回溯

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-30 14:59:52 +08:00
Blizzard 9a3a816c80 feat(prompts): prompt 版本化地基 —— 注册表 + 运行期文件覆盖 
把散落各服务的硬编码 system prompt 收口为受管注册表，不重编译即可改/回滚/对比：
- shared/prompts：内置默认(随代码) + 运行期覆盖(PROMPTS_FILE) + Get/Keys，并发安全，含单测
- 接入 9 处：mcp-go(graph.extract)；dispatcher(eval.quality/eval.refine/guard.jailbreak/
  coordinator.lead/memory.extract，按引用登记默认、无文本重复)
- main 启动调 LoadFile 加载 PROMPTS_FILE 覆盖
- live A/B：覆盖 graph.extract → 图谱抽取 2 条→0 条、向量仍正常（覆盖生效、管道未坏）
- v2(DB 控制面热切换 + 灰度)留后续

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-30 14:36:04 +08:00
Blizzard a17e25b6ba feat(rag): 检索质量评测 —— 单路检索能力 + recall@k/MRR 评测台 
- 引擎抽 searchPaths(三路召回) + SearchByMode(vector/fulltext/graph/hybrid，
  纯检索不 rerank，公平对比)；kb_search 加 mode 参数(空=生产含rerank)，
  gateway KbSearch 透传 mode
- scripts/rageval.py：标注语料+查询 → 四模式 recall@k/MRR 对比表（可复用）
- live 量化：纯语义改写让全文0.88/图谱0.75 漏召回，混合 1.00 兜回，
  混合=各路上界的稳健组合

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-30 13:56:39 +08:00
Blizzard 79e834e8e9 feat(rag): 大文件 RAG 做深 —— 并发入库/图谱窗口化 + Bleve落盘 + file_id治理 
几十万字文件从"广而浅"到准生产级：
- 向量化串行→并发分批保序(embedAll)；几十万字上千块快数倍
- 图谱整篇喂LLM(爆上下文只抽开头)→窗口化并发抽(extractGraphWindowed)，
  全覆盖；窗口/封顶/并发 env 可配；图谱可单配便宜模型(GRAPH_CHAT_*，未配回退主chat)
- Bleve 内存索引(重启即丢、三路退两路)→落盘 scorch(env BLEVE_PATH，失败退内存兜底)
- 下游键改稳定 file_id：Neo4j 关系打 file_id(实体仍 kb+name 共享)；
  新增 kb_delete 工具 + Engine.DeleteDoc 级联删 Milvus/Bleve/Neo4j
- 单测：窗口化/去重/env可配/落盘持久/图谱模型回退

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-30 13:37:45 +08:00
Blizzard a4852c3aef fix(rag): T2.2 把"三路混合"做实 —— 中文全文/图谱两路从 0 贡献修活 
基建拉起后实测发现"三路混合检索"对中文其实只有向量路在干活：
`hybrid: 向量=1 全文=0 图谱=0` —— 全文、图谱两路恒 0 贡献（典型"广而浅"）。两个真因：

1. Bleve 全文：默认标准分词器不切中文 → 整段当一个 token → 中文查询永远 0 命中。
   修：text 字段用 cjk 分词器（bigram），kb/doc 用 keyword（保 TermQuery 精确过滤）。
2. 图谱检索：`$q CONTAINS a.name` 要求实体名是查询子串，而 LLM 把实体抽成"星云一号卫星"
   （带后缀），查询说"星云一号"→ CONTAINS 失败 → 0 命中。
   修：加查询字符 n-gram（2..8）双向子串匹配，`星云一号` 即可命中 `星云一号卫星`。

live 验证（同一查询）：修复前 `向量=1 全文=0 图谱=0` → 修复后 `向量=1 全文=1 图谱=9`，
三路全贡献。中文混合检索从 1/3 变真 3/3。
测试：Bleve 中文检索命中 + queryNgrams 子串/长度边界（CI 安全，无需基建）。

DEPTH_ROADMAP T2.2：三路做实✅；检索质量度量(离线评测集 recall@k/MRR)待补。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-30 10:00:25 +08:00
Blizzard a5fd251fc0 feat(deploy): 容器化 + 一键独立部署 —— 5 服务镜像 + prod compose + 安装/备份/许可 
此前应用服务只是本机裸二进制、无 Dockerfile、无法交付。本提交把项目从"只能在我笔记本
跑"变成"任何人一条命令起一整套"，是「演示 / 拉投资 / 卖给客户独立部署」的可交付基础。

- Dockerfile ×5：gateway/dispatcher/mcp-go 多阶段(distroless static, 36–55MB)；
  mcp-py(python-slim, 268MB)；admin(node 构建→nginx 托管 SPA + 反代 /api，76MB)。
  Go 构建上下文为仓库根以兜住 replace ../sundynix-shared；.dockerignore 瘦上下文。
- docker-compose.prod.yml：应用 + 基建一把起；经服务名互连（顺带避开 localhost DNS 坑）；
  基建端口不对宿主暴露；depends_on 健康检查保序（mcp-go 待 Milvus healthy）；
  APP_ENV=production 强制密钥校验 + 锁 CORS + 管理员白名单。
- .env.example + DEPLOY.md：两类密钥分层（引导密钥走 .env，模型 key 控制台加密存库）；
  首次管理员流程；安全建议。LICENSE 专有（授权模型可后定）。
- scripts/backup.sh + restore.sh：PG 逻辑备份 + 各数据卷快照 / 恢复。
- .gitignore 挡 .env*（密钥不入库）。

live：5 镜像全构建通过；独立 project 起整套 → nginx→gateway→NATS→dispatcher→mcp 全链路
注册+提任务 running→done，depends_on 保序生效。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 15:23:36 +08:00
Blizzard 2e3cb8105d fix(store): PG DSN 默认用 127.0.0.1 免每连接 DNS 解析；订正压测报告 C=256 归因 
DSN 由 localhost 改 127.0.0.1（gateway + mcp-go）：pgx 每新建连接解析一次主机名，
高并发连接池扩容时省掉这层 DNS 开销与一类失败模式。

诚实订正：复测发现 DSN 改完 C=256 仍 0 完成（错误从 lookup localhost 变 dial 127.0.0.1 canceled）。
故 C=256 的「停摆」根因不是 DNS，而是单节点在 256 并发下整体饱和（任务排队 + 每任务 3 次 PG
状态写 + 网关 handler 顶不住），属单节点容量上限、非 bug；C≤128 优雅可用，正解是横向扩。
LOAD_TEST_REPORT §4.3/§6 与 project_analysis 容量实测已据实更新。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 12:49:35 +08:00
Blizzard 05c25d7099 feat(ops): 优雅停机 drain —— 三 Go 服务 SIGTERM 后排空在途，不硬切 
滚动更新/重启时旧的"信号到→进程退"会硬切在途工作：dispatcher 在途任务被掐断、
mcp-go 在途工具调用让 dispatcher 干等超时、gateway 在途 HTTP 请求被截断。

共享 bus 加在途追踪 + drain：
- ConsumeTasks/ServeTool 各加 sync.WaitGroup 跟踪在途 goroutine，返回 drain(ctx)：
  先停止接新活（cc.Stop / Unsubscribe），再等在途跑完至 drain 超时。
- 关键修复：任务 handler 的 ctx 改为派生自 context.Background()（而非信号 ctx），
  否则 SIGTERM 会立即取消在途任务的 ctx，drain 形同虚设。超时未跑完才由 JetStream
  AckWait 重投兜底（不丢任务）。
- DrainTimeout()：SHUTDOWN_DRAIN_TIMEOUT 秒，默认 30s。

各服务收尾：
- gateway：r.Run → http.Server + signal.NotifyContext + srv.Shutdown(drain 在途请求)，
  随后 defer 关 db/redis/bus（HTTP 排空后才断后端连接）。
- dispatcher：收到信号 → drain 在途任务跑完再退。
- mcp-go：收到信号 → drain 在途工具调用回完再退（dispatcher 拿到结果而非超时）。

bus 加 TestGracefulDrain（drain 等满在途任务 + 验证在途 ctx 不被取消），e2e 测试适配
新签名，四模块全绿。live：在途任务执行中 kill -TERM dispatcher → 日志「drain 在途任务」
→ 11s 后 task done(511字完整生成) → 「drain 完成，退出」，任务终态 done 非 failed；
gateway/mcp-go 同样优雅退出。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 10:29:23 +08:00
Blizzard 592b2a3d97 feat(tools): chart 图表工具 —— 工具产出 JSON spec，前端 SVG 渲染（职责分离） 
按「工具只产数据、渲染交前端」设计：
- 后端 chart 工具（mcp-go）：校验并返回规范化图表 JSON（type=bar/line/pie + labels + series，
  校验类型/长度一致/pie 取首系列）。工具说明指示 agent 用 ```chart 围栏原样包裹返回的 JSON。
- 前端：lib/chartspec.ts 从输出抽取 ```chart 块（解析失败回退为文本不丢内容）；
  components/ChartView.tsx 自绘 SVG 柱/线/饼图（无第三方图表依赖）；
  BottomDrawer 输出区含图表块时分段渲染（文本 + SVG），否则纯文本。

测试：前端 chartspec 单测 12 例（isChartSpec 校验、分段抽取、非法块回退、多块、hasChart）；
tsc 干净，vitest 48 过。live 自主 agent：chart 工具产出 {"type":"bar",...}，
agent 正确用 ```chart 围栏嵌入答复，前端据此渲染。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 17:24:41 +08:00
Blizzard ca38dcd0c9 feat(tools): 新增 sql_query 只读 SQL 查询工具（agent 可见） 
agent 可对数据库执行只读查询。三重防护：
- 静态校验：仅单条 SELECT/WITH，词边界拒 insert/update/delete/drop/alter/create/
  truncate/grant 等写/DDL 关键字（不误伤 created_at 之类列名）。
- 只读事务（sql.TxOptions{ReadOnly:true}）：Postgres 引擎级强制只读，硬兜底。
- 行数(100)+超时(10s)+单元格(200 rune)上限。
连接：SQL_QUERY_DSN 优先（生产应指向专用只读库/账号），未设回退服务已解析的平台 PG DSN
（经 NewGateway 传入 g.pgDSN，不再裸读 env）。独立小连接池(8)。

测试：单测 validateReadOnlySQL（放行 SELECT/WITH/列名含 created；拒写/DDL/多语句）。
live 自主 agent 实测：查 sundynix_task=157 行、sundynix_model=2 行。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 17:07:34 +08:00
Blizzard e503965a83 feat(tools): 新增 4 个 agent 工具 —— web_search / web_fetch / calculator / current_datetime 
均在 mcp-go，注册即 agent 可见（dispatcher 经 list_tools 动态发现，零改调度代码）：

- web_search 联网搜索：Tavily（有 TAVILY_API_KEY 则用，干净 JSON）/ DuckDuckGo HTML（免 key 兜底）。
- web_fetch 网页抓取：取 URL → 去脚本样式 → 去标签 → 解实体 → 收敛空白，限 8000 rune；
  复用 external_api 的 SSRF 防护（拒环回/内网/元数据 + 重定向校验）。
- calculator 计算器：自研调度场算法求值（+ - * / % ^ 括号、一元负号），杜绝任意代码执行。
- current_datetime 当前时间：含星期与时区（可传 tz）。

测试：单测覆盖 evalArith（含右结合/一元负号/错误用例）、htmlToText（剔脚本样式+解实体）、
ddgUnwrap。live 自主 agent 实测：calculator (123+456)*7→4053、current_datetime 周三、
web_fetch example.com→200、web_search DDG 返回真实结果，全部端到端通过。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 16:47:15 +08:00
Blizzard 700845d64a feat(prod): DB 连接池上限 + LLM 失败暴露为 failed（生产级并发收尾） 
为高并发生产做的三项收尾（配合已有的任务/工具并发消费）：

1. DB 连接池上限（pgsql.go / memory/store.go）：SetMaxOpenConns（默认 25，
   DB_MAX_OPEN_CONNS 可调）+ MaxIdleConns 5 + ConnMaxLifetime 1h。
   防高并发无限开连接打爆 PG（max_connections 默认 100）。
2. LLM 失败暴露为 failed（graph.go）：board.fatalErr —— agent 模型调用出错即上抛，
   runGraph 中止后续节点并返回错误 → Handle 判 failed（带原因），不再静默 done-空。
   可观测/可告警，生产排障必需。

压测验证（dispatcher 并发=50, 池=25, deepseek-v4-pro 推理）：
- 平台同一秒并发收下 40 任务，全程零 DB/连接错误，平台开销≈0（裸 LLM 1.8s vs 平台 P50 1.7s）。
- 并发 10 健康 4.7/s；20+ 延迟暴涨 = DeepSeek 开发账号并发限流（外部），非平台。
- 失败注入（错误模型名）→ 任务正确判 failed 并回传原因。

结论：平台并发机制达生产级；真实吞吐上限 = 自托管模型容量（生产 Qwen，可加卡线性扩）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 16:14:19 +08:00
Blizzard 1d23bdf0a3 feat(rag): Markdown 标题感知切块（块带章节面包屑、不跨章节、跳过代码围栏） 
chunk() 分流：检测到 ATX 标题（#~######）走 chunkMarkdown，否则走原纯语义
切块（packSection）——纯文本行为不变，向后兼容。

- splitMarkdownSections：按标题层级切段，维护标题栈生成面包屑路径
  （如「部署指南 > 环境要求 > 端口」）；块绝不跨章节边界。
- 正确跳过代码围栏（``` / ~~~）内的 #，避免 #define、bash 注释被误判为标题。
- 每块前缀完整标题路径 → 检索到的块自带章节语境，提升命中质量与 LLM 理解。
- 节内仍复用原语义打包（句界收口）+ 块间重叠，rune 安全不变。

测试 12/12（7 原有 + 5 新）：面包屑、不跨章节、层级出栈重置、代码围栏忽略、
纯文本与语义切块一致。实测 ingest 一篇 Markdown 切出正确三级面包屑，
kb_search「Gateway 监听哪个端口」top 命中即带面包屑的块。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 12:49:41 +08:00
Blizzard 218fba559c feat(observability): slog 日志带 trace_id，与链路双向互跳 
新增 sundynix-shared/otelx/slog.go：traceHandler 包装 slog.Handler，凡 ctx 有
活跃 span 的 slog.InfoContext(ctx,...) 自动注入 trace_id/span_id；SetupSlog(服务名)
装全局 JSON slog（service 标签 + LOG_LEVEL 控级）并设默认；TraceID(ctx) 辅助取 hex。

- 三个服务 main 启动调 otelx.SetupSlog。
- gateway 访问日志 Observe() 改用 slog.InfoContext(c.Request.Context(),...)（删旧
  accessLogger）→ 每条 HTTP 日志带 trace_id。
- dispatcher orchestrator.Handle 的 received/done/error 改 ctx-aware slog → 任务
  执行日志带 trace_id。
- otelx 单测 5 例（注入/无 span 不注入/With() 后仍生效/级别解析）。
- production_readiness.md 1.1：可观测性三件套（metrics+logs带trace_id+traces）闭环。

验证：dispatcher「task done」日志 trace_id 拿去 Jaeger /api/traces/<id> 命中同一条
11 span/3 服务链路；gateway 访问日志亦带同一 trace_id。四模块 build+vet+test 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 12:41:33 +08:00
Blizzard a2d184b7ec feat(observability): OpenTelemetry 全链路追踪（Jaeger + NATS 跨总线传播） 
新增 sundynix-shared/otelx：otelx.Init(ctx,服务名) 注册 W3C 传播器 + OTLP/HTTP
批量导出（默认 localhost:4318，docker 里的 Jaeger）；OTEL_SDK_DISABLED=true 关导出。
Jaeger 不在线 / 导出器构建失败都不阻断启动（可观测性是增益而非依赖）。

- NATS 跨进程传播（无现成中间件）：bus/trace.go 的 natsHeaderCarrier + inject/extract，
  PublishTask/CallTool 注入 traceparent，ConsumeTasks/ServeTool 抽出续上 → 链路跨总线连成一棵树。
- 埋点：gateway 挂 otelgin（HTTP server span，链路根）；dispatcher task.execute →
  node.<kind>（每节点，nctx 下传使工具/LLM 挂到节点下）→ llm.stream/llm.generate；
  bus 自动出 tool.call(client)↔tool.serve(server) 成对跨服务 span。
- docker-compose 加 jaeger all-in-one（UI :16686，OTLP :4318）。
- 依赖修复：otlptracehttp 触发 genproto 单体(旧)vs 拆分模块 ambiguous import（milvus 拉旧版），
  pin genproto 至后拆分版（go.work 工作区全局生效）。
- production_readiness.md 1.1 更新为「已实现」。

验证：真实 input→retriever→agent 任务在 Jaeger 出 14 span / 3 服务的完整树，
跨 NATS（publish→consume）、跨服务（tool.call→tool.serve）均连通，
瓶颈 kb_search 692ms、llm 1597ms 一眼可见；四模块 build+vet+test 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 11:35:08 +08:00
Blizzard 46ef3df221 feat(security): LLM api_key 端到端加密（AES-256-GCM，磁盘+线缆均密文） 
新增 sundynix-shared/secrets：AES-256-GCM，密钥由 SUNDYNIX_SECRET_KEY 经
SHA-256 派生；密文带 enc:1: 版本前缀，历史明文行自动透传（下次保存升级为密文）。

- 网关 SaveModel 加密落库；ListModels/TestModel 解密后脱敏/探测；
  空或脱敏占位的 api_key 视为「未改」→ 沿用库内既有密文（不二次加密）。
- 密文经 NATS 原样下发；消费方解密集中在 bus 层 decryptConfig
  （RequestConfig + SubscribeConfigUpdated）→ dispatcher/mcp-go 零改动。
- secrets.MustHaveKeyInProd()：生产未设 SUNDYNIX_SECRET_KEY 直接 fatal，
  gateway/dispatcher/mcp-go 启动各调一次（三服务须配相同密钥）。
- 修复 store.SaveModel 整行 Save 把 active 清零的旧 bug：改 Select(...).Updates
  只覆盖可编辑列，改 key 不再顺手取消模型激活。
- secrets 单测：往返/空串/随机 nonce/错密钥 fail-closed/历史明文透传。
- production_readiness.md 2.1 更新为「已落地」。

验证：DB 列由明文 sk-…(35) → 密文 enc:1:…(90)；dispatcher 从密文广播解密后
model config set；真实任务 √256→16、12×12→144 打通 DeepSeek（非降级桩）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 10:36:34 +08:00
Blizzard 5cfed55e91 fix(dispatcher,mcp-go): 配置拉取改为后台重试，根治启动竞态 
此前 dispatcher(chat)/mcp-go(embedding) 启动时一次性请求控制面配置，3s 扑空即
降级，且只能干等热更新广播——若消费方早于 gateway 启动，会全程降级（LLM 跑桩、
RAG 无向量），必须手动重启才恢复。

改为：先订阅热更新，再后台 RequestConfigWithRetry（重试至拿到配置，容忍 gateway
晚启）。新增 shared/bus.RequestConfigWithRetry + dispatcher Subscriber 包装。

验收：故意先起 dispatcher/mcp-go、后起 gateway，二者自动重试拿到 chat/embedding
配置，无需手动重启；make test-go 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 09:57:06 +08:00
Blizzard ddc2265c5b feat(mcp-go): RAG 语义切块 —— 递归 + 句界 + 重叠 + rune 安全 
替换朴素切块（按行切 + 字节硬截）为工业级语义切块：
- 修真 bug：旧版 s[:2000] 按字节切，中文 UTF-8（3 字节/字）会被切碎成乱码；
  新版全程按 rune 操作。
- 算法：splitToAtoms（换行/中英句末标点切原子，超大无标点原子按 rune 窗口兜底）
  → packAtoms（贪心打包到 target=500 字、句末收口，尾块 <100 字并入相邻）
  → addOverlap（块间 80 字重叠，保跨块上下文）。硬上限 1000。
- chunk.go 独立成文件 + chunk_test.go（空/短/rune安全/大小上界/句界/重叠/超大无标点）。

收益：检索片段语义完整（不再断句）、中文不乱码、跨块上下文不丢 → RAG 召回质量。
make test-go 全绿。后续可加 Markdown 标题路径前缀（结构化文档增强）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 15:21:17 +08:00
Blizzard 7388f2741d feat(mcp-go,dispatcher): 自主 agent 工具集动态化 —— list_tools 自描述 + 动态发现 
杜绝硬编码：自主 agent 的工具菜单不再写死在 dispatcher，而是从 mcp-go
注册表（单一事实源）动态发现。加工具只改 mcp-go 一处，dispatcher 零改动。

- mcp-go：toolDef 增 agent/agentName/params/inject 元信息（paramSpec 声明
  模型可填参数；inject 声明服务端注入、不暴露给模型的参数如 user_id）；
  list_tools 上报这些。当前标 agent 的 4 个：wiki_search / recall_user_memory
  / remember_user_fact / history_get。
- dispatcher：agentTools() 改为调 list_tools → 取 agent_exposed → 按上报的
  params 建 schema.ToolInfo → 生成 mcpTool；inject 参数（user_id/session_id/
  kb/task_id）运行时绑定。删除硬编码的 2 个工具。

验收：实测自主 agent 调用新暴露的 remember_user_fact（memory_upsert）成功——
参数由模型按 schema 自生成（key/value），user_id 服务端注入（map 带 task_id
佐证）；make test-go 全绿；管理端状态面板兼容（忽略多余 JSON 字段）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 14:29:20 +08:00
Blizzard 763646d5c5 chore(dispatcher): 升级 eino v0.9.5 → v0.9.9 + 全面采纳迁移方案 
- dispatcher 升级 cloudwego/eino 到 v0.9.9（go work sync 同步各模块
  transitive 依赖，如 golang.org/x/term v0.44.0）；编译 + eino 链路测试通过
- 新增 EINO_ADOPTION.md：从"只借类型"演进为 Eino-native 编排核心的分阶段
  方案（A 地基 ChatModel 组件 → B ADK 函数调用 → C compose 编排归一 →
  D 状态化执行：任务生命周期 FSM / HITL 中断恢复 / 多智能体）

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 16:38:24 +08:00
Blizzard 8bcb90cdb2 feat(admin): 服务状态面板（基建/服务探活 + MCP 工具注册）+ mcp-go 工具注册表 
管理端新增「运维 › 服务状态」：总览横幅 + 摘要数字 + 请求链路拓扑
（客户端→网关→NATS→调度→MCP，按健康三态着色）+ 应用服务卡（含探针
延迟）+ 基建磁贴 + MCP 工具按能力域分组（中文名/作用）。

探活机制（全走 NATS，无 HTTP）：
- mcp-go/mcp-py 新增 list_tools 自省工具，能应答=在线 + 上报工具清单
- dispatcher 无端点 → 新增 NATS 心跳主题 sundynix.health.dispatcher
  （ServeHealth 应答 model/ready/uptime），网关用 bus.Ping 探
- 网关 GET /api/v1/admin/status 并发聚合四探针 + 各项延迟

mcp-go 重构：switch → map 注册表（buildRegistry），dispatch 与 list_tools
共用单一事实源，杜绝漂移；每个工具带中文名 + 作用描述。mcp-py 同样补元信息。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 16:38:10 +08:00
Blizzard 0edfc948ba feat(memory): P2 读路径打分 + 桌面端记忆面板（看/改/删） 
读路径（Generative Agents 公式的 Recency+Importance 两项，Relevance 待 P3）：
- memory.Get 改为 rankProfiles：Score=0.4·Recency+0.6·Importance，按分降序、截断 top-30。
  Recency=0.98^天 指数衰减；未评分行用兜底 importance=5（不被不公平遗忘）。纯函数 + 单测。
- 新增 Store.List（结构化、不截断）+ memory_list 工具。

桌面端记忆面板：
- gateway GET /memory(列表) + DELETE /memory?key=(软删)，受保护组。
- api listMemory/deleteMemory；MemoryView 右侧从占位 → 真列表：按分排序展示
  key/value/重要度/最近时间，可内联编辑(PUT)与删除(软删)；左侧登记后自动刷新。

实测：PUT 两条 → GET 返回带 importance/last_seen 的有序列表（较新者靠前）→ DELETE 一条
（软删）→ 再 GET 已消失。rank/recency/兜底 importance 单测过；前端 tsc+构建通过。

至此记忆：召回(打分) + 历史 + 自动对账(P1) + 用户可管控(面板) 闭环。Relevance(Milvus) 留 P3。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-22 14:48:11 +08:00
Blizzard 1674252d81 feat(memory): P1 长期记忆升级 —— 异步攒批 Consolidate + 软删 + importance/last_seen 
把"逐轮盲写抽取"升级为 Mem0 式对账（方案见 memory_industry_analysis.md 落地节）：

mcp-go：
- Profile 加 Importance(1~10, poignancy) + LastSeenAt（为 Generative Agents 读路径
  Score=w1·Relevance+w2·Recency+w3·Importance 铺路）。
- Upsert 收 importance + 每次置 last_seen（印证）；新增 Delete（软删，BaseModel.DeletedAt
  已具备，失效不物删可审计）+ Touch；memory_upsert 透传 importance、新增 memory_delete 工具。

dispatcher：
- extractMemory → consolidateMemory：一次 LLM 调用同时做 抽取+对账，输出
  [{op:ADD|UPDATE|DELETE|NOOP,key,value,importance}]；ADD/UPDATE→upsert、DELETE→软删；
  sanitizeOps 防幻删(DELETE 须命中已有)/夹 importance[1,10]/同key保末个/丢 NOOP。
- 攒批：每 3 轮（per-session 计数）才 consolidate 一次，省成本，对齐 ChatGPT 周期整理。
  从根上解决 exact-key 盲写的记忆腐烂。

验证：parseOps/sanitizeOps/parseProfile 纯逻辑单测；store 集成测试(真 PG)覆盖
importance/last_seen 写入 + 软删(live 0 / 物理 1)；dispatcher -race 全过。
（注：完整多轮 LLM consolidate 未做实跑，属构造性验证 + 沿用已证 pool.Chat 模式。）

P2 待做：读路径按 Score(Recency+Importance) 排序/衰减/截断 + 桌面端记忆面板。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-22 14:27:16 +08:00
Blizzard aa3139da68 feat(mcp-go): external_api 通用出站 HTTP 工具（带 SSRF 防护） 
新增 external_api 工具（GET/POST）：agent 图可调外部 API。安全为先：
- SSRF 防护 validateExternalURL/isBlockedIP：scheme 限 http/https；拒环回/内网
  /链路本地(含 169.254.169.254 云元数据)/未指定 IP；重定向同样校验、限 3 跳。
- 可选 EXTERNAL_API_ALLOWLIST（逗号分隔主机，支持子域）收窄到白名单。
- 超时 10s + 响应体限 256KB。
- 校验逻辑纯函数，单测覆盖（内网/元数据/scheme/白名单，字面量 IP 离线判定）。

注册进 mcp-go dispatch（external_api → externalAPI）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 11:58:45 +08:00
Blizzard 79f9912615 refactor(mcp-go): Profile 套雪花id+软删规约，补集成测试（还清 DB 规约欠债） 
项目级 DB 规约（雪花字符串 id + created_at/updated_at + 软删索引）此前只在网关落地，
mcp-go 的 sundynix_user_profile(Profile) 仍是旧复合主键 (user_id,key)、无 id/时间戳——
本次对齐，全库统一。

- 新增 BaseModel + NewID（snowflake node=2，与网关 node=1 区分，避免共享 PG 中 id 冲突）。
- Profile 嵌 BaseModel：雪花 id 主键 + (user_id,key) 唯一索引。
- Upsert 改 OnConflict((user_id,key))，冲突覆盖 value 且保留原 id/created_at。
- 一次性迁移 migrateLegacyProfile：检测旧表（无 id 列）→ 备份偏好 → drop → 按新规约重建 → 回灌。
- 加 mcp-go 首个集成测试（store_test.go，gated on MEMORY_TEST_DSN）：
  · TestBaseModelID 纯单测（id 非空/不重/BeforeCreate 补id不覆盖）；
  · Integration：迁移后字段齐全 + Upsert 同键覆盖不新增 + id 稳定 + Get 渲染；
  · LegacyMigration：旧复合主键表 + 1 条偏好 → 迁移后 id 列存在、数据保留补新 id。

实测（docker postgres）：三测全过，迁移日志确认旧偏好回灌保留 ✓。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 14:56:16 +08:00
Blizzard 9b0520e020 test(backend): 编排引擎/DSL/docx/报告导出 首批 Go 单测（19 用例，纯逻辑无依赖） 
补齐核心后端逻辑的自动化测试，全部纯函数级、不依赖 docker/NATS/LLM，毫秒级跑完，
把"手动起全栈 curl 验证"变成 `go test`：

- dispatcher/internal/eino (graph_test.go)
  evalCondition(各运算符+refs/tools/answer/profile 关键字+兜底)、resolveOperand、
  aggregate(拼接/去重合并/默认/全空)、branchNode(真假边标签精确选路 + 无标签退回边序 +
  单边剪枝)、cstr/cbool/countLines/labelOf/targetsOf。
- dispatcher/internal/dsl (compile_test.go)
  Topo(线性序 + 有环不丢节点)、Compile(system/query/tools 抽取 + 无输入兜底 + 空图用原文)、
  ToolBinding(tool/retriever/非工具)、Parse(合法/非法)。
- mcp-go/internal/office (unioffice_test.go)
  RenderReport 产物为合法 docx(zip 三部件 + 标题/章节文本 + XML 转义)、escapeXML。
- mcp-go/internal/mcp (report_test.go)
  reportMarkdown(标题+多章 / 无标题)。
- gateway/internal/dsl (parser_test.go)
  ParseAndAssemble(task_ 前缀 + Graph 透传 + Meta 初始化 + 空/非法报错)。

`go test ./...` 各模块全绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 14:13:13 +08:00
Blizzard 1dd6b0cce3 feat(report): 生成只出 Markdown 预览，导出时再渲染 Word/PDF/Markdown 
把"渲染"从生成阶段解耦到导出阶段（导出时再处理）：
- 生成阶段：报告正文按 Markdown 流式预览（前端 <Markdown> 已渲染），
  dispatcher 不再 eager 渲染 docx，改为经 mcp-go report_store 落盘报告源(title+sections JSON)。
- 导出阶段（按需现渲染）：
  - GET /reports/:id/export?format=docx → mcp-go report_export 读源渲染 .docx；
  - ?format=md → 返回 Markdown 文本；
  - PDF → 前端把已渲染的 Markdown 送进打印视图出 PDF（CJK 零字体依赖）。
- 旧 /reports/:id/download 兼容保留（默认 docx）。

改动：
- contract: ReportSourcePath(id) = <id>.json。
- mcp-go: 新增 report_store / report_export 工具（report_render 保留给 Studio render 节点）。
- dispatcher: handleReport 末尾 renderReport → storeReport。
- gateway: DownloadReport → ExportReport（经 NATS 调 report_export）。
- 前端: ReportView 单个「Word」→「导出」组 Word/PDF/Markdown；
  desktop.printReportHtml 客户端打印；api.reportExportUrl。

实测（docker 全栈 + mcp-go + gateway + dispatcher + DeepSeek 真跑）：
- 真实生成「绿茶的功效」18s 完成，report_store 落源(5章, 6280B) ✓
- export md 返回正确 Markdown(# 标题/## 小节/正文) ✓
- export docx 为合法「Microsoft Word 2007+」(含 document.xml/Content_Types) ✓
- 前端 tsc 干净 + 生产构建通过 ✓
（注：发现并修复一处环境问题——mcp-go 启动时若 Milvus 未起会阻塞在
 rag 初始化、永不订阅工具，导致所有 mcp-go 工具"no responders"；起全栈后正常。
 报告生成在累积大量未完成 DeepSeek 流连接时会偶发卡顿，干净进程下正常。
 前端导出按钮的实时点击因 React 受控输入自动化限制未在预览中走通，非代码缺陷。）

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 14:04:06 +08:00
Blizzard 10ac5a5277 feat(kb): 笔记可编辑（按 doc 替换重索引）+ 笔记关系图（[[双链]]） 
Obsidian 化继续：笔记能编辑/新建，文档间 [[双链]] 连成可点关系图。

按 doc 重索引（编辑不重复累积）：
- Milvus 加 doc 字段（旧 schema 自动重建）；insert 带 doc；deleteDoc(kb,doc) 重入库前清旧块。
- Bleve 索引 id 含 doc + deleteDoc 按 kb+doc 清旧块。
- rag.Ingest(kb, doc, text)：写入前按 doc 删旧块再写（Neo4j MERGE 仍幂等，附加式）。
- kb_ingest 工具加 doc 参数；gateway runIngest 把 doc 透传，forceDoc 支持编辑保持笔记名稳定。

编辑/新建：
- gateway POST /kb/note {kb,name,content}：落库 + 以 name 为 doc 重入库（替换旧块，搜索/图谱同步）。
- 前端 VaultPanel：阅读/编辑切换（textarea 预填原文，保存调 saveNote）、新建笔记、乐观更新。

笔记关系图：
- GraphView 加 onNode（节点可点）；VaultPanel 阅读/关系图切换，关系图 = 文档间 [[双链]] 三元组
  力导向（点节点跳转该笔记）。

验证：curl 编辑 笔记B → 检索只返编辑后内容（旧块已清，不重复）。Preview：关系图渲染
笔记B—链接→项目A概述/模块X 且节点可点；编辑器预填原文可改可存。tsc+vite+后端 build 通过；重建 .app。

注：Milvus 加 doc 字段会触发集合重建（旧向量丢，文库原文在 PG 可重灌）；Neo4j 图谱按附加式合并，
编辑删除的实体不会自动消失（图谱倾向增长）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 15:22:03 +08:00
Blizzard 72e008bfe8 feat(kb): 入库可视化做厚 —— 文件解析/知识抽取过程 + 力导向知识图谱 
把"进度条"升级成可观测的入库工作台，回应三点诉求：解析过程、知识抽取过程、丰富图谱。

- contract: IngestEvent 加 Preview（解析文本预览）+ Triples[]TripleView（抽出的三元组）。
- 后端回流：rag.Ingest 抽实体阶段把 LLM 抽出的三元组实时回流（边出现边渲染）；
  gateway 解析完成回流文件类型 + 文本预览片段。
- 前端 GraphView.tsx：零依赖自建力导向布局（斥力+边弹簧+居中静态收敛），实体=节点
  按度着色（枢纽紫/关联青/叶子）、关系=带标签边、hover 高亮邻域、节点过多按度裁剪。
- 前端 KbView 重做：入库从"阶段徽标+进度条"→竖向时间线（解析预览/切块块/向量化进度/
  抽取知识三元组 chips + 实时小图谱逐步浮现）；右侧知识图谱从扁平列表→GraphView，
  入库完成自动刷新整库图谱。

验证(Preview)：入库一段多事实文本 → 时间线逐阶段点亮、抽出 17 条三元组实时浮现、
右侧力导向图渲染 sundynix-agentix/知识库 为枢纽 + 带标签关系边。tsc+vite+后端 build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:22:50 +08:00
Blizzard d5dfb7a928 fix(rag,desktop): Milvus 集合丢失自愈 + 检索框布局塌陷 
真实演示中暴露的两个 bug：

1) Milvus 重连健壮性（mcp-go/internal/rag/milvus.go）
   基础设施重启后向量集合丢失，但 ensure() 的 m.ok 缓存认定集合仍在、跳过重建，
   导致 insert/search 报 "collection not found"，必须重启进程才恢复。
   修复：新增 invalidate() + isCollectionGone()；insert/search 遇"集合不存在"类错误
   时清缓存 + 重 ensure（重建集合）+ 重试一次。
   实测：运行期 drop 集合后再入库 → 日志"清缓存重建后重试写入" → 写入成功且可检索（自愈，无需重启）。

2) 检索框布局塌陷（desktop frontend/src/ui/Input.tsx）
   Phase A 给 Input 基类内置了 w-full，与检索行调用方的 flex-1 / w-16 冲突，
   查询框被挤成一条缝。修复：基类去掉 w-full，宽度交由调用方（Field 内 flex-col 自动撑满，
   或显式 w-full/flex-1/w-16）。
   实测(Preview)：查询框 412px、topK 64px；报告页输入仍撑满（764/220px），无回归。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:05:53 +08:00
Blizzard d5ae2f71d4 feat(desktop): 工业化升级 D —— 内容可信（Markdown 渲染 + 健康五灯全真） 
- components/Markdown.tsx：零依赖、行级 Markdown 渲染（# 标题 / **粗** *斜* `码` /
  - 与 1. 列表 / > 引用 / --- 分隔 / 段落），流式安全（每 token 重渲染容忍残缺）。
  报告正文与运行输出从裸 <pre> 换成真排版，瞬间像份报告。
- 健康聚合：mcp-go 加 rag.Status() + health 工具（milvus/neo4j/embedding 就绪）；
  gateway GET /api/v1/health 聚合 gateway/nats/db/redis(本地) + milvus/neo4j(经 mcp-go)；
  health.ts 轮询 /health，TopBar 五盏灯（Gateway/DB/NATS/Milvus/Neo4j）从"灰=未知"变真实绿/红。

验证：浏览器(Preview)跑报告——正文以标题/有序列表/引用/分隔线/二级标题排版呈现；
五盏灯全绿（/health 返回 db/gateway/milvus/nats/neo4j/redis 全 true）。tsc + vite build + 后端 build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-12 17:34:54 +08:00
Blizzard ba8c6b3c43 feat(report): 报告生成端到端 — 规划→分章并行检索撰写→渲染真实 Word 
- shared: 新增 intent=report 任务约定 + ReportPath（跨进程共享落盘目录，零配置对齐）
- dispatcher: handleReport 专用编排（DeepSeek 规划大纲 → 各章并行 RAG 检索+撰写
  → 汇聚 → report_render），Pool.Chat 非流式聚合；进度与正文经 Token 流实时回流
- mcp-go: 用标准库 archive/zip + OOXML 拼出真实可打开的 .docx（零额外依赖），
  report_render 工具落盘到共享目录；附 docx 有效性测试
- gateway: POST /reports 触发；GET /reports/:id/download 下发 Word
- desktop: 新增「报告」页（主题→实时编排进度→下载 Word），左导航置为就绪

实测：DeepSeek 生成 5 章报告 → 渲染 5KB docx → file 识别为 Microsoft Word 2007+
→ textutil 提取标题/各章正文完整。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-12 14:02:21 +08:00
Blizzard 21e5f6620d chore: fresh-clone 可直接运行审查与修复 
确保 git clone 后零配置(除 LLM key)即可跑通后端链路。

- go.work: 移出 sundynix-desktop(Wails，//go:embed frontend/dist 需先 npm build，
  且 main 为桩)，避免污染后端工作区构建；保留后端 4 模块
- mcp-py pyproject: 注释未 import 的 mcp/docker 重依赖(对应功能仍为桩)，
  fresh pip install 只装实际用到的 nats-py + docx/openpyxl/pypdf，更快更稳
- README: 完整环境改为 fresh-clone 零配置运行指引(infra→4后端→2前端→控制台配模型)
- 审查结论: 无硬编码绝对路径; 各服务 env 默认全对齐 docker-compose; go.sum/
  package-lock 齐全; /tmp clone 实测: 4 后端模块 go build ✓、admin npm ci+build ✓、
  mcp-py 全新 venv 安装+导入 ✓; e2e PASS

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 17:13:55 +08:00
Blizzard d623b8590e feat: GraphRAG — LLM 抽三元组建 Neo4j 图谱 + 混合检索加图谱第三路 
混合检索从 2 路(向量+全文)升级为 3 路(+图谱)。入库时 LLM 抽实体/关系建
Neo4j 图，检索时图谱路(实体关联三元组)融进 RRF；UI 可视化图谱。

- mcp-go rag: chat.go(OpenAI 兼容非流式 chat 客户端,抽取用) + graph.go(neo4j-go-driver
  连接 + LLM 抽三元组 + MERGE 实体/关系 + 图谱召回/全量三元组) + rag.go(Config 结构;
  graph+chat 路;Ingest 加 抽实体/写Neo4j 阶段;Search 三路 RRF 融合;SetChat 热更新)
- mcp-go: Neo4j env(默认 neo4j://localhost:7687, neo4j/sundynix);订阅 chat 控制面配置
  (复用 DeepSeek 做抽取);新工具 kb_graph(返回三元组)
- gateway: GET /api/v1/kb/graph;frontend KbView 知识图谱面板(实体—关系→实体)
- 验证: 全模块 build✓ + e2e PASS; live——入库'sundynix用Milvus...'→DeepSeek 抽 4 三元组
  →Neo4j(8 实体);检索三路融合 向量=4 全文=2 图谱=1;浏览器图谱面板渲染 4 三元组
- 边界: 实体链接用 CONTAINS 朴素匹配(可升级 LLM 查询实体抽取);全文/图谱重启随入库重建

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 11:10:22 +08:00
Blizzard 2d5fd2fca5 feat: 实时入库监控 + 向量拆分可视化（异步入库 + 进度 SSE） 
入库从同步改为异步流水线 + 进度回流（复用 token 流 NATS streaming）。
UI 实时看到 解析→切块→向量化(分批)→写入 各阶段 + 拆分块预览。

- shared: contract.IngestEvent(stage/done/total/chunks/error)
- mcp-go: rag.Ingest 加 onProgress + 分批向量化(10/批)逐批回报;kb_ingest 带 job_id
  把进度发到 sundynix.streams.<job_id> + CompleteStream
- gateway: 入库异步返回 job_id，后台 runIngest 发进度;GET /kb/ingest/:id/stream SSE
- frontend: streamIngest(EventSource);KbView 实时进度面板(阶段徽标+进度条+拆分列表)
- 验证: build✓+e2e PASS; 浏览器 12 行→6 阶段点亮+进度条 12/12+拆分 12 块逐条

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 10:33:36 +08:00
Blizzard 85a5c2c1e7 feat(rag): 混合检索融合 — Milvus 向量 + Bleve 全文 + RRF + DashScope rerank 
检索从向量单路升级为混合：向量(Milvus) + 全文(Bleve BM25) → RRF 融合 →
可选 rerank(DashScope gte-rerank)。

- rag/bleve.go: Bleve 全文索引(内存,随 ingest 写入;kb 过滤)；ingest 同步写 Milvus+Bleve
- rag/fuse.go: RRF(Reciprocal Rank Fusion, k=60, 按文本去重)融合多路排序
- rag/rerank.go: DashScope gte-rerank 客户端(可选,env 配置,失败降级 RRF)
- rag/rag.go: Search 改混合(向量+全文→RRF→可选rerank→topK)；main 读 RERANK_* env
- 验证: 全模块 build✓ + e2e PASS; live——入库写双索引；查'NATS'→全文精确命中#1+向量
  →RRF NATS 排首(向量=4 全文=1)；接 DashScope gte-rerank(百炼 key 有权限)→relevance
  score 0.19 真重排；retriever 节点端到端→DeepSeek 答 Milvus
- 边界: Neo4j 图路(GraphRAG,需实体抽取)推迟；Bleve 内存索引重启重建；rerank 走 env
  (TODO 同 embedding 搬控制面 kind=rerank)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 09:53:37 +08:00
Blizzard 8ff68078b7 feat: 知识库管理界面（入库监控 + 检索台） 
桌面端「知识库」模块从占位变为可用：入库(切块/embedding/Milvus 监控) +
检索调试台(向量召回，带分数与来源)。

- mcp-go: 新工具 kb_search(返回结构化 JSON [{text,score}])；rag.Hit 加 json 标签
- gateway: POST /api/v1/kb/search → kb_search（结构化命中给检索台）
- desktop: lib/api ingestKb/searchKb；新 KbView(左 入库+监控日志 / 右 检索台命中列表
  带 Milvus 来源徽标+分数)；App 接 kb 视图；LeftNav 知识库 ready
- 验证: gateway/mcp-go build✓ + e2e PASS + 前端 build✓；真实浏览器——入库3条→监控
  '已入库3块'；语义查询'存储和搜索向量的组件'→Milvus(0.612)>Neo4j>NATS 排序正确,
  全走真实百炼 embedding(控制面下发)+Milvus

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:40:32 +08:00
Blizzard 3b54e59ecf feat: embedding 配置搬上控制面 — 数据源页可视化配置 + 热更新 
embedding 从 env 改为控制面驱动(持久化+可视化)，复用 chat 模型同套范式：
配置控制面泛化为按 kind(chat/embedding)，加 embedding kind。

- shared: 配置 subjects 泛化 sundynix.config.<kind>.get/.updated；bus 方法改 kind 参数
  (RequestConfig/ServeConfig/PublishConfigUpdated/SubscribeConfigUpdated)
- gateway: sundynix_model 加 kind 列(每 kind 唯一激活)+旧行回填 chat；admin 按 kind
  增删改/激活/列表，测试连接 embedding 走 POST /embeddings；main 按 kind ServeConfig；
  变更广播各 kind
- dispatcher: 取 chat 配置(kind 化)
- mcp-go: rag.Engine.SetEmbedding 热更新(RWMutex)；main 取/订阅 embedding 控制面配置
  (覆盖 env)
- admin 控制台: api 按 kind；抽出复用 ModelManager；ModelsPage(chat)+新 DatasourcesPage
  (embedding + 向量/图库占位)；routes 数据源页就绪
- 验证: 全模块 build✓ + e2e PASS + 控制台 npm build✓；live 全跑通——chat(DeepSeek 回填
  kind 仍工作)；mcp-go 不带 EMBED env 启动→控制台配 embedding(百炼)→测试连接✓→激活
  →NATS 热更新 mcp-go→入库+语义检索'存向量的数据库'→Milvus；浏览器数据源页拉到激活配置

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:25:54 +08:00
Blizzard e5bbe7318c feat(rag): Milvus 集合维度自适应 — 切换 embedding 模型自动重建 
ensure() 检测已存集合的向量维度，与当前 embedding 维度不一致则 Drop+重建
(DescribeCollection 读 TypeParams[dim])。支持从 mock(256)切到真实 embedding(如
百炼 text-embedding-v3=1024 维)无需手动清库。

验证: 接阿里云百炼 text-embedding-v3(OpenAI 兼容)真实 embedding——集合自动
256→1024 重建，入库5条；语义检索(查询措辞与文档不同)：'存储搜索向量的组件'
→Milvus、'传消息的中间件'→NATS、'知识图谱存哪'→Neo4j，全部语义命中正确。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:12:24 +08:00
Blizzard 84d1a1dd3a feat: RAG 核心链 — embedding(provider) + Milvus 真连 + 入库/检索 
mcp-go 接通向量 RAG：embedding(OpenAI 兼容 provider 抽象) + Milvus 真实连接，
kb_ingest 入库、wiki_search 真检索。retriever 节点一行不改即从桩变真。

- mcp-go internal/rag: embed.go(OpenAI 兼容 /embeddings 客户端) + milvus.go(milvus-sdk-go
  真连，集合按首次 embedding 维度懒建+AUTOINDEX/COSINE索引+加载，insert/向量search) +
  rag.go(Engine: 切块→embed→insert / embed query→search；embedding 或 Milvus 缺则降级)
- mcp-go gateway: 新工具 kb_ingest，wiki_search 换真(RAG 向量检索，kb 过滤 topK)
- mcp-go main: rag.Open 读 MILVUS_ADDR/EMBED_BASE_URL/EMBED_API_KEY/EMBED_MODEL 环境变量
- gateway: POST /api/v1/kb/ingest → kb_ingest（供知识库页/脚本）
- scripts/mock_embeddings.py: 确定性词法向量(字+bigram 哈希)，无真 key 验证检索
- 开发期 embedding 接在线 API(无真 key 用 mock)，见 llm-provider-strategy
- 验证: 全模块 build✓ + e2e PASS; live——入库5条→Milvus；retriever 节点查'向量数据库'
  →召回 Milvus 那条→DeepSeek 答'Milvus'；查'知识图谱'→Neo4j（向量检索区分正确）

注: 当前向量单路；Bleve/Neo4j 融合 + rerank + 真实语义 embedding 为后续。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:07:36 +08:00