sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
159 Commits 5 Branches 0 Tags
5fb6e3ffa8e76816f266ee8814bbac61edf86f59
Commit Graph

56 Commits

Author SHA1 Message Date
Blizzard d2662a1f37 fix(history): 历史运行复盘读库持久化 —— 杜绝过 Redis TTL 后卡「流式中…」 
问题：历史任务超 Redis 流 10min TTL 后，SSE 回放在空流上永久阻塞 → 运行页卡「流式中…」、
轨迹/工具/输出全空。

修复：收尾把最终输出 + 执行轨迹持久化到 PG，历史复盘改读库（不依赖 Redis TTL）：
- store：Task 加 output/trace 两列；SaveTaskOutput/SaveTaskTrace/GetRunDetail。
  trace 用 type:text（不是 jsonb）——否则提交时空串 "" 入 jsonb 列会 INSERT 失败、整条任务不落库。
  （已 ALTER 既有 trace 列 jsonb→text。）
- gateway：token/exec 录制器在 done 时把累计的输出/轨迹快照落库。
- 新增 GET /tasks/:id/replay 返回持久化的 {output, exec}。
- RunsView：选中历史运行改 runReplay() 读库（秒回、phase 立即 done/error），不再 SSE 回放。
  即便旧任务无持久化数据，也是 done+空态，绝不再卡「流式中…」。

live：新任务落库 output 305 字(含表格) + 轨迹 5 事件，/replay 正确返回；tsc+vite、gateway 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 17:52:26 +08:00
Blizzard 3cf3c0b070 feat(desktop): 运行·观测 重做为运行历史 + 复盘（Tier2，用上 exec Redis 回放） 
RunsView 原本只能看「最近一次」实时运行；现做成完整的运行历史复盘：

后端 GET /api/v1/runs?limit=（store.RecentRuns）：任务 LEFT JOIN 评测，返回
task_id/status/time + eval level/overall，供历史列表。

前端 RunsView：左侧运行历史列表（状态点 + 相对时间 + 评测分级徽标），点选任一历史运行
→ 经 streamExec/streamTokens 从 Redis 回放该次执行轨迹 + 模型输出（对已完成任务流即回放），
并取 /tasks/:id/eval 显示评测（分级/忠实度/纠偏/评语/flags）。「当前运行」固定置顶沿用实时订阅。
api 补 listRuns + taskEval。

这正是之前 exec 轨迹 Redis 回放的消费场景。live（vite + 预览）：提一新任务 → 历史列表出现 →
点选 → 完整回放轨迹（2 节点/2518ms/含推理过程）+ 答案全文 + 评测 ok·1.00，无控制台报错。
tsc+vite 构建通过，gateway 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 16:34:07 +08:00
Blizzard 1344bf98a0 feat(desktop): 工作台重做为实时仪表盘 + /stats/overview 聚合端点（Tier1 UI 升级） 
桌面端首屏原是静态宣传页（stat 全硬编码、唯一活数据是网关在线），"太单调"。
重做为活的驾驶舱：

后端 GET /api/v1/stats/overview（聚合，几条轻量查询）：
- 任务今日/累计、7 日趋势、近 7 天终态分布（实例级，Task 无 owner）
- 评测均分 + 忠实度均值 + 计数；知识库文档/库数（owner 级）
- token 今日 + 7 日趋势（Redis 日计数）、近期运行 feed、服务健康（复用 health 口径）
- store.StatsOverview + RecentTasks。

前端 Home 重写为仪表盘：4 指标卡（今日任务/Token/评测均分/知识库）带 SVG 火花线、
近期运行 feed（状态点+相对时间，点进运行观测）、7 日任务量柱图、服务健康灯带、能力入口、
快捷动作。5s 轮询刷新。配色沿用现有 ink 暗底 + brand/accent。

live（vite dev + 预览截图）：登录后仪表盘渲染真实活数据（今日任务/Token/评测 1.00/近期运行/
服务全绿），无控制台报错。tsc+vite 构建通过，gateway 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 16:13:54 +08:00
Blizzard a5fd251fc0 feat(deploy): 容器化 + 一键独立部署 —— 5 服务镜像 + prod compose + 安装/备份/许可 
此前应用服务只是本机裸二进制、无 Dockerfile、无法交付。本提交把项目从"只能在我笔记本
跑"变成"任何人一条命令起一整套"，是「演示 / 拉投资 / 卖给客户独立部署」的可交付基础。

- Dockerfile ×5：gateway/dispatcher/mcp-go 多阶段(distroless static, 36–55MB)；
  mcp-py(python-slim, 268MB)；admin(node 构建→nginx 托管 SPA + 反代 /api，76MB)。
  Go 构建上下文为仓库根以兜住 replace ../sundynix-shared；.dockerignore 瘦上下文。
- docker-compose.prod.yml：应用 + 基建一把起；经服务名互连（顺带避开 localhost DNS 坑）；
  基建端口不对宿主暴露；depends_on 健康检查保序（mcp-go 待 Milvus healthy）；
  APP_ENV=production 强制密钥校验 + 锁 CORS + 管理员白名单。
- .env.example + DEPLOY.md：两类密钥分层（引导密钥走 .env，模型 key 控制台加密存库）；
  首次管理员流程；安全建议。LICENSE 专有（授权模型可后定）。
- scripts/backup.sh + restore.sh：PG 逻辑备份 + 各数据卷快照 / 恢复。
- .gitignore 挡 .env*（密钥不入库）。

live：5 镜像全构建通过；独立 project 起整套 → nginx→gateway→NATS→dispatcher→mcp 全链路
注册+提任务 running→done，depends_on 保序生效。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 15:23:36 +08:00
Blizzard f926f6fd41 feat(obs): exec 执行轨迹 Redis 回放 —— 连晚/重连不再丢轨迹事件 
执行轨迹原本只走瞬时 core NATS（sundynix.exec.<id>），SSE 连晚或刷新重连就丢掉
已发生的节点点亮/工具调用/推理过程事件。本提交把它做成与 token 流同构的可回放流：

- store: Redis Stream 函数加 channel 维度（ChannelToken="stream" / ChannelExec="exec"），
  同一套 XADD/XREAD/TTL 复用；key 按 channel 分命名空间互不串扰。
- gateway: 提交即启 startExecRecorder 后台订阅轨迹落 Redis（与 SSE 是否在线无关，
  12min 兜底含 HITL 审批等待）；StreamExec 改为优先 Redis 回放 + Last-Event-ID 断点续传，
  Redis 降级回退 live NATS（streamExecLive）。

单测 streamKey channel 隔离；live：任务 done 后再连 /exec，仍从 Redis 完整回放
全程轨迹（含推理过程），Redis XLEN 对账一致。

至此「可靠性细节」两项（优雅停机 + 轨迹回放）补齐。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 14:03:31 +08:00
Blizzard 2e3cb8105d fix(store): PG DSN 默认用 127.0.0.1 免每连接 DNS 解析；订正压测报告 C=256 归因 
DSN 由 localhost 改 127.0.0.1（gateway + mcp-go）：pgx 每新建连接解析一次主机名，
高并发连接池扩容时省掉这层 DNS 开销与一类失败模式。

诚实订正：复测发现 DSN 改完 C=256 仍 0 完成（错误从 lookup localhost 变 dial 127.0.0.1 canceled）。
故 C=256 的「停摆」根因不是 DNS，而是单节点在 256 并发下整体饱和（任务排队 + 每任务 3 次 PG
状态写 + 网关 handler 顶不住），属单节点容量上限、非 bug；C≤128 优雅可用，正解是横向扩。
LOAD_TEST_REPORT §4.3/§6 与 project_analysis 容量实测已据实更新。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 12:49:35 +08:00
Blizzard 7bfea74cc0 feat(perf): 容量压测器 + 平台天花板实测曲线 
cmd/loadtest：闭环加压器，阶梯并发，经 SSE 流检测完成（非轮询，避免轮询放大把网关
压成假瓶颈），输出吞吐 + 延迟分位。配套两个 benchmark 开关：
- dispatcher LLM_FORCE_STUB=1 + LLM_STUB_TTFT_MS/INTERTOKEN_MS=0：绕开真实 LLM 推理，
  量平台自身全链路天花板（不烧 token、不被模型节奏掩盖）。
- gateway RATE_LIMIT_PER_MIN 可配（缺省 120）：压测放开限流。

实测（单 dispatcher、并发64、stub）：
- 单任务纯平台开销 ~42ms；吞吐峰值 ~110 全链路任务/秒（饱和点 并发32–64）；
  并发128 优雅降速，256 硬崩。
- 吞吐瓶颈不是 DB 连接数（池 25→80 吞吐不变），是每任务多跳管线综合成本；
  256 崩根因为 DSN 用 localhost、pgx 每连接解析 → 连接churn致 DNS 取消（易修）。
- 关键判断：平台 42ms ≪ LLM 秒级出答案，平台不是瓶颈、GPU 才是；横向拆服务喂满 GPU 集群
  的意义成立。细节与曲线见 project_analysis「容量实测」。

stub 延迟改 env 可配（默认值不变）；不影响线上路径。dispatcher+gateway build/vet/test 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 11:46:50 +08:00
Blizzard 05c25d7099 feat(ops): 优雅停机 drain —— 三 Go 服务 SIGTERM 后排空在途，不硬切 
滚动更新/重启时旧的"信号到→进程退"会硬切在途工作：dispatcher 在途任务被掐断、
mcp-go 在途工具调用让 dispatcher 干等超时、gateway 在途 HTTP 请求被截断。

共享 bus 加在途追踪 + drain：
- ConsumeTasks/ServeTool 各加 sync.WaitGroup 跟踪在途 goroutine，返回 drain(ctx)：
  先停止接新活（cc.Stop / Unsubscribe），再等在途跑完至 drain 超时。
- 关键修复：任务 handler 的 ctx 改为派生自 context.Background()（而非信号 ctx），
  否则 SIGTERM 会立即取消在途任务的 ctx，drain 形同虚设。超时未跑完才由 JetStream
  AckWait 重投兜底（不丢任务）。
- DrainTimeout()：SHUTDOWN_DRAIN_TIMEOUT 秒，默认 30s。

各服务收尾：
- gateway：r.Run → http.Server + signal.NotifyContext + srv.Shutdown(drain 在途请求)，
  随后 defer 关 db/redis/bus（HTTP 排空后才断后端连接）。
- dispatcher：收到信号 → drain 在途任务跑完再退。
- mcp-go：收到信号 → drain 在途工具调用回完再退（dispatcher 拿到结果而非超时）。

bus 加 TestGracefulDrain（drain 等满在途任务 + 验证在途 ctx 不被取消），e2e 测试适配
新签名，四模块全绿。live：在途任务执行中 kill -TERM dispatcher → 日志「drain 在途任务」
→ 11s 后 task done(511字完整生成) → 「drain 完成，退出」，任务终态 done 非 failed；
gateway/mcp-go 同样优雅退出。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 10:29:23 +08:00
Blizzard faa1871760 feat(harness): 成本/Token 预算护栏 —— 单任务硬上限 + 单用户日预算（恒温器最后一环） 
token 用量估算计量（CJK≈1/字、ASCII≈1/4字，无需分词器，护栏够用）。

单任务硬上限（dispatcher）：Budget 挂 ctx 沿图透传，各 LLM 节点（对话/ReAct/compose/
报告）入口计输入 token、出口计输出，触顶即中止整图——防失控成本（死循环/超大报告）。
报告路径优雅降级：触顶跳过剩余章节出部分稿，不整体失败。预算来源 Meta.token_budget
或 env TASK_TOKEN_BUDGET（默认 20 万）。

单用户日预算（gateway）：dispatcher 收尾经 NATS 回写 UsageEvent → 网关按用户按天累计
Redis（48h 过期自滚动）→ 提交前门控 USER_DAILY_TOKEN_BUDGET（0=不限，超额 402）。
/billing 升级为真实用量：当日已用 / 日预算 / 余额。

契约 UsageEvent + MetaTokenBudget + SubjectUsage；bus Publish/SubscribeUsage；
orchestrator SetUsageSink + 预算触顶 failed（不计熔断）。harness budget 5 单测，三模块全绿。
live：单任务 budget=30 → failed(已用约689)；用户日 budget=200 → /billing remaining=0 → 402。

至此 harness 由「测温计」完成向「恒温器」的演进（评测闭环/纠偏/忠实度/脱敏/输入护栏/预算六项）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 10:00:51 +08:00
Blizzard 2f78fc565e feat(harness): 输入护栏升级 —— 归一化反绕过(Tier1) + LLM 越狱分类器(Tier2) 
原输入护栏纯正则，空格/编码/同形字一改写即漏，且 bannedTerms 空置。升级为两层：

Tier1（网关同步、无 LLM）：先归一化再匹配，干掉绕过——
- 小写 + 去零宽字符 + 去变音符 + 同形字折叠(西里尔/希腊→拉丁) +
  拆字间隔还原(i g n o r e / i.g.n.o.r.e → ignore) + base64 解码回扫
- 多视图(原文/归一化/紧凑/解码)匹配高精度注入正则，无需穷举变体
- bannedTerms 经 GUARDRAIL_BANNED_TERMS env 落地
- 软信号(jailbreak/developer mode/无限制…)→ 灰区，放行但打 safety_check 标志

Tier2（dispatcher harness LLM 分类器，escalation）：
- 仅对灰区任务执行前调 LLM 裁决 jailbreak+severity，≥0.7 → rejected
- 明确干净/恶意的不付 LLM 成本；模型抖动/解析失败 fail-open 不误锁正常用户

契约新增 MetaSafetyCheck 透传灰区标志；orchestrator 加执行前护栏门控 + SetGuardian。
网关 6 单测 + dispatcher 4 单测，三模块全绿。live：拆字/base64/西里尔同形字均 422 拦，
恶意灰区被 LLM 拒(severity 1)、良性灰区(海盗 roleplay)放行完成。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 09:38:34 +08:00
Blizzard 93e9d3b195 feat(harness): 低分自动纠偏 —— poor 触发评语驱动重生成，取更优者（测温计→恒温器） 
评测闭环延伸出自愈：当自动评测判定输出为 poor(综合<0.5)，dispatcher 在热路径外
自动用「原问题+初版回答+评审短板(flags/评语)」(有来源则连来源一并喂回、要求严格基于来源)
让模型重写，重评后仅当新分严格更高才采纳(绝不退步)；采纳的修订版落会话历史，
保证多轮上下文用的是好答案而非被判低分的初版。评测终值带 corrected 标记经 NATS→网关落库。

- maxRefineRounds=1：poor 稀少，1 轮重写+重评够用，防成本失控
- canRefine 门控：模型就绪且熔断未开才纠偏，避免后端抖时雪上加霜
- 单 goroutine 串 评测→纠偏→落历史，杜绝原两 goroutine 对答案版本的竞态
- 契约 EvalEvent / Eval 表 / upsert / GET /tasks/:id/eval 均加 corrected 字段
- refine_test.go：采纳更优 / 不退步 / 非低分不触发 三测；live 验证好答案不误触发

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 16:22:45 +08:00
Blizzard 10f08ffb14 feat(harness): 评测闭环 —— 评测结果落库 + 分级 + 告警 + 可查（测温计→恒温器） 
此前 eval 只打日志、不闭环。现在：
- 分级：evalLevel 据综合分+忠实度 → ok(≥0.75) / warn(≥0.5 或忠实<0.6) / poor(<0.5)；poor 出 slog.Warn 告警。
- 落库：dispatcher 评完经 NATS(SubjectEval) 广播 EvalEvent → 网关订阅写 PG（新表 sundynix_eval，
  按 task_id upsert）。沿用任务状态回写那套（dispatcher 无 DB，经 bus→gateway 落库）。
- 可查：GET /api/v1/tasks/:id/eval 返回 overall/rule/llm/faithful/level/flags/reason/sources。
- 契约 EvalEvent + EvalOK/Warn/Poor；bus PublishEval/SubscribeEval；dispatcher EvalSink（NewOrchestrator 第9参）。

验证：三模块 build+vet+test 全绿；live RAG 任务评测落库，端点返回 overall~1.0 / level=ok / faithful=1 / sources=1。
剩：桌面端质量面板、低分自动重试(P3)。project_analysis 勾掉该项。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 15:26:19 +08:00
Blizzard 700845d64a feat(prod): DB 连接池上限 + LLM 失败暴露为 failed（生产级并发收尾） 
为高并发生产做的三项收尾（配合已有的任务/工具并发消费）：

1. DB 连接池上限（pgsql.go / memory/store.go）：SetMaxOpenConns（默认 25，
   DB_MAX_OPEN_CONNS 可调）+ MaxIdleConns 5 + ConnMaxLifetime 1h。
   防高并发无限开连接打爆 PG（max_connections 默认 100）。
2. LLM 失败暴露为 failed（graph.go）：board.fatalErr —— agent 模型调用出错即上抛，
   runGraph 中止后续节点并返回错误 → Handle 判 failed（带原因），不再静默 done-空。
   可观测/可告警，生产排障必需。

压测验证（dispatcher 并发=50, 池=25, deepseek-v4-pro 推理）：
- 平台同一秒并发收下 40 任务，全程零 DB/连接错误，平台开销≈0（裸 LLM 1.8s vs 平台 P50 1.7s）。
- 并发 10 健康 4.7/s；20+ 延迟暴涨 = DeepSeek 开发账号并发限流（外部），非平台。
- 失败注入（错误模型名）→ 任务正确判 failed 并回传原因。

结论：平台并发机制达生产级；真实吞吐上限 = 自托管模型容量（生产 Qwen，可加卡线性扩）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 16:14:19 +08:00
Blizzard 16a6c4b1aa feat(hitl): 人工审批中断（Eino Phase D）—— 审批节点暂停→批准续跑/拒绝中止 
专用「审批」节点方案，全栈打通。

后端：
- contract：TaskWaiting/TaskRejected 状态 + ApprovalSubject/ApprovalDecision。
- bus：PublishApproval + WaitApproval（订阅决定主题，带超时）；消费者 AckWait
  30s→15min（阻塞等人审期间消息未 ack，否则重投成重复任务）。
- dispatcher：ApprovalWaiter 接口 + approvalNode——执行到审批节点发 await 事件 +
  置 waiting，阻塞等决定。批准→回 running 放行下游；拒绝/超时→errRejected 哨兵→
  剪下游→rejected，优雅收尾不计熔断。超时安全默认拒绝。
  taskExecTimeout 3→10min（审批5 < 执行10 < AckWait15）。
- 网关：POST /tasks/:id/approve（仅 waiting 态受理，幂等）。

桌面端：
- Studio 新增「人工审批」节点（nodeCatalog，可填标题/说明）。
- run.ts pendingApproval() 从 exec 流派生待审中断 + waiting 节点状态。
- BottomDrawer ApprovalBar：琥珀审批条（摘要 + 批准/拒绝 + 备注，调 api.approveTask）。
- ExecTrace waiting 状态灯。

验证：后端 curl 实测 waiting→批准→running→done；waiting→拒绝→rejected（下游未跑）。
前端 tsc + vitest 36 过（pendingApproval 4 例 + waiting 状态）。全模块 build+vet+test 全绿。
EINO_ADOPTION Phase D 标记 HITL 完成。

未覆盖：compose 路径（EINO_COMPOSE，默认关）的 approval 节点；桌面端审批条未在 GUI 实点。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 13:18:47 +08:00
Blizzard 218fba559c feat(observability): slog 日志带 trace_id，与链路双向互跳 
新增 sundynix-shared/otelx/slog.go：traceHandler 包装 slog.Handler，凡 ctx 有
活跃 span 的 slog.InfoContext(ctx,...) 自动注入 trace_id/span_id；SetupSlog(服务名)
装全局 JSON slog（service 标签 + LOG_LEVEL 控级）并设默认；TraceID(ctx) 辅助取 hex。

- 三个服务 main 启动调 otelx.SetupSlog。
- gateway 访问日志 Observe() 改用 slog.InfoContext(c.Request.Context(),...)（删旧
  accessLogger）→ 每条 HTTP 日志带 trace_id。
- dispatcher orchestrator.Handle 的 received/done/error 改 ctx-aware slog → 任务
  执行日志带 trace_id。
- otelx 单测 5 例（注入/无 span 不注入/With() 后仍生效/级别解析）。
- production_readiness.md 1.1：可观测性三件套（metrics+logs带trace_id+traces）闭环。

验证：dispatcher「task done」日志 trace_id 拿去 Jaeger /api/traces/<id> 命中同一条
11 span/3 服务链路；gateway 访问日志亦带同一 trace_id。四模块 build+vet+test 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 12:41:33 +08:00
Blizzard a2d184b7ec feat(observability): OpenTelemetry 全链路追踪（Jaeger + NATS 跨总线传播） 
新增 sundynix-shared/otelx：otelx.Init(ctx,服务名) 注册 W3C 传播器 + OTLP/HTTP
批量导出（默认 localhost:4318，docker 里的 Jaeger）；OTEL_SDK_DISABLED=true 关导出。
Jaeger 不在线 / 导出器构建失败都不阻断启动（可观测性是增益而非依赖）。

- NATS 跨进程传播（无现成中间件）：bus/trace.go 的 natsHeaderCarrier + inject/extract，
  PublishTask/CallTool 注入 traceparent，ConsumeTasks/ServeTool 抽出续上 → 链路跨总线连成一棵树。
- 埋点：gateway 挂 otelgin（HTTP server span，链路根）；dispatcher task.execute →
  node.<kind>（每节点，nctx 下传使工具/LLM 挂到节点下）→ llm.stream/llm.generate；
  bus 自动出 tool.call(client)↔tool.serve(server) 成对跨服务 span。
- docker-compose 加 jaeger all-in-one（UI :16686，OTLP :4318）。
- 依赖修复：otlptracehttp 触发 genproto 单体(旧)vs 拆分模块 ambiguous import（milvus 拉旧版），
  pin genproto 至后拆分版（go.work 工作区全局生效）。
- production_readiness.md 1.1 更新为「已实现」。

验证：真实 input→retriever→agent 任务在 Jaeger 出 14 span / 3 服务的完整树，
跨 NATS（publish→consume）、跨服务（tool.call→tool.serve）均连通，
瓶颈 kb_search 692ms、llm 1597ms 一眼可见；四模块 build+vet+test 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 11:35:08 +08:00
Blizzard 46ef3df221 feat(security): LLM api_key 端到端加密（AES-256-GCM，磁盘+线缆均密文） 
新增 sundynix-shared/secrets：AES-256-GCM，密钥由 SUNDYNIX_SECRET_KEY 经
SHA-256 派生；密文带 enc:1: 版本前缀，历史明文行自动透传（下次保存升级为密文）。

- 网关 SaveModel 加密落库；ListModels/TestModel 解密后脱敏/探测；
  空或脱敏占位的 api_key 视为「未改」→ 沿用库内既有密文（不二次加密）。
- 密文经 NATS 原样下发；消费方解密集中在 bus 层 decryptConfig
  （RequestConfig + SubscribeConfigUpdated）→ dispatcher/mcp-go 零改动。
- secrets.MustHaveKeyInProd()：生产未设 SUNDYNIX_SECRET_KEY 直接 fatal，
  gateway/dispatcher/mcp-go 启动各调一次（三服务须配相同密钥）。
- 修复 store.SaveModel 整行 Save 把 active 清零的旧 bug：改 Select(...).Updates
  只覆盖可编辑列，改 key 不再顺手取消模型激活。
- secrets 单测：往返/空串/随机 nonce/错密钥 fail-closed/历史明文透传。
- production_readiness.md 2.1 更新为「已落地」。

验证：DB 列由明文 sk-…(35) → 密文 enc:1:…(90)；dispatcher 从密文广播解密后
model config set；真实任务 √256→16、12×12→144 打通 DeepSeek（非降级桩）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 10:36:34 +08:00
Blizzard 529cd0fdd6 feat(gateway): SSE token 流可回放 + 断点续传（Redis Stream） 
根治 core NATS 不回放导致的"连晚/刷新/抖动重连丢实时 token"：
- store/redis：token 流落 Redis Stream（XADD，带 TTL）——StreamAppend /
  StreamRead(XREAD BLOCK，支持从任意 ID 续读)。
- gateway：SubmitTask 起即启动 token 录制器（订阅早于 dispatcher 产 token，
  全量捕获，与 SSE 客户端是否在线无关）；StreamTask 改从 Redis Stream 读，
  发 SSE 时带 id（= Redis entry ID），浏览器重连自动带 Last-Event-ID 续传。
  Redis 降级时回退原 live-NATS 路径（streamTaskLive）。

实测：任务跑完后才连 SSE → 完整回放；带 Last-Event-ID 重连 → 断点续传不重不漏；
make test-go 全绿。最终答复本就持久在 Redis 历史，此改让"实时流"也无损。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 15:05:53 +08:00
Blizzard 71102d2424 feat(dispatcher,gateway): Eino 采纳 Phase D —— 任务生命周期状态机 
submitted → running → done / failed / timeout 显式状态机，根治"卡运行中
看不出来"（此前 Task.Status 只写死 submitted、从不流转）。

- contract：新增 SubjectTaskStatus 主题 + TaskStatusEvent + 状态常量
- shared/bus：PublishTaskStatus / SubscribeTaskStatus（core NATS pub-sub）
- dispatcher：StatusSink 接口 + Orchestrator.Handle 状态钩子——进入执行
  →running、收尾 finishStatus→done/failed、整体超时上限 taskExecTimeout
  =3min→timeout；经 sub 回写
- gateway：SubscribeTaskStatus 落 PG（Task 增 Detail 字段，AutoMigrate）；
  新增 GET /api/v1/tasks/:id 供 UI 轮询状态

验收：实测 submitted→running→done 流转 + PG 持久化 + 端点查询闭环；
make test-go 全绿。HITL 中断恢复 / 多智能体仍按场景待做。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 09:48:44 +08:00
Blizzard 8bcb90cdb2 feat(admin): 服务状态面板（基建/服务探活 + MCP 工具注册）+ mcp-go 工具注册表 
管理端新增「运维 › 服务状态」：总览横幅 + 摘要数字 + 请求链路拓扑
（客户端→网关→NATS→调度→MCP，按健康三态着色）+ 应用服务卡（含探针
延迟）+ 基建磁贴 + MCP 工具按能力域分组（中文名/作用）。

探活机制（全走 NATS，无 HTTP）：
- mcp-go/mcp-py 新增 list_tools 自省工具，能应答=在线 + 上报工具清单
- dispatcher 无端点 → 新增 NATS 心跳主题 sundynix.health.dispatcher
  （ServeHealth 应答 model/ready/uptime），网关用 bus.Ping 探
- 网关 GET /api/v1/admin/status 并发聚合四探针 + 各项延迟

mcp-go 重构：switch → map 注册表（buildRegistry），dispatch 与 list_tools
共用单一事实源，杜绝漂移；每个工具带中文名 + 作用描述。mcp-py 同样补元信息。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 16:38:10 +08:00
Blizzard 0edfc948ba feat(memory): P2 读路径打分 + 桌面端记忆面板（看/改/删） 
读路径（Generative Agents 公式的 Recency+Importance 两项，Relevance 待 P3）：
- memory.Get 改为 rankProfiles：Score=0.4·Recency+0.6·Importance，按分降序、截断 top-30。
  Recency=0.98^天 指数衰减；未评分行用兜底 importance=5（不被不公平遗忘）。纯函数 + 单测。
- 新增 Store.List（结构化、不截断）+ memory_list 工具。

桌面端记忆面板：
- gateway GET /memory(列表) + DELETE /memory?key=(软删)，受保护组。
- api listMemory/deleteMemory；MemoryView 右侧从占位 → 真列表：按分排序展示
  key/value/重要度/最近时间，可内联编辑(PUT)与删除(软删)；左侧登记后自动刷新。

实测：PUT 两条 → GET 返回带 importance/last_seen 的有序列表（较新者靠前）→ DELETE 一条
（软删）→ 再 GET 已消失。rank/recency/兜底 importance 单测过；前端 tsc+构建通过。

至此记忆：召回(打分) + 历史 + 自动对账(P1) + 用户可管控(面板) 闭环。Relevance(Milvus) 留 P3。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-22 14:48:11 +08:00
Blizzard 597665f3c8 feat(admin): 计价配置（按模型·分输入/输出单价）—— 计费比率配置落地 
计费需 token↔真钱比率，配置归管理端。本次落地"按模型·分输入/输出"粒度：

后端（gateway）：
- store.Pricing 模型（BaseModel + model_id 唯一 + input_per_1k/output_per_1k + currency），
  AutoMigrate 建 sundynix_pricing；ListPricing/UpsertPricing(OnConflict model_id 覆盖)。
- admin handler：GET /admin/pricing 列表、PUT /admin/pricing 设置（校验非负，币种默认 CNY），
  挂在 RequireAdmin 组下。

前端（admin）：
- api：listPricing/savePricing（带 Bearer）。
- PricingPage：列出所有已登记模型（chat+embedding），每行可编辑 输入/输出每1K单价 + 币种，逐行保存。
- routes 新增「计价」页（配置组）。

实测：PUT→ok；GET 返回正确行；重复 PUT 同 model_id 仍 1 行且值更新（upsert 生效）；表自动迁移。
前端 tsc 干净。下一步可做用量计量 × 单价折算（真正计费）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-19 11:25:24 +08:00
Blizzard b6a6875795 feat(gateway): 可观测性 —— Prometheus 指标 + 结构化日志 + 探针 
往"生产可运维"推一步（网关前门）：
- Prometheus /metrics：sundynix_http_requests_total{method,route,status}、
  request_duration_seconds 直方图、requests_in_flight。route 用 c.FullPath()
  路由模板（/tasks/:id/...）避免按真实路径高基数。
- 结构化访问日志：slog JSON 到 stderr（request_id/method/route/status/latency_ms/
  ip/uid/bytes），替代 gin 默认文本日志；gin.New()+Recovery 自管中间件链。
- RequestID 中间件：生成/透传 X-Request-ID，写上下文+响应头，供日志关联。
- 探针：/healthz（liveness，不查依赖）、/readyz（readiness，DB+Redis 就绪才 200，
  否则 503），供 k8s 等导流判断；/api/v1/health 深度聚合保留。
- 三个根端点不挂业务鉴权（/metrics 生产应由网络层限制抓取来源）。

验证：单测（计数 +1 / X-Request-ID 生成与透传）；实跑 /healthz 200、/readyz 200
（db,redis ready）、/metrics 输出真实指标、访问日志 JSON 正常、X-Request-ID 回写。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-19 10:38:31 +08:00
Blizzard e05e6f5903 fix(gateway): 三处生产安全硬化（默认密钥/admin裸奔/CORS） 
1) JWT 默认密钥：生产模式(APP_ENV=production|prod 或 GIN_MODE=release)下若未设
   JWT_SECRET 直接 log.Fatal，杜绝用开发默认值签发可伪造令牌；开发期警告并放行。
2) /admin 运维控制面（含模型 API 密钥管理）改挂 RequireAdmin：必须登录 +
   （设了 ADMIN_USER_IDS 则）uid 须在白名单；生产期未配置管理员直接 403。
3) CORS Allow-Origin 由 CORS_ALLOW_ORIGIN 配置（缺省 * 仅开发），非 * 时加 Vary。

build + auth 单测通过。仍属"小范围灰度"级，TLS/可观测/集成测试/HA 见 PROGRESS。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 12:55:04 +08:00
Blizzard 6523323a27 feat(gateway): MinIO 孤儿对象 GC（重名覆盖后清理旧对象） 
大文档正文存 MinIO，重名再入库若转内联或换键，旧对象会成孤儿泄漏。
SaveDoc 改为返回 (id, oldObjectKey)；runIngest 在覆盖成功后，若旧键非空且
与新键不同，从 MinIO 删除旧对象。新建文档 oldObjectKey 为空，不触发。

注：当前无文档删除/改名端点，主要孤儿路径=大→内联覆盖，已覆盖；
真机 MinIO GC 验证待后续（逻辑直白，blob.Delete/SaveDoc 已分别验证）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 11:56:22 +08:00
Blizzard 9657a07bb5 feat(auth): 鉴权片2 —— 前端登录闭环 + 保护路由 + 去掉 header 兜底 
把 JWT 鉴权从后端核心闭环到端到端：

后端：
- middleware.RequireAuth：上下文无已验证 uid 则 401；挂在 owner 作用域业务路由组。
- 路由拆 公开/受保护：公开=auth/health + 按 task_id 寻址的 SSE 与报告导出
  （EventSource/下载无法带 Bearer）；受保护=tasks/memory/kb*/agents/reports/billing。
- userID(c) 去掉 X-User-ID 兜底，仅信任 JWT 注入的 uid。
- 修 CORS：Allow-Headers 增 Authorization（否则浏览器拦截带 Bearer 的请求）。

前端：
- lib/api：token 存 localStorage + Bearer 头（不再发 X-User-ID）+ authRegister/Login/Me
  + 401 清令牌并广播 sdx:logout；submitTask/report/memory/列表加载走 Bearer 与 401 守卫。
- views/Login：登录/注册全屏门。
- App：启动校验令牌 → 无则渲染 Login，有则进主应用；identity.userId=已验证 user.id；
  监听 sdx:logout 回登录页。
- TopBar：去掉可编辑身份输入，改显登录用户 + 登出。

实跑验证（docker+gateway+preview）：
- RequireAuth：无 token /kb/list、/agents → 401；/health → 200；带 token → 200。
- 前端：无 token 显登录门；注入有效 token 重载 → 进主应用、顶栏显 Dexter、KB 加载本人库、
  隔离徽标显雪花 uid。控制台无错、生产构建通过。
- 过程中发现并修复 CORS 缺 Authorization 头的真实 bug。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 16:32:00 +08:00
Blizzard 149c35c21b feat(gateway): 真实鉴权片1 —— JWT 注册/登录 + 校验中间件（后端核心） 
替掉"裸 X-User-ID 头当身份"的临时方案，落地无状态 JWT 鉴权后端：

- internal/auth：JWT 签发/校验（HS256，密钥 env JWT_SECRET，仅接受 HMAC 防 alg 混淆）
  + bcrypt 密码哈希/校验。纯包，含单测。
- User 模型加 Name + PasswordHash(json:"-" 不外泄)；store 加 CreateUser/GetUserByEmail/
  GetUserByID（邮箱唯一冲突 → ErrUserExists）。
- handler/auth：POST /auth/register（建用户+签发）· POST /auth/login（校验+签发，
  用户不存在与密码错同一文案防枚举）· GET /auth/me。
- middleware/auth：解析 Bearer JWT，校验通过把已验证 userID 注入上下文（非阻断）。
- userID(c) 改为优先取 JWT 注入的 uid，兜底 X-User-ID 头（前端尚未接登录，保持可用）。

验证：
- 单测：JWT 签发/解析往返、过期拒绝、篡改/非法拒绝、bcrypt 哈希校验。
- 实跑(nats+pg+gateway)：注册→token+user(无密码)、重复注册 409、错密码 401、
  /auth/me 带 token 200 / 无 token 401；owner 隔离改用已验证 uid —— 带 token 建的库
  匿名/伪造 header 都看不到（JWT 用户数据归于雪花 id，header 无法臆测）。

片 2 待做：前端登录页 + 存令牌带 Bearer + 处理 401 + 去掉 header 兜底 + 保护路由。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 16:14:21 +08:00
Blizzard e63632adf5 feat(gateway): 输入护栏拦提示词注入/超大体（弃用空桩）+ 单测 
Guardrail 中间件此前是空桩（直接 c.Next）。落地输入护栏：

- 新增纯逻辑包 internal/guardrail：Inspect(body) 检测提示词注入（忽略既定指令/
  角色越权/诱导泄露提示词，中英文模式）+ 超大体(>256KB)，与 HTTP 解耦便于单测；
  敏感词黑名单留空可扩展。
- 中间件：仅对带 JSON 体的 POST/PUT 检查（文件上传 multipart 与 GET/SSE 跳过）；
  限读 + 命中拦截返回 422；未命中则还原请求体(io.NopCloser)供 handler 读取。
- 输出护栏不在网关做：Token 流是 SSE 实时流，网关缓冲会破坏流式 —— 标到路线图，
  应在 dispatcher token 发射层做。

验证：
- 单测：正常输入不误拦、中英文注入均拦、超大体拦、边界恰好放行。
- 实跑(nats+gateway)：注入(中/英) → 422 带原因；干净输入 → 202 且 body 正确还原、
  handler 正常发布到 NATS。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 15:19:14 +08:00
Blizzard 9b0520e020 test(backend): 编排引擎/DSL/docx/报告导出 首批 Go 单测（19 用例，纯逻辑无依赖） 
补齐核心后端逻辑的自动化测试，全部纯函数级、不依赖 docker/NATS/LLM，毫秒级跑完，
把"手动起全栈 curl 验证"变成 `go test`：

- dispatcher/internal/eino (graph_test.go)
  evalCondition(各运算符+refs/tools/answer/profile 关键字+兜底)、resolveOperand、
  aggregate(拼接/去重合并/默认/全空)、branchNode(真假边标签精确选路 + 无标签退回边序 +
  单边剪枝)、cstr/cbool/countLines/labelOf/targetsOf。
- dispatcher/internal/dsl (compile_test.go)
  Topo(线性序 + 有环不丢节点)、Compile(system/query/tools 抽取 + 无输入兜底 + 空图用原文)、
  ToolBinding(tool/retriever/非工具)、Parse(合法/非法)。
- mcp-go/internal/office (unioffice_test.go)
  RenderReport 产物为合法 docx(zip 三部件 + 标题/章节文本 + XML 转义)、escapeXML。
- mcp-go/internal/mcp (report_test.go)
  reportMarkdown(标题+多章 / 无标题)。
- gateway/internal/dsl (parser_test.go)
  ParseAndAssemble(task_ 前缀 + Graph 透传 + Meta 初始化 + 空/非法报错)。

`go test ./...` 各模块全绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 14:13:13 +08:00
Blizzard 1dd6b0cce3 feat(report): 生成只出 Markdown 预览，导出时再渲染 Word/PDF/Markdown 
把"渲染"从生成阶段解耦到导出阶段（导出时再处理）：
- 生成阶段：报告正文按 Markdown 流式预览（前端 <Markdown> 已渲染），
  dispatcher 不再 eager 渲染 docx，改为经 mcp-go report_store 落盘报告源(title+sections JSON)。
- 导出阶段（按需现渲染）：
  - GET /reports/:id/export?format=docx → mcp-go report_export 读源渲染 .docx；
  - ?format=md → 返回 Markdown 文本；
  - PDF → 前端把已渲染的 Markdown 送进打印视图出 PDF（CJK 零字体依赖）。
- 旧 /reports/:id/download 兼容保留（默认 docx）。

改动：
- contract: ReportSourcePath(id) = <id>.json。
- mcp-go: 新增 report_store / report_export 工具（report_render 保留给 Studio render 节点）。
- dispatcher: handleReport 末尾 renderReport → storeReport。
- gateway: DownloadReport → ExportReport（经 NATS 调 report_export）。
- 前端: ReportView 单个「Word」→「导出」组 Word/PDF/Markdown；
  desktop.printReportHtml 客户端打印；api.reportExportUrl。

实测（docker 全栈 + mcp-go + gateway + dispatcher + DeepSeek 真跑）：
- 真实生成「绿茶的功效」18s 完成，report_store 落源(5章, 6280B) ✓
- export md 返回正确 Markdown(# 标题/## 小节/正文) ✓
- export docx 为合法「Microsoft Word 2007+」(含 document.xml/Content_Types) ✓
- 前端 tsc 干净 + 生产构建通过 ✓
（注：发现并修复一处环境问题——mcp-go 启动时若 Milvus 未起会阻塞在
 rag 初始化、永不订阅工具，导致所有 mcp-go 工具"no responders"；起全栈后正常。
 报告生成在累积大量未完成 DeepSeek 流连接时会偶发卡顿，干净进程下正常。
 前端导出按钮的实时点击因 React 受控输入自动化限制未在预览中走通，非代码缺陷。）

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 14:04:06 +08:00
Blizzard 5d76652bff refactor(kb): 文件主表 + 文档关联改用雪花ID（弃用按名关联） 
把 sundynix_doc 明确为"文件主表"，补齐文件基础信息字段；
文档间 [[双链]] 改为以 Doc.ID 关联，查询/渲染一律按文件 ID。

store:
- Doc 增 Ext(后缀)/MD5(内容指纹) 字段；ObjectKey 即"存放链接"
- DocLink 由 (FromName,ToName) 改为 (FromID,ToID,ToName)
  · FromID/ToID 关联 Doc.ID；ToName 保留用于悬空链接展示与回填
- SaveDoc 返回新建/更新文件的雪花 ID（供建链）
- 新增 GetDocByID（按 ID + owner 取正文，防越权）
- ReplaceDocLinks 以 fromID 重建出链，按 [[名称]] 解析目标 ID
- 新增 ResolveInboundLinks：目标入库后回填指向它的悬空链接
- ListLinks 只返回已解析(to_id 非空)的 ID→ID 边
- migrateDocLinkToID：旧按名双链表无 from_id 列则重建为按 ID 关联

gateway/handler:
- runIngest 计算 ext/md5，SaveDoc 取回 ID 后建链 + 回填悬空
- KbDoc 改为 GET ?id=（按文件 ID 取全文）
- KbVault 返回 id+ext；KbLinks 返回 from/to 为 ID

desktop:
- VaultDoc 增 id/ext；getDoc(docId) 按 ID 取正文
- VaultPanel 选中态/正文/反链/关系图改用 ID，名↔ID 双向映射
  渲染；保存笔记后按名定位回其新 ID

验证（gateway+PG+MinIO 实测）：vault 带 id+ext；双链 ID→ID 且
A→B 悬空链接在 B 入库后成功回填；按 ID 取大文档(15006字)从
MinIO 完整取回；跨 owner 按 ID 取文档 404（隔离生效）。桌面端
文库 Tab 按 ID 选中/载入/反链渲染正常，无控制台报错。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-15 09:38:02 +08:00
Blizzard f610d8d2da feat(kb): 大文档正文存 MinIO（PG 只留元数据+预览+对象键） 
超过阈值(8000 字)的正文落对象存储，彻底解决十几万字文件塞 PG 的问题。

- internal/blob：minio-go 封装 Store(Open/Put/Get/Delete + Ready 降级)；连不上则降级内联。
- docker-compose：milvus-minio 暴露 9000 端口供网关用作文档对象存储（bucket sundynix-docs）。
- main/router/handler：注入 blob.Store（env MINIO_*，默认 localhost:9000 minioadmin）。
- runIngest：size>8000 且 MinIO 可用 → 正文 Put 到 owner/kb/name，PG content 置空仅存
  object_key+preview+size；否则内联。SaveDoc 改为按全文显式传 preview（offload 后内联为空也有预览）。
- KbDoc：object_key 非空时从 MinIO 取回全文。

验证：入 12182 字笔记 → PG content_len=0、object_key=wt/default/超大文件测试、preview 非空、
size=12182；/kb/doc 取回完整 12182 字（来自 MinIO）；6321 字的仍内联(object_key 空)。
列表只读元数据+预览。gateway build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 17:02:44 +08:00
Blizzard 69967ea534 refactor(kb): 文库列表/正文分离 + [[双链]]索引表（可扛大文件） 
不再一次拉回整库正文、不再前端扫全文 —— 列表只读元数据，正文按需取，链接走索引。

- store: SaveDoc 维护 size+preview(前 500 字)；ListVault 仅 Select 元数据(name/size/preview，
  不含 content)；GetDoc 取单篇全文；DocLink 表 + ReplaceDocLinks(入库/编辑时按 from 重建出链)
  + ListLinks。
- gateway: 入库/笔记保存时正则抽 [[链接]]→ReplaceDocLinks 维护索引；
  /kb/vault 改返元数据+预览；新增 /kb/doc(单篇全文) 与 /kb/links(全库双链)。
- 前端：listVault 返元数据，新增 getDoc/listLinks；VaultPanel 列表只展示名/字数，
  选中后 getDoc 按需载正文(带加载态)，反链/笔记关系图改用服务端 links 索引(不扫全文)。

验证：curl /kb/vault 仅 name/size/preview；/kb/doc 取单篇；/kb/links 返 3 条双链。
Preview：文库点「架构总览」按需载正文(平台分五层)、反向链接(1)=Dispatcher(来自索引)。tsc+vite+gateway build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 16:53:23 +08:00
Blizzard 4fd44380aa refactor(store): DB 规约统一 —— 雪花字符串 id + created/updated/deleted_at 软删 
所有数据库映射结构体收敛到统一基类，清理混乱。

- store/base.go：BaseModel{ID string(雪花,bwmarrin/snowflake) PK, CreatedAt, UpdatedAt,
  DeletedAt gorm软删index} + BeforeCreate 生成 id + NewID()。
- 全模型嵌入 BaseModel：User/Task/LLMModel/KB/Doc/Agent（去掉各自 ID uint/CreatedAt）；
  Task 业务 id(task_xxx)挪到 TaskID 唯一列，主键统一雪花。
- 模型 id uint→string：admin :id 路由、SetActiveModel/DeleteModel/SaveModel、modelBody.ID。
- 一次性迁移 migrateLegacyIntIDs：检测旧整型 id（AutoMigrate 不改主键类型）→ 备份
  sundynix_model 行（唯一不可再生的 API 密钥）→ 删旧表 → 按新规约重建 → 回灌模型（新雪花 id）。
  其它表(User/Task/KB/Doc/Agent)为可重建测试数据，重置。
- Doc 预埋 Size/Preview/ObjectKey 字段，DocLink 表（为后续 B/C）。

验证：重启 gateway → 日志"回灌 2 条模型配置"；PG sundynix_model.id=varchar、有
created_at/updated_at/deleted_at；DeepSeek/百炼 密钥保留(keylen 35)；admin 列表返回
雪花 string id + 脱敏 key；健康五灯全绿。gateway build 通过。

注：mcp-go 的 sundynix_user_profile(Profile) 模型尚未套同规约，待跟进对齐。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 16:45:52 +08:00
Blizzard 4bf614a07c feat(studio): Agent 编排服务端保存 + 我的编排列表（owner 隔离） 
编排好的 Agent 现在可命名保存到服务端、跨会话可见；左侧「我的编排」列出本人全部。

- store: sundynix_agent 表（owner+name 唯一，Graph=React Flow {nodes,edges} JSON 含布局，
  UpdatedAt）；ListAgents(最近在前)/SaveAgent(OnConflict 覆盖图+时间)/DeleteAgent。AutoMigrate +Agent。
- gateway: GET/POST/DELETE /api/v1/agents（owner 隔离，身份取自 X-User-ID）。
- 前端：api listAgents/saveAgent/deleteAgent；StudioView 左面板下半区「我的编排(N)」列出本人编排，
  点击载入(含布局)、悬停删除；工具栏 编排名+保存(服务端)，去掉 localStorage 模板。

验证：curl 保存「合同审查流程」→ wt 列表含之，alice 列表为空(隔离)。Preview：示例图填名「尽调问答
Agent」保存 → 左「我的编排(2)」即时出现两条、可点载入。tsc+vite+gateway build 通过；重建 .app。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 16:23:03 +08:00
Blizzard 10ac5a5277 feat(kb): 笔记可编辑（按 doc 替换重索引）+ 笔记关系图（[[双链]]） 
Obsidian 化继续：笔记能编辑/新建，文档间 [[双链]] 连成可点关系图。

按 doc 重索引（编辑不重复累积）：
- Milvus 加 doc 字段（旧 schema 自动重建）；insert 带 doc；deleteDoc(kb,doc) 重入库前清旧块。
- Bleve 索引 id 含 doc + deleteDoc 按 kb+doc 清旧块。
- rag.Ingest(kb, doc, text)：写入前按 doc 删旧块再写（Neo4j MERGE 仍幂等，附加式）。
- kb_ingest 工具加 doc 参数；gateway runIngest 把 doc 透传，forceDoc 支持编辑保持笔记名稳定。

编辑/新建：
- gateway POST /kb/note {kb,name,content}：落库 + 以 name 为 doc 重入库（替换旧块，搜索/图谱同步）。
- 前端 VaultPanel：阅读/编辑切换（textarea 预填原文，保存调 saveNote）、新建笔记、乐观更新。

笔记关系图：
- GraphView 加 onNode（节点可点）；VaultPanel 阅读/关系图切换，关系图 = 文档间 [[双链]] 三元组
  力导向（点节点跳转该笔记）。

验证：curl 编辑 笔记B → 检索只返编辑后内容（旧块已清，不重复）。Preview：关系图渲染
笔记B—链接→项目A概述/模块X 且节点可点；编辑器预填原文可改可存。tsc+vite+后端 build 通过；重建 .app。

注：Milvus 加 doc 字段会触发集合重建（旧向量丢，文库原文在 PG 可重灌）；Neo4j 图谱按附加式合并，
编辑删除的实体不会自动消失（图谱倾向增长）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 15:22:03 +08:00
Blizzard 55c85302b6 feat(kb): Obsidian 式文库 —— 笔记浏览 + [[双链]] + 反向链接（Tab 化） 
把知识库做出 Obsidian 感：入库的每份文件/笔记留原文，可浏览、可读、可互链。

- store: sundynix_doc（owner+kb+name 唯一，存原文），SaveDoc(OnConflict 覆盖)/ListVault。
- gateway: runIngest 留存原文（文件用文件名、文本用首行作笔记名）；GET /kb/vault?kb= 取文库（owner 隔离）。
- Markdown 组件：解析 [[名称]] / [[名称|别名]] → onLink 可点（Obsidian 双链）。
- KbView 改 Tab（入库 / 文库 / 检索 / 图谱）：
  - 文库 = 左文档列表 + 右 Markdown 笔记（[[双链]]点击跳转）+ 反向链接面板（扫全库 [[本笔记]]）。
  - 检索、图谱各占整页；图谱放大到 460。

验证(Preview)：入两条带 [[双链]] 的笔记 → 文库列出 2 篇 → 打开「项目A概述」渲染出可点的
[[模块X]][[模块Y]] + 反向链接显示「模块X」→ 点 [[模块X]] 跳转到该笔记、其 [[项目A概述]] 亦可点。
curl 证隔离：alice 取 wt 的 vault → 空。tsc+vite+gateway build 通过；重建 .app 重启窗口。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 15:06:31 +08:00
Blizzard 3a175e46f3 feat(kb): 批量文件入库(文件列表) + 项目/案件知识库 + owner 作用域隔离 
回应三点诉求：一次入一批文件、按文件夹/项目/案件组织、且只有我能查我的库。

隔离（核心）：知识库实际分区键 = "owner/name"，owner 由网关从 X-User-ID 注入，
客户端只发库名、发不了 owner —— 故任何人都只能查到自己 owner 前缀下的数据。
- gateway: scopedKB(owner/kb) 注入 ingest/search/graph；ingest/search/graph 全部带身份头。
- store: sundynix_kb 注册表（owner+name 唯一 + kind），ListKB/EnsureKB(OnConflict DoNothing)。

项目/案件组织：
- gateway: GET /kb/list（owner 隔离列表）、POST /kb/create（folder/project/case/general）；
  入库时 EnsureKB 自动登记。
- 前端: KbView 顶部知识库下拉 + 新建（项目/案件/文件夹/通用），检索/图谱/入库都绑定所选库。

批量文件：
- 前端: 选择文件(multiple) + 选择文件夹(webkitdirectory) + 拖拽一批 → 每文件一个 job，
  文件列表实时显示各自状态（排队/解析/向量化/写入/抽取/完成/失败）+ 完成/失败计数。

验证：curl 证隔离 —— wt 入 default→可检索；alice 查同名 default→[] 空；alice 列表不含 wt 案件库。
Preview 证 UI —— 知识库下拉含 案件-2024-001(案件)+default(通用)、owner 隔离徽标、批量/文件夹按钮。
tsc+vite+gateway build 通过；重建 .app 重启窗口。

注：身份目前来自 X-User-ID 头（可信前端），生产应换 JWT 鉴权中间件——隔离机制(owner 前缀)已就位。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:50:33 +08:00
Blizzard 72e008bfe8 feat(kb): 入库可视化做厚 —— 文件解析/知识抽取过程 + 力导向知识图谱 
把"进度条"升级成可观测的入库工作台，回应三点诉求：解析过程、知识抽取过程、丰富图谱。

- contract: IngestEvent 加 Preview（解析文本预览）+ Triples[]TripleView（抽出的三元组）。
- 后端回流：rag.Ingest 抽实体阶段把 LLM 抽出的三元组实时回流（边出现边渲染）；
  gateway 解析完成回流文件类型 + 文本预览片段。
- 前端 GraphView.tsx：零依赖自建力导向布局（斥力+边弹簧+居中静态收敛），实体=节点
  按度着色（枢纽紫/关联青/叶子）、关系=带标签边、hover 高亮邻域、节点过多按度裁剪。
- 前端 KbView 重做：入库从"阶段徽标+进度条"→竖向时间线（解析预览/切块块/向量化进度/
  抽取知识三元组 chips + 实时小图谱逐步浮现）；右侧知识图谱从扁平列表→GraphView，
  入库完成自动刷新整库图谱。

验证(Preview)：入库一段多事实文本 → 时间线逐阶段点亮、抽出 17 条三元组实时浮现、
右侧力导向图渲染 sundynix-agentix/知识库 为枢纽 + 带标签关系边。tsc+vite+后端 build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-13 14:22:50 +08:00
Blizzard d5ae2f71d4 feat(desktop): 工业化升级 D —— 内容可信（Markdown 渲染 + 健康五灯全真） 
- components/Markdown.tsx：零依赖、行级 Markdown 渲染（# 标题 / **粗** *斜* `码` /
  - 与 1. 列表 / > 引用 / --- 分隔 / 段落），流式安全（每 token 重渲染容忍残缺）。
  报告正文与运行输出从裸 <pre> 换成真排版，瞬间像份报告。
- 健康聚合：mcp-go 加 rag.Status() + health 工具（milvus/neo4j/embedding 就绪）；
  gateway GET /api/v1/health 聚合 gateway/nats/db/redis(本地) + milvus/neo4j(经 mcp-go)；
  health.ts 轮询 /health，TopBar 五盏灯（Gateway/DB/NATS/Milvus/Neo4j）从"灰=未知"变真实绿/红。

验证：浏览器(Preview)跑报告——正文以标题/有序列表/引用/分隔线/二级标题排版呈现；
五盏灯全绿（/health 返回 db/gateway/milvus/nats/neo4j/redis 全 true）。tsc + vite build + 后端 build 通过。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-12 17:34:54 +08:00
Blizzard cdc5b3a847 feat(observability): 执行可视化 — 节点级实时轨迹（运行·观测） 
把任务执行做成可观测：Dispatcher 在每个节点/阶段发结构化 ExecEvent，
经独立 NATS 通道回流，前端逐节点点亮（状态/耗时/工具入参产出）。

- shared: contract.ExecEvent + ExecSubject(sundynix.exec.<id>，与 Token 流分流)；
  bus.PublishExec/CompleteExec/SubscribeExec（core NATS，复用结束头）
- dispatcher: execTracer（自增 Seq 保序 + span 自动计耗时）；
  Orchestrator 加 ExecSink；通用图(init 召回 / 各 tool 入参→产出 / prompt / model
  首token+token数)与报告编排(规划大纲 / 各章并行 start-end / 渲染)全程埋点
- gateway: SubscribeExec + GET /tasks/:id/exec SSE（与 token 流并行）
- desktop: streamExec + deriveNodes(按 node 归并 start/end/error/info)；
  复用组件 ExecTrace（竖向轨道，按 kind 着色，运行中脉冲灯）；
  新 RunsView(运行·观测：轨迹+输出双栏)；BottomDrawer 轨迹/工具调用 tab 接真实数据；
  ReportView 加执行轨迹栏；左导航「运行」置就绪

实测：
- 报告任务 /exec：规划(2680ms,4章) → 4 章并行(seq 交错,各~7-8s 重叠=真并行,
  每章带 docs 知识库检索预览+成稿字数) → 渲染(docx 落盘)
- 通用图 /exec：tool:kb_search(678ms,入参→Milvus 产出) → prompt(2消息) →
  model(首token 860ms / 4 tokens)
- 浏览器(Preview)：报告页执行轨迹逐节点点亮、章节带耗时/字数/检索片段，完成后下载 Word

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-12 14:29:28 +08:00
Blizzard ba8c6b3c43 feat(report): 报告生成端到端 — 规划→分章并行检索撰写→渲染真实 Word 
- shared: 新增 intent=report 任务约定 + ReportPath（跨进程共享落盘目录，零配置对齐）
- dispatcher: handleReport 专用编排（DeepSeek 规划大纲 → 各章并行 RAG 检索+撰写
  → 汇聚 → report_render），Pool.Chat 非流式聚合；进度与正文经 Token 流实时回流
- mcp-go: 用标准库 archive/zip + OOXML 拼出真实可打开的 .docx（零额外依赖），
  report_render 工具落盘到共享目录；附 docx 有效性测试
- gateway: POST /reports 触发；GET /reports/:id/download 下发 Word
- desktop: 新增「报告」页（主题→实时编排进度→下载 Word），左导航置为就绪

实测：DeepSeek 生成 5 章报告 → 渲染 5KB docx → file 识别为 Microsoft Word 2007+
→ textutil 提取标题/各章正文完整。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-12 14:02:21 +08:00
Blizzard 21e5f6620d chore: fresh-clone 可直接运行审查与修复 
确保 git clone 后零配置(除 LLM key)即可跑通后端链路。

- go.work: 移出 sundynix-desktop(Wails，//go:embed frontend/dist 需先 npm build，
  且 main 为桩)，避免污染后端工作区构建；保留后端 4 模块
- mcp-py pyproject: 注释未 import 的 mcp/docker 重依赖(对应功能仍为桩)，
  fresh pip install 只装实际用到的 nats-py + docx/openpyxl/pypdf，更快更稳
- README: 完整环境改为 fresh-clone 零配置运行指引(infra→4后端→2前端→控制台配模型)
- 审查结论: 无硬编码绝对路径; 各服务 env 默认全对齐 docker-compose; go.sum/
  package-lock 齐全; /tmp clone 实测: 4 后端模块 go build ✓、admin npm ci+build ✓、
  mcp-py 全新 venv 安装+导入 ✓; e2e PASS

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 17:13:55 +08:00
Blizzard d623b8590e feat: GraphRAG — LLM 抽三元组建 Neo4j 图谱 + 混合检索加图谱第三路 
混合检索从 2 路(向量+全文)升级为 3 路(+图谱)。入库时 LLM 抽实体/关系建
Neo4j 图，检索时图谱路(实体关联三元组)融进 RRF；UI 可视化图谱。

- mcp-go rag: chat.go(OpenAI 兼容非流式 chat 客户端,抽取用) + graph.go(neo4j-go-driver
  连接 + LLM 抽三元组 + MERGE 实体/关系 + 图谱召回/全量三元组) + rag.go(Config 结构;
  graph+chat 路;Ingest 加 抽实体/写Neo4j 阶段;Search 三路 RRF 融合;SetChat 热更新)
- mcp-go: Neo4j env(默认 neo4j://localhost:7687, neo4j/sundynix);订阅 chat 控制面配置
  (复用 DeepSeek 做抽取);新工具 kb_graph(返回三元组)
- gateway: GET /api/v1/kb/graph;frontend KbView 知识图谱面板(实体—关系→实体)
- 验证: 全模块 build✓ + e2e PASS; live——入库'sundynix用Milvus...'→DeepSeek 抽 4 三元组
  →Neo4j(8 实体);检索三路融合 向量=4 全文=2 图谱=1;浏览器图谱面板渲染 4 三元组
- 边界: 实体链接用 CONTAINS 朴素匹配(可升级 LLM 查询实体抽取);全文/图谱重启随入库重建

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 11:10:22 +08:00
Blizzard 2d5fd2fca5 feat: 实时入库监控 + 向量拆分可视化（异步入库 + 进度 SSE） 
入库从同步改为异步流水线 + 进度回流（复用 token 流 NATS streaming）。
UI 实时看到 解析→切块→向量化(分批)→写入 各阶段 + 拆分块预览。

- shared: contract.IngestEvent(stage/done/total/chunks/error)
- mcp-go: rag.Ingest 加 onProgress + 分批向量化(10/批)逐批回报;kb_ingest 带 job_id
  把进度发到 sundynix.streams.<job_id> + CompleteStream
- gateway: 入库异步返回 job_id，后台 runIngest 发进度;GET /kb/ingest/:id/stream SSE
- frontend: streamIngest(EventSource);KbView 实时进度面板(阶段徽标+进度条+拆分列表)
- 验证: build✓+e2e PASS; 浏览器 12 行→6 阶段点亮+进度条 12/12+拆分 12 块逐条

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 10:33:36 +08:00
Blizzard 3550a22557 feat: 文件入库 — docx/xlsx/pdf/csv 经 mcp-py 解析 → RAG 
入库从纯文本升级为多文件类型：解析(mcp-py 算法层)与切块/embedding 解耦。
上传文件 → Gateway 按类型路由 → mcp-py parse_document 解析为文本 → kb_ingest。

- mcp-py: parsers.py(docx=python-docx / xlsx=openpyxl / pdf=pypdf / csv / txt→文本)；
  parse_document 工具做真(base64 文件→文本，线程池跑 CPU 密集解析)；pyproject 加依赖
- gateway: POST /api/v1/kb/ingest_file(multipart)；parseFile 文本类直读、office/pdf→mcp-py
- nats-server.conf: max_payload 8MB(容纳 base64 文件经工具调用；大文件应走对象存储)
- frontend: KbView 加文件上传(accept docx/xlsx/pdf/csv...)；api.ingestFile
- 验证: 全模块 build✓ + e2e PASS; live——4 类文件上传→mcp-py 解析→入库→检索命中:
  docx(营收报告)/xlsx(销量表行)/pdf(Q2计划)/csv(城市人口) 全部正确
- 边界: 扫描件/版面 OCR(MinerU/PaddleOCR)推迟；大文件 base64 走 NATS 受 max_payload
  限，生产应走对象存储(MinIO)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-11 10:10:07 +08:00
Blizzard 8ff68078b7 feat: 知识库管理界面（入库监控 + 检索台） 
桌面端「知识库」模块从占位变为可用：入库(切块/embedding/Milvus 监控) +
检索调试台(向量召回，带分数与来源)。

- mcp-go: 新工具 kb_search(返回结构化 JSON [{text,score}])；rag.Hit 加 json 标签
- gateway: POST /api/v1/kb/search → kb_search（结构化命中给检索台）
- desktop: lib/api ingestKb/searchKb；新 KbView(左 入库+监控日志 / 右 检索台命中列表
  带 Milvus 来源徽标+分数)；App 接 kb 视图；LeftNav 知识库 ready
- 验证: gateway/mcp-go build✓ + e2e PASS + 前端 build✓；真实浏览器——入库3条→监控
  '已入库3块'；语义查询'存储和搜索向量的组件'→Milvus(0.612)>Neo4j>NATS 排序正确,
  全走真实百炼 embedding(控制面下发)+Milvus

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:40:32 +08:00
Blizzard 3b54e59ecf feat: embedding 配置搬上控制面 — 数据源页可视化配置 + 热更新 
embedding 从 env 改为控制面驱动(持久化+可视化)，复用 chat 模型同套范式：
配置控制面泛化为按 kind(chat/embedding)，加 embedding kind。

- shared: 配置 subjects 泛化 sundynix.config.<kind>.get/.updated；bus 方法改 kind 参数
  (RequestConfig/ServeConfig/PublishConfigUpdated/SubscribeConfigUpdated)
- gateway: sundynix_model 加 kind 列(每 kind 唯一激活)+旧行回填 chat；admin 按 kind
  增删改/激活/列表，测试连接 embedding 走 POST /embeddings；main 按 kind ServeConfig；
  变更广播各 kind
- dispatcher: 取 chat 配置(kind 化)
- mcp-go: rag.Engine.SetEmbedding 热更新(RWMutex)；main 取/订阅 embedding 控制面配置
  (覆盖 env)
- admin 控制台: api 按 kind；抽出复用 ModelManager；ModelsPage(chat)+新 DatasourcesPage
  (embedding + 向量/图库占位)；routes 数据源页就绪
- 验证: 全模块 build✓ + e2e PASS + 控制台 npm build✓；live 全跑通——chat(DeepSeek 回填
  kind 仍工作)；mcp-go 不带 EMBED env 启动→控制台配 embedding(百炼)→测试连接✓→激活
  →NATS 热更新 mcp-go→入库+语义检索'存向量的数据库'→Milvus；浏览器数据源页拉到激活配置

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:25:54 +08:00
Blizzard 84d1a1dd3a feat: RAG 核心链 — embedding(provider) + Milvus 真连 + 入库/检索 
mcp-go 接通向量 RAG：embedding(OpenAI 兼容 provider 抽象) + Milvus 真实连接，
kb_ingest 入库、wiki_search 真检索。retriever 节点一行不改即从桩变真。

- mcp-go internal/rag: embed.go(OpenAI 兼容 /embeddings 客户端) + milvus.go(milvus-sdk-go
  真连，集合按首次 embedding 维度懒建+AUTOINDEX/COSINE索引+加载，insert/向量search) +
  rag.go(Engine: 切块→embed→insert / embed query→search；embedding 或 Milvus 缺则降级)
- mcp-go gateway: 新工具 kb_ingest，wiki_search 换真(RAG 向量检索，kb 过滤 topK)
- mcp-go main: rag.Open 读 MILVUS_ADDR/EMBED_BASE_URL/EMBED_API_KEY/EMBED_MODEL 环境变量
- gateway: POST /api/v1/kb/ingest → kb_ingest（供知识库页/脚本）
- scripts/mock_embeddings.py: 确定性词法向量(字+bigram 哈希)，无真 key 验证检索
- 开发期 embedding 接在线 API(无真 key 用 mock)，见 llm-provider-strategy
- 验证: 全模块 build✓ + e2e PASS; live——入库5条→Milvus；retriever 节点查'向量数据库'
  →召回 Milvus 那条→DeepSeek 答'Milvus'；查'知识图谱'→Neo4j（向量检索区分正确）

注: 当前向量单路；Bleve/Neo4j 融合 + rerank + 真实语义 embedding 为后续。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 17:07:36 +08:00
Blizzard 6f5b98f186 feat: 独立运维控制台 (sundynix-admin) — LLM 模型配置控制面前端 
新增独立 Vite+React 控制台(:5174)，运维在此配置控制面，区别于桌面端构建者 UI。

- sundynix-admin: 模型页(列表[激活徽标/脱敏key] + 登记表单 + 测试连接 + 激活/删除)
  → 调 Gateway /api/v1/admin/models*；数据源/租户/护栏 占位(规划中)；Gateway 健康灯
- gateway CORS 补 DELETE（控制台删除模型用）
- Makefile admin 目标(Vite :5174); .claude/launch.json 加 admin-console

验证: npm build✓; 真实浏览器跑通——控制台拉到真实模型列表, 填表→测试连接
✓连接成功(HTTP 200,browser→GW→mock), 保存→表格新增行。激活会经 NATS 热更新
Dispatcher(上一提交已证)。控制台↔控制面↔Dispatcher 全链路打通。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-10 15:54:01 +08:00