sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
103 Commits 5 Branches 0 Tags
a2d184b7ecea53c4fabe941ce1e809a330705eac
Commit Graph

103 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Blizzard a2d184b7ec feat(observability): OpenTelemetry 全链路追踪（Jaeger + NATS 跨总线传播） 
新增 sundynix-shared/otelx：otelx.Init(ctx,服务名) 注册 W3C 传播器 + OTLP/HTTP
批量导出（默认 localhost:4318，docker 里的 Jaeger）；OTEL_SDK_DISABLED=true 关导出。
Jaeger 不在线 / 导出器构建失败都不阻断启动（可观测性是增益而非依赖）。

- NATS 跨进程传播（无现成中间件）：bus/trace.go 的 natsHeaderCarrier + inject/extract，
  PublishTask/CallTool 注入 traceparent，ConsumeTasks/ServeTool 抽出续上 → 链路跨总线连成一棵树。
- 埋点：gateway 挂 otelgin（HTTP server span，链路根）；dispatcher task.execute →
  node.<kind>（每节点，nctx 下传使工具/LLM 挂到节点下）→ llm.stream/llm.generate；
  bus 自动出 tool.call(client)↔tool.serve(server) 成对跨服务 span。
- docker-compose 加 jaeger all-in-one（UI :16686，OTLP :4318）。
- 依赖修复：otlptracehttp 触发 genproto 单体(旧)vs 拆分模块 ambiguous import（milvus 拉旧版），
  pin genproto 至后拆分版（go.work 工作区全局生效）。
- production_readiness.md 1.1 更新为「已实现」。

验证：真实 input→retriever→agent 任务在 Jaeger 出 14 span / 3 服务的完整树，
跨 NATS（publish→consume）、跨服务（tool.call→tool.serve）均连通，
瓶颈 kb_search 692ms、llm 1597ms 一眼可见；四模块 build+vet+test 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 11:35:08 +08:00
Blizzard 46ef3df221 feat(security): LLM api_key 端到端加密（AES-256-GCM，磁盘+线缆均密文） 
新增 sundynix-shared/secrets：AES-256-GCM，密钥由 SUNDYNIX_SECRET_KEY 经
SHA-256 派生；密文带 enc:1: 版本前缀，历史明文行自动透传（下次保存升级为密文）。

- 网关 SaveModel 加密落库；ListModels/TestModel 解密后脱敏/探测；
  空或脱敏占位的 api_key 视为「未改」→ 沿用库内既有密文（不二次加密）。
- 密文经 NATS 原样下发；消费方解密集中在 bus 层 decryptConfig
  （RequestConfig + SubscribeConfigUpdated）→ dispatcher/mcp-go 零改动。
- secrets.MustHaveKeyInProd()：生产未设 SUNDYNIX_SECRET_KEY 直接 fatal，
  gateway/dispatcher/mcp-go 启动各调一次（三服务须配相同密钥）。
- 修复 store.SaveModel 整行 Save 把 active 清零的旧 bug：改 Select(...).Updates
  只覆盖可编辑列，改 key 不再顺手取消模型激活。
- secrets 单测：往返/空串/随机 nonce/错密钥 fail-closed/历史明文透传。
- production_readiness.md 2.1 更新为「已落地」。

验证：DB 列由明文 sk-…(35) → 密文 enc:1:…(90)；dispatcher 从密文广播解密后
model config set；真实任务 √256→16、12×12→144 打通 DeepSeek（非降级桩）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 10:36:34 +08:00
Blizzard 5cfed55e91 fix(dispatcher,mcp-go): 配置拉取改为后台重试，根治启动竞态 
此前 dispatcher(chat)/mcp-go(embedding) 启动时一次性请求控制面配置，3s 扑空即
降级，且只能干等热更新广播——若消费方早于 gateway 启动，会全程降级（LLM 跑桩、
RAG 无向量），必须手动重启才恢复。

改为：先订阅热更新，再后台 RequestConfigWithRetry（重试至拿到配置，容忍 gateway
晚启）。新增 shared/bus.RequestConfigWithRetry + dispatcher Subscriber 包装。

验收：故意先起 dispatcher/mcp-go、后起 gateway，二者自动重试拿到 chat/embedding
配置，无需手动重启；make test-go 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 09:57:06 +08:00
Blizzard 56eee90705 docs: 订正 project_analysis.md（经源码核实 + 跟进最新进度） 
修 5 处事实硬伤（原分析靠文件名/印象、且写于近期改动之前）：
- 桌面端 UI：shadcn/ui → 自建 UI 原语(src/ui)
- Word 渲染：UniOffice → 自建零依赖 OOXML（unioffice.go 注释明确不用商业库）
- CORS：「未见配置」→ 实有 cors() + CORS_ALLOW_ORIGIN
- 限流：「实现程度不明」→ 实有 Redis 滑动窗口按 IP 限流
- CI/CD：「无」→ 已加 ci.yml + release.yml
另：安全沙箱被误判为「桩」→ 实已可用（run_code 已接入自主 agent）。

补录近期新增功能：Token 流可回放+断点续传(Redis Stream)、
GitHub Releases 分发 + 桌面端自动检查更新。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 09:31:06 +08:00
Blizzard 9f2a059ce2 docs: 项目分析与生产演进蓝图 2026-06-23 20:52:41 +08:00
Blizzard fc1494b634 Merge pull request #2 from blizzardzhang/dev 
Dev
 2026-06-23 17:25:45 +08:00
Blizzard 6d839dbb30 fix(ci): release.yml 的 GOWORK 加引号（裸 off 被 YAML 解析为布尔致 workflow 不触发） 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 17:23:44 +08:00
Blizzard 616ba950b6 test: test 2026-06-23 17:19:18 +08:00
Blizzard 036ff00e4c docs: 发版清单 RELEASE.md（版本号对齐 + tag 发布 + 验证 + 回滚） 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 16:47:51 +08:00
Blizzard 8c980d2b37 feat(desktop,ci): GitHub Releases 分发 + 桌面端检查更新 
让桌面端像开源项目一样用 GitHub Releases 分发，旧版用户自动获知更新：
- CD：.github/workflows/release.yml —— 打 vX.Y.Z 标签触发，macOS(universal)/
  Windows(amd64) 用 wails build 出安装包，softprops/action-gh-release 发布到
  GitHub Release（GOWORK=off，因 desktop 不在工作区）。
- 桌面端检查更新：lib/version.ts（APP_VERSION + 查 GitHub /releases/latest +
  语义版本比较 + openExternal 走 Wails BrowserOpenURL）；UpdateBanner 启动时
  检查，有新版顶部横幅「前往下载」。404/限流/离线均静默不打扰。

注：未签名/公证（macOS Gatekeeper / Win SmartScreen 需后续证书）；release
workflow 需真实 tag push 才能验证（GitHub 侧运行）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 16:26:02 +08:00
Blizzard 9fc3597317 ci: 加 GitHub Actions —— Go/前端/mcp-py 自动化测试 
工程保障地基：每次 push / PR 自动跑回归，防止改动悄悄破坏现有功能。
- go：4 模块 build + vet + test（bus 用内嵌 NATS，无需外部服务）
- web：desktop/frontend + admin 各跑 npm ci + tsc --noEmit（矩阵并行）
- py：mcp-py pip install -e . + sandbox 守卫测试（pytest，缺则 fallback harness）
带 concurrency 取消旧运行、npm/pip/go 缓存。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 16:11:17 +08:00
Blizzard f238ae1455 feat(dispatcher): 编排式多智能体接力 —— 上游 agent 产出沿图传给下游 
让画布上串联的多个 agent 真正协作完成一件事（如 检索→撰写→审查 出报告），
而非各自对原 query 重答：
- board 增 agentOut（各上游 agent 产出按序）；RunCtx 增 Upstream，buildMessages
  注入"前序协作 agent 的产出，请在此基础上继续"。
- runAgent / runReactAgent / runComposeConversation 三条路径统一：注入 b.agentOut
  作上下文，产出经 recordAgentOutput 入黑板（append agentOut + 设为当前成稿 answer，
  多 agent 时最后一个 agent 产出即最终成品）。

不需要 eino multiagent 组件——编排式协作由现有图引擎 + 上下文传递实现。
测试 TestAgentCollaborationPassesOutput：下游 agent 确见上游产出、成稿=下游产出；
make test-go 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 15:42:58 +08:00
Blizzard ddc2265c5b feat(mcp-go): RAG 语义切块 —— 递归 + 句界 + 重叠 + rune 安全 
替换朴素切块（按行切 + 字节硬截）为工业级语义切块：
- 修真 bug：旧版 s[:2000] 按字节切，中文 UTF-8（3 字节/字）会被切碎成乱码；
  新版全程按 rune 操作。
- 算法：splitToAtoms（换行/中英句末标点切原子，超大无标点原子按 rune 窗口兜底）
  → packAtoms（贪心打包到 target=500 字、句末收口，尾块 <100 字并入相邻）
  → addOverlap（块间 80 字重叠，保跨块上下文）。硬上限 1000。
- chunk.go 独立成文件 + chunk_test.go（空/短/rune安全/大小上界/句界/重叠/超大无标点）。

收益：检索片段语义完整（不再断句）、中文不乱码、跨块上下文不丢 → RAG 召回质量。
make test-go 全绿。后续可加 Markdown 标题路径前缀（结构化文档增强）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 15:21:17 +08:00
Blizzard 529cd0fdd6 feat(gateway): SSE token 流可回放 + 断点续传（Redis Stream） 
根治 core NATS 不回放导致的"连晚/刷新/抖动重连丢实时 token"：
- store/redis：token 流落 Redis Stream（XADD，带 TTL）——StreamAppend /
  StreamRead(XREAD BLOCK，支持从任意 ID 续读)。
- gateway：SubmitTask 起即启动 token 录制器（订阅早于 dispatcher 产 token，
  全量捕获，与 SSE 客户端是否在线无关）；StreamTask 改从 Redis Stream 读，
  发 SSE 时带 id（= Redis entry ID），浏览器重连自动带 Last-Event-ID 续传。
  Redis 降级时回退原 live-NATS 路径（streamTaskLive）。

实测：任务跑完后才连 SSE → 完整回放；带 Last-Event-ID 重连 → 断点续传不重不漏；
make test-go 全绿。最终答复本就持久在 Redis 历史，此改让"实时流"也无损。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 15:05:53 +08:00
Blizzard 79437e1c1c feat(mcp-py,dispatcher): 自主 agent 工具动态发现覆盖 mcp-py 
把动态工具发现从 mcp-go 扩到两台 MCP：
- mcp-py：TOOL_META 改成与 mcp-go 同形（cn/desc/agent/params/inject），
  list_tools 上报这些；run_code 标 agent 可用（params: code）→ 自主 agent
  可执行 Python 代码做计算/数据处理。
- dispatcher：agentTools 拆出 discoverTools(subject)，分别探 mcp-go / mcp-py
  的 list_tools 并合并；某台 MCP 离线即跳过（降级，不阻断）。

验收：mcp-py 未启动时自主 agent 仍正常（探测秒跳过），一次自主调用了
history_get + memory_get 两个动态发现的 go 工具（注入 session_id/user_id）；
go 全绿、mcp-py py_compile 通过。mcp-py 起着时 run_code 即自动入 agent 菜单。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 14:34:07 +08:00
Blizzard 95f4752d9e feat(desktop): Agent 节点加「自主工具 (ReAct)」开关 
前端补上 Phase B 的 UI 接缝：agent 节点 nodeCatalog 增 autonomous checkbox
（默认 false）。勾选 → exportDsl 带 config.autonomous=true → dispatcher
走 ReAct 自主调工具。此前能力在后端但画布点不到。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 14:29:37 +08:00
Blizzard 7388f2741d feat(mcp-go,dispatcher): 自主 agent 工具集动态化 —— list_tools 自描述 + 动态发现 
杜绝硬编码：自主 agent 的工具菜单不再写死在 dispatcher，而是从 mcp-go
注册表（单一事实源）动态发现。加工具只改 mcp-go 一处，dispatcher 零改动。

- mcp-go：toolDef 增 agent/agentName/params/inject 元信息（paramSpec 声明
  模型可填参数；inject 声明服务端注入、不暴露给模型的参数如 user_id）；
  list_tools 上报这些。当前标 agent 的 4 个：wiki_search / recall_user_memory
  / remember_user_fact / history_get。
- dispatcher：agentTools() 改为调 list_tools → 取 agent_exposed → 按上报的
  params 建 schema.ToolInfo → 生成 mcpTool；inject 参数（user_id/session_id/
  kb/task_id）运行时绑定。删除硬编码的 2 个工具。

验收：实测自主 agent 调用新暴露的 remember_user_fact（memory_upsert）成功——
参数由模型按 schema 自生成（key/value），user_id 服务端注入（map 带 task_id
佐证）；make test-go 全绿；管理端状态面板兼容（忽略多余 JSON 字段）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 14:29:20 +08:00
Blizzard 45ad852806 feat(dispatcher): Eino 组件化补完 —— 检索 Retriever + 提示词 ChatTemplate 
补完终态架构剩余两层（A 收尾）：
- 检索：新增 ragRetriever（eino_components.go）实现 components/retriever.Retriever，
  包 mcp-go kb_search（NATS）、命中转 *schema.Document；retrieve() 改经组件，
  retriever 节点与报告分章检索统一走它。
- 提示词：buildMessages 改用 prompt.FromMessages + MessagesPlaceholder
  （FString 仅解析模板串、值原样注入 → JSON 花括号安全），产出消息序列与旧手拼等价。
- 工具：mcpTool 即 InvokableTool（Phase B），用于模型自主调用；静态 tool 节点
  确定性裸调用 by design。

测试：buildMessages 形状（含花括号）+ ragRetriever 文档解析单测；make test-go 全绿。

性能：compose 每任务编译实测 ~13µs（基准），相对 LLM 秒级可忽略 → 编译图缓存
判为 premature optimization 暂不做；并行效率已由 Phase C DAG 调度拿到。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 11:20:52 +08:00
Blizzard 2e927eca0a feat(dispatcher): Eino 采纳 Phase C 完成 —— 全图 DSL→compose.Graph 编译器 
把整张 DSL 图编译为 Eino compose.Graph 执行（编排归一）：
- compose_compiler.go：每节点=Lambda，节点体复用 execDSLNode（全节点类型）；
  黑板进 compose 本地状态（WithGenLocalState + ProcessState）；branch 走
  AddBranch + 状态感知条件（复用 branchNode）；边载荷 flowSignal（注册 no-op
  合并支持 fan-in，真实数据全走黑板）。
- WithNodeTriggerMode(AllPredecessor) DAG 模式：无依赖节点并行调度（效率）。
- Handle→executeGraph 按 EINO_COMPOSE 开关选 compose/graph.go；compose 编译
  失败自动降级回 graph.go（安全网）。默认关，graph.go 仍权威。

等价回归：线性图 + 分支图经解释器与 compose 两路径产出逐字一致（单测）；
live 多节点分支图 compose 路径 2800 字答复 eval 1.00、FSM done、0 幽灵；
make test-go 全绿。

过渡期 soak 后翻默认到 compose、退役 graph.go。性能后续：编译图按 DSL-hash 缓存。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 11:02:32 +08:00
Blizzard 2ee16d1f99 feat(dispatcher): Eino 采纳 Phase C —— 对话主流程跑 compose.Graph + callbacks 归一 
按"并存 + 等价回归"策略，对话主流程可跑在 Eino compose.Graph 上：
- compose_graph.go：runConversation 按 EINO_COMPOSE 灰度开关分流；
  runComposeConversation 建图 START→ChatModel→END，Compile→Stream 回流 token；
  模型未就绪/编译失败降级回 runAgent。默认关，graph.go 仍是默认且权威。
- compose_callbacks.go：composeTracer 用 utils/callbacks 把 ChatModel/Tool 的
  start/end/error 桥到 ExecEvent（可观测归一，不再各处手写 emit）。
- LLM 接口 + Pool 增 ChatModel()；fakeLLM 加 cm 字段 + stub Eino 模型。
- 测试：compose 图编译运行 / compose 对话流式 / 开关关→走 runAgent。

顺带修真 bug：SubjectTaskStatus 原 sundynix.tasks.status 落在任务流通配
sundynix.tasks.> 内 → 状态事件被当成"幽灵任务"自我放大（实测污染 2300+ 条）。
挪到 sundynix.status.task + dispatcher 加空任务护栏。

验收：make test-go 全绿；live compose 路径 54 字答复 eval 1.00、默认路径
eval 1.00、幽灵任务 0 复发。剩余 branch/map/render 等节点逐步迁移后 graph.go 退役。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 10:42:50 +08:00
Blizzard 71102d2424 feat(dispatcher,gateway): Eino 采纳 Phase D —— 任务生命周期状态机 
submitted → running → done / failed / timeout 显式状态机，根治"卡运行中
看不出来"（此前 Task.Status 只写死 submitted、从不流转）。

- contract：新增 SubjectTaskStatus 主题 + TaskStatusEvent + 状态常量
- shared/bus：PublishTaskStatus / SubscribeTaskStatus（core NATS pub-sub）
- dispatcher：StatusSink 接口 + Orchestrator.Handle 状态钩子——进入执行
  →running、收尾 finishStatus→done/failed、整体超时上限 taskExecTimeout
  =3min→timeout；经 sub 回写
- gateway：SubscribeTaskStatus 落 PG（Task 增 Detail 字段，AutoMigrate）；
  新增 GET /api/v1/tasks/:id 供 UI 轮询状态

验收：实测 submitted→running→done 流转 + PG 持久化 + 端点查询闭环；
make test-go 全绿。HITL 中断恢复 / 多智能体仍按场景待做。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-23 09:48:44 +08:00
Blizzard dfa1e163bf docs: 项目总体分析 2026-06-22 23:39:21 +08:00
Blizzard fa2e2ebeeb feat(dispatcher): Eino 采纳 Phase B —— ReAct 智能体 + MCP 工具自主调用 
agent 节点带 autonomous:true 时走 ReAct（flow/agent/react），模型在
推理-工具循环里自行决定调哪些 MCP 工具，而非只跑画死的工具节点。

- 新增 eino/react_agent.go：mcpTool 把 MCP 工具（NATS）适配成
  components/tool.InvokableTool；agentTools 暴露 wiki_search +
  recall_user_memory（context 参数 user_id 服务端注入，不暴露给模型）；
  runReactAgent 流式回流答复，工具调用经适配器落 ExecEvent 轨迹。
- LLM 接口 + *llm.Pool 增 ToolCallingModel()（openai 组件实现
  model.ToolCallingChatModel）；fakeLLM 同步桩（返回 nil → 降级普通对话）。
- graph.go：agent 节点按 autonomous 开关分流 ReAct / 普通；自主 agent
  不预注入画像（让其经 recall_user_memory 工具按需自取）。

关键修复：默认 StreamToolCallChecker 只看首个流片段，deepseek 常先吐
文本再给 tool call 致漏判 → 改 streamHasToolCall 扫整段流（命中率 ~0→7/7）。

验收：自主工具调用 7/7 命中，args={} 证明注入生效，完整闭环跑通；
make test-go 全绿。已知 eval 看不到工具结果会误判 agent（Phase C 修）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 17:35:19 +08:00
Blizzard 521902226c docs(eino): 标记 Phase A 已完成 
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 16:55:03 +08:00
Blizzard d84b1eceb5 feat(dispatcher): Eino 采纳 Phase A —— llm.Pool 内部换成 Eino ChatModel 组件 
把手写的 OpenAI HTTP/SSE 客户端换成 eino-ext/openai 的 ChatModel 组件：
- SetConfig 用激活配置构建 ChatModel（热更新=重建实例，读写锁保护）
- ChatStream → cm.Stream（StreamReader 逐 chunk）；Chat → cm.Generate
- 对外签名零变更（Chat/ChatStream/StreamText/Ready/ModelName），
  graph.go / report.go / memory_extract.go 不动
- Ready() 语义升级为「ChatModel 构建成功」，更准
- StreamText 降级桩保留

验收：make test-go 全模块绿；真实链路提交任务经新组件流式出答复
（28 字 + eval 1.00，Stream/Generate 两条路径都过）。

为 Phase B（BindTools 函数调用 + ADK）铺好底层组件。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 16:54:31 +08:00
Blizzard 763646d5c5 chore(dispatcher): 升级 eino v0.9.5 → v0.9.9 + 全面采纳迁移方案 
- dispatcher 升级 cloudwego/eino 到 v0.9.9（go work sync 同步各模块
  transitive 依赖，如 golang.org/x/term v0.44.0）；编译 + eino 链路测试通过
- 新增 EINO_ADOPTION.md：从"只借类型"演进为 Eino-native 编排核心的分阶段
  方案（A 地基 ChatModel 组件 → B ADK 函数调用 → C compose 编排归一 →
  D 状态化执行：任务生命周期 FSM / HITL 中断恢复 / 多智能体）

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 16:38:24 +08:00
Blizzard 8bcb90cdb2 feat(admin): 服务状态面板（基建/服务探活 + MCP 工具注册）+ mcp-go 工具注册表 
管理端新增「运维 › 服务状态」：总览横幅 + 摘要数字 + 请求链路拓扑
（客户端→网关→NATS→调度→MCP，按健康三态着色）+ 应用服务卡（含探针
延迟）+ 基建磁贴 + MCP 工具按能力域分组（中文名/作用）。

探活机制（全走 NATS，无 HTTP）：
- mcp-go/mcp-py 新增 list_tools 自省工具，能应答=在线 + 上报工具清单
- dispatcher 无端点 → 新增 NATS 心跳主题 sundynix.health.dispatcher
  （ServeHealth 应答 model/ready/uptime），网关用 bus.Ping 探
- 网关 GET /api/v1/admin/status 并发聚合四探针 + 各项延迟

mcp-go 重构：switch → map 注册表（buildRegistry），dispatch 与 list_tools
共用单一事实源，杜绝漂移；每个工具带中文名 + 作用描述。mcp-py 同样补元信息。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-22 16:38:10 +08:00
Blizzard 0edfc948ba feat(memory): P2 读路径打分 + 桌面端记忆面板（看/改/删） 
读路径（Generative Agents 公式的 Recency+Importance 两项，Relevance 待 P3）：
- memory.Get 改为 rankProfiles：Score=0.4·Recency+0.6·Importance，按分降序、截断 top-30。
  Recency=0.98^天 指数衰减；未评分行用兜底 importance=5（不被不公平遗忘）。纯函数 + 单测。
- 新增 Store.List（结构化、不截断）+ memory_list 工具。

桌面端记忆面板：
- gateway GET /memory(列表) + DELETE /memory?key=(软删)，受保护组。
- api listMemory/deleteMemory；MemoryView 右侧从占位 → 真列表：按分排序展示
  key/value/重要度/最近时间，可内联编辑(PUT)与删除(软删)；左侧登记后自动刷新。

实测：PUT 两条 → GET 返回带 importance/last_seen 的有序列表（较新者靠前）→ DELETE 一条
（软删）→ 再 GET 已消失。rank/recency/兜底 importance 单测过；前端 tsc+构建通过。

至此记忆：召回(打分) + 历史 + 自动对账(P1) + 用户可管控(面板) 闭环。Relevance(Milvus) 留 P3。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-22 14:48:11 +08:00
Blizzard 1674252d81 feat(memory): P1 长期记忆升级 —— 异步攒批 Consolidate + 软删 + importance/last_seen 
把"逐轮盲写抽取"升级为 Mem0 式对账（方案见 memory_industry_analysis.md 落地节）：

mcp-go：
- Profile 加 Importance(1~10, poignancy) + LastSeenAt（为 Generative Agents 读路径
  Score=w1·Relevance+w2·Recency+w3·Importance 铺路）。
- Upsert 收 importance + 每次置 last_seen（印证）；新增 Delete（软删，BaseModel.DeletedAt
  已具备，失效不物删可审计）+ Touch；memory_upsert 透传 importance、新增 memory_delete 工具。

dispatcher：
- extractMemory → consolidateMemory：一次 LLM 调用同时做 抽取+对账，输出
  [{op:ADD|UPDATE|DELETE|NOOP,key,value,importance}]；ADD/UPDATE→upsert、DELETE→软删；
  sanitizeOps 防幻删(DELETE 须命中已有)/夹 importance[1,10]/同key保末个/丢 NOOP。
- 攒批：每 3 轮（per-session 计数）才 consolidate 一次，省成本，对齐 ChatGPT 周期整理。
  从根上解决 exact-key 盲写的记忆腐烂。

验证：parseOps/sanitizeOps/parseProfile 纯逻辑单测；store 集成测试(真 PG)覆盖
importance/last_seen 写入 + 软删(live 0 / 物理 1)；dispatcher -race 全过。
（注：完整多轮 LLM consolidate 未做实跑，属构造性验证 + 沿用已证 pool.Chat 模式。）

P2 待做：读路径按 Score(Recency+Importance) 排序/衰减/截断 + 桌面端记忆面板。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-22 14:27:16 +08:00
Blizzard b06c768f11 feat: 长期记忆抽取设计优化md 2026-06-19 22:18:54 +08:00
Blizzard 034ee51b0d chore: 更新 go.work.sum（prometheus client 依赖） 
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-19 11:52:08 +08:00
Blizzard 597665f3c8 feat(admin): 计价配置（按模型·分输入/输出单价）—— 计费比率配置落地 
计费需 token↔真钱比率，配置归管理端。本次落地"按模型·分输入/输出"粒度：

后端（gateway）：
- store.Pricing 模型（BaseModel + model_id 唯一 + input_per_1k/output_per_1k + currency），
  AutoMigrate 建 sundynix_pricing；ListPricing/UpsertPricing(OnConflict model_id 覆盖)。
- admin handler：GET /admin/pricing 列表、PUT /admin/pricing 设置（校验非负，币种默认 CNY），
  挂在 RequireAdmin 组下。

前端（admin）：
- api：listPricing/savePricing（带 Bearer）。
- PricingPage：列出所有已登记模型（chat+embedding），每行可编辑 输入/输出每1K单价 + 币种，逐行保存。
- routes 新增「计价」页（配置组）。

实测：PUT→ok；GET 返回正确行；重复 PUT 同 model_id 仍 1 行且值更新（upsert 生效）；表自动迁移。
前端 tsc 干净。下一步可做用量计量 × 单价折算（真正计费）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-19 11:25:24 +08:00
Blizzard 030dcda9b4 feat(admin): 管理端接登录 + Bearer 鉴权 + 修雪花ID/探活（适配硬化后的网关） 
/admin 加 RequireAdmin 后管理端原来无鉴权会 401。本次打通：
- api.ts：JWT token 存 localStorage + 所有 /admin 调用带 Bearer + 401 清令牌广播登出；
  login/me；gatewayOnline 改用公开 /healthz（原 /billing 已转受保护会误判离线）。
- 修类型：Model.id number → string（模型 id 早已迁雪花字符串）。
- Login 登录门 + App 鉴权门（启动校验 me，无则登录页）+ AppShell 显示用户/登出。

实测（硬化网关）：无 token /admin/models → 401；登录拿 token → 200 返回模型(string id)。
dev 未配 ADMIN_USER_IDS 时任意登录账号放行；生产须在白名单。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-19 11:09:02 +08:00
Blizzard 8f619c2a62 test(dispatcher): 引擎主链路集成测试（pool 抽接口 + 假替身端到端） 
把 Orchestrator.pool 从 *llm.Pool 抽成 LLM 接口（Ready/ChatStream/StreamText/Chat），
*llm.Pool 天然满足、main 不变；从而可注入假模型做端到端测试，不依赖网络/Docker/LLM。

新增 integration_test.go（假 LLM/工具/sink/exec 替身）：
- runGraph 分支路由：true/false 边标签精确选路（true 边故意列后）。
- runGraph 工具→agent：工具产出注入 agent 上下文。
- runGraph map fan-out：拆项 → 各章并行撰写 → 多章成稿。
- runGraph 输出护栏：流式 token 中疑似密钥被脱敏。
- handleReport：规划 → 分章撰写 → report_store 存源 → 流含标题/各章 + CompleteStream。

全部 go test -race 通过（修了测试替身 fakeExec 的并发追加竞态；生产 ExecSink 安全）。
至此引擎与报告主链路从"仅手动验证"升级为自动化端到端覆盖。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-19 10:51:39 +08:00
Blizzard 9b33a62573 docs: PROGRESS 对齐实况（记忆抽取已完成勾选 + push 债更新 + 日期） 
记忆抽取(9c19bb4)已完成并 push，但 PROGRESS 那两行回退成未勾；push 债行停留在旧值。
按已提交实况校正，并把可观测性纳入。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-19 10:42:40 +08:00
Blizzard b6a6875795 feat(gateway): 可观测性 —— Prometheus 指标 + 结构化日志 + 探针 
往"生产可运维"推一步（网关前门）：
- Prometheus /metrics：sundynix_http_requests_total{method,route,status}、
  request_duration_seconds 直方图、requests_in_flight。route 用 c.FullPath()
  路由模板（/tasks/:id/...）避免按真实路径高基数。
- 结构化访问日志：slog JSON 到 stderr（request_id/method/route/status/latency_ms/
  ip/uid/bytes），替代 gin 默认文本日志；gin.New()+Recovery 自管中间件链。
- RequestID 中间件：生成/透传 X-Request-ID，写上下文+响应头，供日志关联。
- 探针：/healthz（liveness，不查依赖）、/readyz（readiness，DB+Redis 就绪才 200，
  否则 503），供 k8s 等导流判断；/api/v1/health 深度聚合保留。
- 三个根端点不挂业务鉴权（/metrics 生产应由网络层限制抓取来源）。

验证：单测（计数 +1 / X-Request-ID 生成与透传）；实跑 /healthz 200、/readyz 200
（db,redis ready）、/metrics 输出真实指标、访问日志 JSON 正常、X-Request-ID 回写。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-19 10:38:31 +08:00
Blizzard e05e6f5903 fix(gateway): 三处生产安全硬化（默认密钥/admin裸奔/CORS） 
1) JWT 默认密钥：生产模式(APP_ENV=production|prod 或 GIN_MODE=release)下若未设
   JWT_SECRET 直接 log.Fatal，杜绝用开发默认值签发可伪造令牌；开发期警告并放行。
2) /admin 运维控制面（含模型 API 密钥管理）改挂 RequireAdmin：必须登录 +
   （设了 ADMIN_USER_IDS 则）uid 须在白名单；生产期未配置管理员直接 403。
3) CORS Allow-Origin 由 CORS_ALLOW_ORIGIN 配置（缺省 * 仅开发），非 * 时加 Vary。

build + auth 单测通过。仍属"小范围灰度"级，TLS/可观测/集成测试/HA 见 PROGRESS。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 12:55:04 +08:00
Blizzard 9c19bb44f1 feat(dispatcher): 长期偏好记忆抽取（补全记忆闭环） 
memorize 的 TODO 落地：写回阶段（异步、离热路径）从本轮对话用 LLM 抽取用户
长期稳定偏好 → 与已有画像去重 → memory_upsert 登记。

- extractMemory：模型/工具不可用或输入过短则跳过；复用 llmCtx 超时；
  抽取 prompt 只取长期偏好、忽略一次性信息。
- 纯逻辑（可单测）：parsePrefs（容忍 json 代码围栏）、parseProfile（把 memory_get
  渲染的"- 维度：值"解析回 map，兼容全/半角冒号）、filterNewPrefs（新增/变更才留，
  同批同 key 去重）。
- 单测覆盖三者；LLM 抽取调用沿用已验证的 pool.Chat 模式。

至此记忆闭环：召回(memory_get) + 历史写回 + 偏好自动抽取 全通。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 12:47:49 +08:00
Blizzard aa3139da68 feat(mcp-go): external_api 通用出站 HTTP 工具（带 SSRF 防护） 
新增 external_api 工具（GET/POST）：agent 图可调外部 API。安全为先：
- SSRF 防护 validateExternalURL/isBlockedIP：scheme 限 http/https；拒环回/内网
  /链路本地(含 169.254.169.254 云元数据)/未指定 IP；重定向同样校验、限 3 跳。
- 可选 EXTERNAL_API_ALLOWLIST（逗号分隔主机，支持子域）收窄到白名单。
- 超时 10s + 响应体限 256KB。
- 校验逻辑纯函数，单测覆盖（内网/元数据/scheme/白名单，字面量 IP 离线判定）。

注册进 mcp-go dispatch（external_api → externalAPI）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 11:58:45 +08:00
Blizzard 6523323a27 feat(gateway): MinIO 孤儿对象 GC（重名覆盖后清理旧对象） 
大文档正文存 MinIO，重名再入库若转内联或换键，旧对象会成孤儿泄漏。
SaveDoc 改为返回 (id, oldObjectKey)；runIngest 在覆盖成功后，若旧键非空且
与新键不同，从 MinIO 删除旧对象。新建文档 oldObjectKey 为空，不触发。

注：当前无文档删除/改名端点，主要孤儿路径=大→内联覆盖，已覆盖；
真机 MinIO GC 验证待后续（逻辑直白，blob.Delete/SaveDoc 已分别验证）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 11:56:22 +08:00
Blizzard b7360439ab feat(dispatcher): 输出护栏 —— 发射层脱敏疑似密钥/令牌 
补齐 Harness 输出侧：harness.RedactSecrets 识别并脱敏 sk-/AKIA/JWT/Bearer 等
疑似密钥令牌（纯逻辑 + 单测）。runAgent 在每个 token 分片发射前调用（流式无法回收
已发，故逐片脱敏），脱敏会累计进 b.answer（写回历史也是脱敏版）；有命中则在
运行·观测打一条'已脱敏 N 处'轨迹。

注：跨分片的密钥可能漏（流式现实），逐片为最佳努力；生产可加滑窗缓冲增强。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 11:52:53 +08:00
Blizzard 718140239d fix(dispatcher): 报告 LLM 调用加单次超时上限，治偶发卡死 
之前 writeSection/planOutline/planItems 的 pool.Chat 用无 deadline 的 ctx，个别
DeepSeek 流连接挂住会一直占着（曾累积把整篇卡死）。给每次 LLM 调用套 60s 超时
(llmCtx)：超时即 cancel → 底层 http 请求中断 → Chat 返回错误 → 走兜底，不无限等。
happy path(约18s 完成)不变，仅加上限。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 11:47:46 +08:00
Blizzard 5ec558bf81 build: 加 make test/test-go/test-web/test-py 一键测试目标 
- test-go: 各 Go 模块 go test（DB 集成测试无 MEMORY_TEST_DSN 自动跳过）
- test-web: 前端 tsc 类型检查
- test-py: mcp-py 沙箱守卫测试（pytest 缺则用内置 harness 兜底）
- test = test-go + test-web

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 11:44:31 +08:00
Blizzard cad5b14382 feat(mcp-py): 代码沙箱落地 —— AST 静态守卫 + Docker 隔离执行（弃用桩） 
mcp-py 的 run_code/secure_sandbox 此前全是桩。落地两层防御：

1) 静态守卫 sandbox.SecureSandbox.static_guard（纯 AST，执行前第一道）
   - 拦危险导入(os/sys/subprocess/socket/ctypes/pickle/requests…)、危险调用
     (eval/exec/compile/__import__/open…)、逃逸属性(__subclasses__/__globals__…)、语法错误。
   - 返回 (放行, 原因)。

2) 隔离执行 interpreter.CodeInterpreter.execute（Docker，真隔离）
   - network_disabled 禁网；user=65534 非 root + cap_drop=ALL + no-new-privileges；
     read_only 根 + /tmp tmpfs；mem/memswap(禁swap)/nano_cpus/pids_limit 限资源；
     python -I 隔离模式；wait 超时即 kill；容器一次性 remove。
   - 无 Docker SDK/daemon 时 available()=False 优雅降级，不阻断服务。

gateway：run_code(标准档 256m/0.5cpu/10s) 与 secure_sandbox(紧档 128m/5s) 均走
守卫→隔离，结果整理为 stdout/stderr/exit 可读文本。pyproject 启用 docker 依赖。

验证：
- 守卫 6 单测（放行安全码 / 拦危险导入·调用·逃逸属性 / 语法错误）全过。
- 隔离 4 项实跑（真 Docker）：sum(range(10))→45 exit0；非root uid=65534；
  禁网 urlopen 失败(DNS解析错)；while True 超时 3s 被 kill。
- 无 Docker 降级测过。

生产加固：可把执行运行时换 gVisor(runsc)/Kata（已在注释/PROGRESS 标注）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-18 11:26:08 +08:00
Blizzard 9657a07bb5 feat(auth): 鉴权片2 —— 前端登录闭环 + 保护路由 + 去掉 header 兜底 
把 JWT 鉴权从后端核心闭环到端到端：

后端：
- middleware.RequireAuth：上下文无已验证 uid 则 401；挂在 owner 作用域业务路由组。
- 路由拆 公开/受保护：公开=auth/health + 按 task_id 寻址的 SSE 与报告导出
  （EventSource/下载无法带 Bearer）；受保护=tasks/memory/kb*/agents/reports/billing。
- userID(c) 去掉 X-User-ID 兜底，仅信任 JWT 注入的 uid。
- 修 CORS：Allow-Headers 增 Authorization（否则浏览器拦截带 Bearer 的请求）。

前端：
- lib/api：token 存 localStorage + Bearer 头（不再发 X-User-ID）+ authRegister/Login/Me
  + 401 清令牌并广播 sdx:logout；submitTask/report/memory/列表加载走 Bearer 与 401 守卫。
- views/Login：登录/注册全屏门。
- App：启动校验令牌 → 无则渲染 Login，有则进主应用；identity.userId=已验证 user.id；
  监听 sdx:logout 回登录页。
- TopBar：去掉可编辑身份输入，改显登录用户 + 登出。

实跑验证（docker+gateway+preview）：
- RequireAuth：无 token /kb/list、/agents → 401；/health → 200；带 token → 200。
- 前端：无 token 显登录门；注入有效 token 重载 → 进主应用、顶栏显 Dexter、KB 加载本人库、
  隔离徽标显雪花 uid。控制台无错、生产构建通过。
- 过程中发现并修复 CORS 缺 Authorization 头的真实 bug。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 16:32:00 +08:00
Blizzard 149c35c21b feat(gateway): 真实鉴权片1 —— JWT 注册/登录 + 校验中间件（后端核心） 
替掉"裸 X-User-ID 头当身份"的临时方案，落地无状态 JWT 鉴权后端：

- internal/auth：JWT 签发/校验（HS256，密钥 env JWT_SECRET，仅接受 HMAC 防 alg 混淆）
  + bcrypt 密码哈希/校验。纯包，含单测。
- User 模型加 Name + PasswordHash(json:"-" 不外泄)；store 加 CreateUser/GetUserByEmail/
  GetUserByID（邮箱唯一冲突 → ErrUserExists）。
- handler/auth：POST /auth/register（建用户+签发）· POST /auth/login（校验+签发，
  用户不存在与密码错同一文案防枚举）· GET /auth/me。
- middleware/auth：解析 Bearer JWT，校验通过把已验证 userID 注入上下文（非阻断）。
- userID(c) 改为优先取 JWT 注入的 uid，兜底 X-User-ID 头（前端尚未接登录，保持可用）。

验证：
- 单测：JWT 签发/解析往返、过期拒绝、篡改/非法拒绝、bcrypt 哈希校验。
- 实跑(nats+pg+gateway)：注册→token+user(无密码)、重复注册 409、错密码 401、
  /auth/me 带 token 200 / 无 token 401；owner 隔离改用已验证 uid —— 带 token 建的库
  匿名/伪造 header 都看不到（JWT 用户数据归于雪花 id，header 无法臆测）。

片 2 待做：前端登录页 + 存令牌带 Bearer + 处理 401 + 去掉 header 兜底 + 保护路由。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 16:14:21 +08:00
Blizzard 3ae009db38 feat(dispatcher): LLM 自动化评测落地（规则 + LLM-as-judge）+ 单测 
Evaluator 此前是空桩（Score 恒返 0）且未接线。落地为真实自动化评测并接入：

- 规则评测（always-on，纯函数）：空输出/过短/疑似拒答/重复啰嗦各扣分 → 0–1 分 + 标签。
- LLM-as-judge（模型就绪时）：让模型对(输入,输出)按相关性/准确性/完整性 1–5 打分给理由，
  归一化后与规则分加权（0.4 规则 + 0.6 LLM）；解析失败/无模型则回退纯规则分。
- 经注入 ready/chat 解耦 LLM 后端，便于单测（无需真实模型）。
- 接线：orchestrator 在答复产出后 `go o.evaluate(...)` 异步评分并记日志（off 热路径，
  不影响响应与流式）；main.go 用 pool.Ready/pool.Chat 构造 Evaluator。

测试：规则各情形（正常/空/过短/拒答/重复）、纯规则模式、LLM-judge（带围栏 JSON 解析 +
归一化 + 加权）、坏 JSON 回退 —— 全过。

至此 Harness 三件：熔断降级 ✅ · 输入护栏 ✅ · LLM 自动化评测 ✅（输出护栏待 emit 层）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 15:32:02 +08:00
Blizzard e63632adf5 feat(gateway): 输入护栏拦提示词注入/超大体（弃用空桩）+ 单测 
Guardrail 中间件此前是空桩（直接 c.Next）。落地输入护栏：

- 新增纯逻辑包 internal/guardrail：Inspect(body) 检测提示词注入（忽略既定指令/
  角色越权/诱导泄露提示词，中英文模式）+ 超大体(>256KB)，与 HTTP 解耦便于单测；
  敏感词黑名单留空可扩展。
- 中间件：仅对带 JSON 体的 POST/PUT 检查（文件上传 multipart 与 GET/SSE 跳过）；
  限读 + 命中拦截返回 422；未命中则还原请求体(io.NopCloser)供 handler 读取。
- 输出护栏不在网关做：Token 流是 SSE 实时流，网关缓冲会破坏流式 —— 标到路线图，
  应在 dispatcher token 发射层做。

验证：
- 单测：正常输入不误拦、中英文注入均拦、超大体拦、边界恰好放行。
- 实跑(nats+gateway)：注入(中/英) → 422 带原因；干净输入 → 202 且 body 正确还原、
  handler 正常发布到 NATS。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 15:19:14 +08:00
Blizzard 31bf3e5907 feat(dispatcher): 熔断降级真三态状态机（弃用空桩）+ 单测 
CircuitBreaker 此前是空桩（Allow 恒 true、Report 空操作），dispatcher 调 LLM/工具
无任何失败保护——今天就撞上 DeepSeek 流连接累积把报告卡死。改为真实三态熔断：

- Closed：正常放行；连续失败达阈值(默认5) → Open。
- Open：快速拒绝；冷却(默认10s)到点 → HalfOpen 放行少量探测(默认1)。
- HalfOpen：探测成功 → Closed 恢复；探测失败 → 重新 Open。
- sync.Mutex 并发安全（多任务 goroutine 共享）；时钟可注入便于确定性测试。

orchestrator.Handle：熔断开启时不再静默丢弃任务，改为回流"服务繁忙"提示 +
CompleteStream 收尾，让客户端解阻不挂死。

测试（含 -race）：达阈值断开、成功清零、半开恢复、探测失败重断、并发安全 —— 全过。
PROGRESS.md 勾掉熔断项。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 15:02:45 +08:00
Blizzard 15606a6570 docs: 新增 PROGRESS.md 进度清单（按架构分层的已做/未做活文档） 
对照 architecture.md 5 层 + 功能规划，列出已完成/部分/未实现，复选框形式，
完成一项勾一项，方便记忆与续作。基于当前代码实况（至提交 79f9912）。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-06-17 14:58:58 +08:00