sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
390 Commits 5 Branches 0 Tags
main
Commit Graph

21 Commits

Author SHA1 Message Date
Blizzard 165ecb4ec6 test(dispatcher): RAG 管线集成测试 —— 检索→注入→生成→refs→忠实度评测整条链 
补全核心链路最后一块。此前只测了 retriever 组件的解析，整条 RAG 管线没被集成覆盖。

新增 rag_integration_test.go 4 例：
- ConversationInjectsAndReturnsRefs：input→retriever→agent，断言 kb_search 被调、
  kb 按 owner 作用域(u42/travel)、检索片段注入 agent system prompt、refs 经 runGraph 回流。
- RefsDriveGroundedEval：有 refs 时 evaluate 走「含检索资料」的 grounded judge 路径，
  记录忠实度分（而非无来源路径）。
- ReportSectionInjectsRefs：报告 writeSection 检索命中注入撰写 prompt。
- DegradesWhenRetrieverDown：kb_search 失败 → 空 refs，agent 仍正常出答案、整图不失败。

go test -race ./internal/eino 干净，四模块全绿。至此核心编排链 + RAG 管线均有集成兜底。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 14:21:11 +08:00
Blizzard 32f50cd983 test(dispatcher): Handle 入口级集成测试 —— 钉死核心编排链 + harness 治理栈协同 
此前测试都直打 runGraph/evaluate，绕过真正的任务入口 Handle()——熔断、输入护栏门控、
状态机流转、token 预算、异步评测/用量这些治理逻辑的协同从未在入口级被覆盖。

新增 handle_test.go 6 例（全 fake 依赖，可断言各出口）：
- HappyPath：running→done + token 流出/收尾 + 异步评测落库(ok)
- ToolFeedsAgent：图执行→工具→agent 全程经 Handle，工具被调、产出注入
- CircuitBreakerOpen：熔断开 → 快速 failed、不执行图
- BudgetExceeded：meta token_budget=3 → failed + 用量回写带 Exceeded
- GuardrailBlocks：灰区 + LLM 分类器命中 → rejected、不进 running
- EmptyTaskDropped：空 id 直接丢弃、无状态回写

配套 fakeStatus/fakeUsageSink；fakeEvalSink 加锁（Handle 异步评测在 goroutine 写）。
go test -race ./internal/eino 干净，四模块全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 14:10:53 +08:00
Blizzard f926f6fd41 feat(obs): exec 执行轨迹 Redis 回放 —— 连晚/重连不再丢轨迹事件 
执行轨迹原本只走瞬时 core NATS（sundynix.exec.<id>），SSE 连晚或刷新重连就丢掉
已发生的节点点亮/工具调用/推理过程事件。本提交把它做成与 token 流同构的可回放流：

- store: Redis Stream 函数加 channel 维度（ChannelToken="stream" / ChannelExec="exec"），
  同一套 XADD/XREAD/TTL 复用；key 按 channel 分命名空间互不串扰。
- gateway: 提交即启 startExecRecorder 后台订阅轨迹落 Redis（与 SSE 是否在线无关，
  12min 兜底含 HITL 审批等待）；StreamExec 改为优先 Redis 回放 + Last-Event-ID 断点续传，
  Redis 降级回退 live NATS（streamExecLive）。

单测 streamKey channel 隔离；live：任务 done 后再连 /exec，仍从 Redis 完整回放
全程轨迹（含推理过程），Redis XLEN 对账一致。

至此「可靠性细节」两项（优雅停机 + 轨迹回放）补齐。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 14:03:31 +08:00
Blizzard 19df6f3a94 feat(ha): 网关多副本安全 —— 事件订阅改队列组，杜绝重复落库/重复计费 
去单点的代码层基础：dispatcher/mcp-go 本就靠队列组可多副本，但网关侧的 eval/usage/
status/config 订阅是广播（nc.Subscribe），多网关副本下每条会被每个副本各处理一遍 →
评测/状态重复写 PG、token 用量重复累加（日预算翻倍）、config 请求多份重复应答。

改为 QueueSubscribe + contract.QueueGateway 队列组：组内每条事件/请求只一个副本处理。
（dispatcher/mcp-go 的 config 变更广播订阅保持 nc.Subscribe 不动——每副本都要热更新。）

验证：
- 单测 TestGatewayQueueDedup：2 网关副本订阅，发 50 条 eval，合计处理 50 次（非 100）。
- live：2 dispatcher 副本提 8 任务，队列组自动 4/4 分摊。

至此进程级全部可水平复制。剩 NATS 集群 / 网关 LB / PG·Redis·Milvus 基础设施 HA 属部署期。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 13:10:49 +08:00
Blizzard 2e3cb8105d fix(store): PG DSN 默认用 127.0.0.1 免每连接 DNS 解析；订正压测报告 C=256 归因 
DSN 由 localhost 改 127.0.0.1（gateway + mcp-go）：pgx 每新建连接解析一次主机名，
高并发连接池扩容时省掉这层 DNS 开销与一类失败模式。

诚实订正：复测发现 DSN 改完 C=256 仍 0 完成（错误从 lookup localhost 变 dial 127.0.0.1 canceled）。
故 C=256 的「停摆」根因不是 DNS，而是单节点在 256 并发下整体饱和（任务排队 + 每任务 3 次 PG
状态写 + 网关 handler 顶不住），属单节点容量上限、非 bug；C≤128 优雅可用，正解是横向扩。
LOAD_TEST_REPORT §4.3/§6 与 project_analysis 容量实测已据实更新。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 12:49:35 +08:00
Blizzard 7bfea74cc0 feat(perf): 容量压测器 + 平台天花板实测曲线 
cmd/loadtest：闭环加压器，阶梯并发，经 SSE 流检测完成（非轮询，避免轮询放大把网关
压成假瓶颈），输出吞吐 + 延迟分位。配套两个 benchmark 开关：
- dispatcher LLM_FORCE_STUB=1 + LLM_STUB_TTFT_MS/INTERTOKEN_MS=0：绕开真实 LLM 推理，
  量平台自身全链路天花板（不烧 token、不被模型节奏掩盖）。
- gateway RATE_LIMIT_PER_MIN 可配（缺省 120）：压测放开限流。

实测（单 dispatcher、并发64、stub）：
- 单任务纯平台开销 ~42ms；吞吐峰值 ~110 全链路任务/秒（饱和点 并发32–64）；
  并发128 优雅降速，256 硬崩。
- 吞吐瓶颈不是 DB 连接数（池 25→80 吞吐不变），是每任务多跳管线综合成本；
  256 崩根因为 DSN 用 localhost、pgx 每连接解析 → 连接churn致 DNS 取消（易修）。
- 关键判断：平台 42ms ≪ LLM 秒级出答案，平台不是瓶颈、GPU 才是；横向拆服务喂满 GPU 集群
  的意义成立。细节与曲线见 project_analysis「容量实测」。

stub 延迟改 env 可配（默认值不变）；不影响线上路径。dispatcher+gateway build/vet/test 全绿。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 11:46:50 +08:00
Blizzard 075d41f5b3 feat(llm): 本地模型接入 vLLM / Ollama + reasoning 思考过程入轨迹 
vLLM 与 Ollama 都暴露 OpenAI 兼容 API（底层 go-openai 请求 {base}/chat/completions），
故统一走 openai 客户端，按 provider 归一化连接参数：
- Ollama/vLLM 的 OpenAI 端点固定在 /v1，BaseURL 漏写自动补全（否则打到 /chat/completions 404）
- 本地后端默认不校验 api_key → 缺省补占位（ollama→"ollama"，vllm→"EMPTY"；openai 客户端要求非空）
- 显式 key 一律尊重（vLLM --api-key 启动）；在线 provider 原样不动（DeepSeek 两种都收）

reasoning_content 适配：ChatStream 增 onReasoning 回调，捕获 reasoning 模型
（本地 Qwen3 思考 / DeepSeek-R1 / QwQ、在线 deepseek-v4-pro）的思考分片。思考阶段分片
Content 为空本就不污染答案；runAgent 把思考累计后 surface 到 exec 轨迹「推理过程」事件。

控制台 ModelManager 加 ollama 选项；llm 包补 normalizeBaseURL / apiKeyOrPlaceholder 单测。
四模块全绿。live：经 admin 配 ollama qwen2.5:0.5b → dispatcher 热切（日志 base 自动 .../v1）
→ POST /v1/chat/completions 200 端到端出答案；切回 deepseek-v4-pro → exec 轨迹现「推理过程：思考26字…」。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 11:10:18 +08:00
Blizzard 05c25d7099 feat(ops): 优雅停机 drain —— 三 Go 服务 SIGTERM 后排空在途，不硬切 
滚动更新/重启时旧的"信号到→进程退"会硬切在途工作：dispatcher 在途任务被掐断、
mcp-go 在途工具调用让 dispatcher 干等超时、gateway 在途 HTTP 请求被截断。

共享 bus 加在途追踪 + drain：
- ConsumeTasks/ServeTool 各加 sync.WaitGroup 跟踪在途 goroutine，返回 drain(ctx)：
  先停止接新活（cc.Stop / Unsubscribe），再等在途跑完至 drain 超时。
- 关键修复：任务 handler 的 ctx 改为派生自 context.Background()（而非信号 ctx），
  否则 SIGTERM 会立即取消在途任务的 ctx，drain 形同虚设。超时未跑完才由 JetStream
  AckWait 重投兜底（不丢任务）。
- DrainTimeout()：SHUTDOWN_DRAIN_TIMEOUT 秒，默认 30s。

各服务收尾：
- gateway：r.Run → http.Server + signal.NotifyContext + srv.Shutdown(drain 在途请求)，
  随后 defer 关 db/redis/bus（HTTP 排空后才断后端连接）。
- dispatcher：收到信号 → drain 在途任务跑完再退。
- mcp-go：收到信号 → drain 在途工具调用回完再退（dispatcher 拿到结果而非超时）。

bus 加 TestGracefulDrain（drain 等满在途任务 + 验证在途 ctx 不被取消），e2e 测试适配
新签名，四模块全绿。live：在途任务执行中 kill -TERM dispatcher → 日志「drain 在途任务」
→ 11s 后 task done(511字完整生成) → 「drain 完成，退出」，任务终态 done 非 failed；
gateway/mcp-go 同样优雅退出。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 10:29:23 +08:00
Blizzard faa1871760 feat(harness): 成本/Token 预算护栏 —— 单任务硬上限 + 单用户日预算（恒温器最后一环） 
token 用量估算计量（CJK≈1/字、ASCII≈1/4字，无需分词器，护栏够用）。

单任务硬上限（dispatcher）：Budget 挂 ctx 沿图透传，各 LLM 节点（对话/ReAct/compose/
报告）入口计输入 token、出口计输出，触顶即中止整图——防失控成本（死循环/超大报告）。
报告路径优雅降级：触顶跳过剩余章节出部分稿，不整体失败。预算来源 Meta.token_budget
或 env TASK_TOKEN_BUDGET（默认 20 万）。

单用户日预算（gateway）：dispatcher 收尾经 NATS 回写 UsageEvent → 网关按用户按天累计
Redis（48h 过期自滚动）→ 提交前门控 USER_DAILY_TOKEN_BUDGET（0=不限，超额 402）。
/billing 升级为真实用量：当日已用 / 日预算 / 余额。

契约 UsageEvent + MetaTokenBudget + SubjectUsage；bus Publish/SubscribeUsage；
orchestrator SetUsageSink + 预算触顶 failed（不计熔断）。harness budget 5 单测，三模块全绿。
live：单任务 budget=30 → failed(已用约689)；用户日 budget=200 → /billing remaining=0 → 402。

至此 harness 由「测温计」完成向「恒温器」的演进（评测闭环/纠偏/忠实度/脱敏/输入护栏/预算六项）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 10:00:51 +08:00
Blizzard 2f78fc565e feat(harness): 输入护栏升级 —— 归一化反绕过(Tier1) + LLM 越狱分类器(Tier2) 
原输入护栏纯正则，空格/编码/同形字一改写即漏，且 bannedTerms 空置。升级为两层：

Tier1（网关同步、无 LLM）：先归一化再匹配，干掉绕过——
- 小写 + 去零宽字符 + 去变音符 + 同形字折叠(西里尔/希腊→拉丁) +
  拆字间隔还原(i g n o r e / i.g.n.o.r.e → ignore) + base64 解码回扫
- 多视图(原文/归一化/紧凑/解码)匹配高精度注入正则，无需穷举变体
- bannedTerms 经 GUARDRAIL_BANNED_TERMS env 落地
- 软信号(jailbreak/developer mode/无限制…)→ 灰区，放行但打 safety_check 标志

Tier2（dispatcher harness LLM 分类器，escalation）：
- 仅对灰区任务执行前调 LLM 裁决 jailbreak+severity，≥0.7 → rejected
- 明确干净/恶意的不付 LLM 成本；模型抖动/解析失败 fail-open 不误锁正常用户

契约新增 MetaSafetyCheck 透传灰区标志；orchestrator 加执行前护栏门控 + SetGuardian。
网关 6 单测 + dispatcher 4 单测，三模块全绿。live：拆字/base64/西里尔同形字均 422 拦，
恶意灰区被 LLM 拒(severity 1)、良性灰区(海盗 roleplay)放行完成。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-26 09:38:34 +08:00
Blizzard 9506a82be9 feat(harness): 输出脱敏增强 —— 跨分片 StreamRedactor + PII，杜绝密钥碎片泄漏 
原逐片脱敏有两个漏：①密钥被切成两片（"sk-912cf85b"|"16d0..."）逐片都不命中正则而漏检；
②贪婪正则在缓冲末尾凑够最短长度就把半截密钥提前脱敏发走、剩余字符随后明文流出（碎片泄漏）。

有状态 StreamRedactor 跨分片缓冲，切点在「原文」上定且绝不切断任何完整匹配：
- opener 暂留末尾仍在增长的疑似密钥（sk/AKIA/JWT/Bearer/手机/邮箱/长数字）
- 始终留 16B 尾窗兜底 opener 未覆盖的短模式；勿切断完整匹配（循环至稳定）
- rune 边界安全：cut 退到最近 rune 起点，中文不被切成半个发出乱码
- 暂留封顶 256B，防对抗性长串无限暂留 / O(n²)
- 新增 PII：手机号 / 邮箱 / 身份证（18 位）

3 个流式点（graph/react_agent/compose_graph）统一接入，逐片 Push + 收尾 Flush。
7 单测（跨片/逐字符 JWT/碎片回归/尾窗内匹配/干净重建/PII/无误伤），-race 干净。
live 实测：26 位密钥（曾泄漏 ijkl90mnop 碎片）与邮箱整条 [已脱敏]。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 16:46:08 +08:00
Blizzard 93e9d3b195 feat(harness): 低分自动纠偏 —— poor 触发评语驱动重生成，取更优者（测温计→恒温器） 
评测闭环延伸出自愈：当自动评测判定输出为 poor(综合<0.5)，dispatcher 在热路径外
自动用「原问题+初版回答+评审短板(flags/评语)」(有来源则连来源一并喂回、要求严格基于来源)
让模型重写，重评后仅当新分严格更高才采纳(绝不退步)；采纳的修订版落会话历史，
保证多轮上下文用的是好答案而非被判低分的初版。评测终值带 corrected 标记经 NATS→网关落库。

- maxRefineRounds=1：poor 稀少，1 轮重写+重评够用，防成本失控
- canRefine 门控：模型就绪且熔断未开才纠偏，避免后端抖时雪上加霜
- 单 goroutine 串 评测→纠偏→落历史，杜绝原两 goroutine 对答案版本的竞态
- 契约 EvalEvent / Eval 表 / upsert / GET /tasks/:id/eval 均加 corrected 字段
- refine_test.go：采纳更优 / 不退步 / 非低分不触发 三测；live 验证好答案不误触发

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 16:22:45 +08:00
Blizzard 10f08ffb14 feat(harness): 评测闭环 —— 评测结果落库 + 分级 + 告警 + 可查（测温计→恒温器） 
此前 eval 只打日志、不闭环。现在：
- 分级：evalLevel 据综合分+忠实度 → ok(≥0.75) / warn(≥0.5 或忠实<0.6) / poor(<0.5)；poor 出 slog.Warn 告警。
- 落库：dispatcher 评完经 NATS(SubjectEval) 广播 EvalEvent → 网关订阅写 PG（新表 sundynix_eval，
  按 task_id upsert）。沿用任务状态回写那套（dispatcher 无 DB，经 bus→gateway 落库）。
- 可查：GET /api/v1/tasks/:id/eval 返回 overall/rule/llm/faithful/level/flags/reason/sources。
- 契约 EvalEvent + EvalOK/Warn/Poor；bus PublishEval/SubscribeEval；dispatcher EvalSink（NewOrchestrator 第9参）。

验证：三模块 build+vet+test 全绿；live RAG 任务评测落库，端点返回 overall~1.0 / level=ok / faithful=1 / sources=1。
剩：桌面端质量面板、低分自动重试(P3)。project_analysis 勾掉该项。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 15:26:19 +08:00
Blizzard 446b784fc6 feat(harness): RAG 忠实度评测 —— judge 拿检索原文评幻觉 
补 Harness 已知洞：此前 LLM-judge 只看 input+output，看不到检索来源，幻觉其实没评。

- Evaluator.Score 增 sources 参数；有来源时走 llmJudgeGrounded：一次调用同时评 quality 质量 +
  faithfulness 忠实度，并列出 unsupported（未被来源支持的说法）→ 进 Flags。
  综合分(有来源)=0.3规则+0.35质量+0.35忠实；无来源时维持原 0.4规则+0.6质量。Result 增 Faithful 字段。
- 透传检索来源：runGraph 返回 (answer, refs, err)，executeGraph 同步；Handle→evaluate(input,output,refs)；
  refsOf(board)=检索资料+工具产出。compose 路径暂返回 nil refs（不评忠实度）。
- eval 日志增「忠实 X.XX，来源 N」。

测试：单测覆盖 grounded（quality/faithfulness/unsupported 解析 + 加权 + flags）与无来源跳过；
3 处测试 runGraph 三返回值更新。live 实测 RAG 任务忠实 1.00/来源 1，judge 正确判定无编造。
project_analysis Harness 清单勾掉该项。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 15:03:17 +08:00
Blizzard aea04e2e8d docs: project_analysis 增补 Harness 治理层专项 + 逐项优化清单 
记录 Harness 四组件真实成熟度（熔断器生产级 / 评测·脱敏·输入护栏偏启发式），
定性「测温计而非恒温器」，并列出可逐项推进的优化清单（评测闭环 / RAG 忠实度评测 /
脱敏跨片+PII / 输入护栏升级 / 坏输出自动纠偏 / 成本预算护栏），便于一个个优化。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 10:13:56 +08:00
Blizzard 4d867ce460 docs: 重写 project_analysis.md —— Opus 4.8 全程搭建后的实测版 
整体覆盖旧自动分析版。要点：
- 真实数据实测（~19,200 行 / 32 测试文件 / dev 119 提交），订正旧版"基于 main"
  及我此前口头"14 未推送"的口误（实测 dev 仅领先 origin/dev 4 个、origin/main 基本同步）。
- 据实盘点功能 + 本会话端到端验证标注（HITL/6 工具/AES/OTel/并发等均实测确认）。
- 严格区分"功能存在"与"成熟/被验证"：对标矩阵加口径警示，不再喊"超越数万 star/安全最强"。
- 正视生产硬门槛：单点无 HA、无备份灾备、未审计、无配额、规模未验证、推理模型未适配、
  exec 轨迹丢事件、停机不 drain。
- 评分 3.7/5（功能完成度高、运维成熟度低，分列说明）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 10:05:52 +08:00
Blizzard db77cd687d docs: 订正 project_analysis.md —— 实事求是，挤掉自评水分 
昨晚版（opus 4.6 生成）功能盘点准确，但价值判断系统性虚高，订正：
- 范围：标称"main 分支"实为 dev 工作树（HITL/6 新工具/AES 线缆加密/并发等 14 提交
  未推送合并到 main），头部加范围与口径说明。
- 去过誉："业界顶级""超越数万 star 主流项目""开源安全最强""均不具备" → 改为
  "功能覆盖面广但未经审计/规模验证"，强调勾选≠成熟度。
- 对比矩阵加读法警示（功能存在≠成熟度对等；AutoGen 未纳入；竞品 ❌ 多为实现方式不同）；
  修正 Dify 多智能体/工具发现等不公平 ❌。
- 补真实短板：单点无 HA、规模未验证、无备份灾备、exec 轨迹丢事件、推理模型未适配、
  优雅停机不 drain、安全未审计。
- 重校评分 4.5→3.6，"准生产+"→"工程原型→准生产"，各维度加成熟度折扣说明。
- 优先级补 HA / 压测 / 备份灾备 / 安全审计 / dev→main 推送。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 09:52:27 +08:00
Blizzard 36aa298410 docs: 项目分析6.24 2026-06-24 21:32:48 +08:00
Blizzard 56eee90705 docs: 订正 project_analysis.md（经源码核实 + 跟进最新进度） 
修 5 处事实硬伤（原分析靠文件名/印象、且写于近期改动之前）：
- 桌面端 UI：shadcn/ui → 自建 UI 原语(src/ui)
- Word 渲染：UniOffice → 自建零依赖 OOXML（unioffice.go 注释明确不用商业库）
- CORS：「未见配置」→ 实有 cors() + CORS_ALLOW_ORIGIN
- 限流：「实现程度不明」→ 实有 Redis 滑动窗口按 IP 限流
- CI/CD：「无」→ 已加 ci.yml + release.yml
另：安全沙箱被误判为「桩」→ 实已可用（run_code 已接入自主 agent）。

补录近期新增功能：Token 流可回放+断点续传(Redis Stream)、
GitHub Releases 分发 + 桌面端自动检查更新。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 09:31:06 +08:00
Blizzard 9f2a059ce2 docs: 项目分析与生产演进蓝图 2026-06-23 20:52:41 +08:00
Blizzard dfa1e163bf docs: 项目总体分析 2026-06-22 23:39:21 +08:00