sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
129 Commits 5 Branches 0 Tags
93e9d3b195597534ec04ad3fdc390566d50e0ef2
Commit Graph

10 Commits

Author SHA1 Message Date
Blizzard 93e9d3b195 feat(harness): 低分自动纠偏 —— poor 触发评语驱动重生成，取更优者（测温计→恒温器） 
评测闭环延伸出自愈：当自动评测判定输出为 poor(综合<0.5)，dispatcher 在热路径外
自动用「原问题+初版回答+评审短板(flags/评语)」(有来源则连来源一并喂回、要求严格基于来源)
让模型重写，重评后仅当新分严格更高才采纳(绝不退步)；采纳的修订版落会话历史，
保证多轮上下文用的是好答案而非被判低分的初版。评测终值带 corrected 标记经 NATS→网关落库。

- maxRefineRounds=1：poor 稀少，1 轮重写+重评够用，防成本失控
- canRefine 门控：模型就绪且熔断未开才纠偏，避免后端抖时雪上加霜
- 单 goroutine 串 评测→纠偏→落历史，杜绝原两 goroutine 对答案版本的竞态
- 契约 EvalEvent / Eval 表 / upsert / GET /tasks/:id/eval 均加 corrected 字段
- refine_test.go：采纳更优 / 不退步 / 非低分不触发 三测；live 验证好答案不误触发

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 16:22:45 +08:00
Blizzard 10f08ffb14 feat(harness): 评测闭环 —— 评测结果落库 + 分级 + 告警 + 可查（测温计→恒温器） 
此前 eval 只打日志、不闭环。现在：
- 分级：evalLevel 据综合分+忠实度 → ok(≥0.75) / warn(≥0.5 或忠实<0.6) / poor(<0.5)；poor 出 slog.Warn 告警。
- 落库：dispatcher 评完经 NATS(SubjectEval) 广播 EvalEvent → 网关订阅写 PG（新表 sundynix_eval，
  按 task_id upsert）。沿用任务状态回写那套（dispatcher 无 DB，经 bus→gateway 落库）。
- 可查：GET /api/v1/tasks/:id/eval 返回 overall/rule/llm/faithful/level/flags/reason/sources。
- 契约 EvalEvent + EvalOK/Warn/Poor；bus PublishEval/SubscribeEval；dispatcher EvalSink（NewOrchestrator 第9参）。

验证：三模块 build+vet+test 全绿；live RAG 任务评测落库，端点返回 overall~1.0 / level=ok / faithful=1 / sources=1。
剩：桌面端质量面板、低分自动重试(P3)。project_analysis 勾掉该项。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 15:26:19 +08:00
Blizzard 446b784fc6 feat(harness): RAG 忠实度评测 —— judge 拿检索原文评幻觉 
补 Harness 已知洞：此前 LLM-judge 只看 input+output，看不到检索来源，幻觉其实没评。

- Evaluator.Score 增 sources 参数；有来源时走 llmJudgeGrounded：一次调用同时评 quality 质量 +
  faithfulness 忠实度，并列出 unsupported（未被来源支持的说法）→ 进 Flags。
  综合分(有来源)=0.3规则+0.35质量+0.35忠实；无来源时维持原 0.4规则+0.6质量。Result 增 Faithful 字段。
- 透传检索来源：runGraph 返回 (answer, refs, err)，executeGraph 同步；Handle→evaluate(input,output,refs)；
  refsOf(board)=检索资料+工具产出。compose 路径暂返回 nil refs（不评忠实度）。
- eval 日志增「忠实 X.XX，来源 N」。

测试：单测覆盖 grounded（quality/faithfulness/unsupported 解析 + 加权 + flags）与无来源跳过；
3 处测试 runGraph 三返回值更新。live 实测 RAG 任务忠实 1.00/来源 1，judge 正确判定无编造。
project_analysis Harness 清单勾掉该项。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 15:03:17 +08:00
Blizzard aea04e2e8d docs: project_analysis 增补 Harness 治理层专项 + 逐项优化清单 
记录 Harness 四组件真实成熟度（熔断器生产级 / 评测·脱敏·输入护栏偏启发式），
定性「测温计而非恒温器」，并列出可逐项推进的优化清单（评测闭环 / RAG 忠实度评测 /
脱敏跨片+PII / 输入护栏升级 / 坏输出自动纠偏 / 成本预算护栏），便于一个个优化。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 10:13:56 +08:00
Blizzard 4d867ce460 docs: 重写 project_analysis.md —— Opus 4.8 全程搭建后的实测版 
整体覆盖旧自动分析版。要点：
- 真实数据实测（~19,200 行 / 32 测试文件 / dev 119 提交），订正旧版"基于 main"
  及我此前口头"14 未推送"的口误（实测 dev 仅领先 origin/dev 4 个、origin/main 基本同步）。
- 据实盘点功能 + 本会话端到端验证标注（HITL/6 工具/AES/OTel/并发等均实测确认）。
- 严格区分"功能存在"与"成熟/被验证"：对标矩阵加口径警示，不再喊"超越数万 star/安全最强"。
- 正视生产硬门槛：单点无 HA、无备份灾备、未审计、无配额、规模未验证、推理模型未适配、
  exec 轨迹丢事件、停机不 drain。
- 评分 3.7/5（功能完成度高、运维成熟度低，分列说明）。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 10:05:52 +08:00
Blizzard db77cd687d docs: 订正 project_analysis.md —— 实事求是，挤掉自评水分 
昨晚版（opus 4.6 生成）功能盘点准确，但价值判断系统性虚高，订正：
- 范围：标称"main 分支"实为 dev 工作树（HITL/6 新工具/AES 线缆加密/并发等 14 提交
  未推送合并到 main），头部加范围与口径说明。
- 去过誉："业界顶级""超越数万 star 主流项目""开源安全最强""均不具备" → 改为
  "功能覆盖面广但未经审计/规模验证"，强调勾选≠成熟度。
- 对比矩阵加读法警示（功能存在≠成熟度对等；AutoGen 未纳入；竞品 ❌ 多为实现方式不同）；
  修正 Dify 多智能体/工具发现等不公平 ❌。
- 补真实短板：单点无 HA、规模未验证、无备份灾备、exec 轨迹丢事件、推理模型未适配、
  优雅停机不 drain、安全未审计。
- 重校评分 4.5→3.6，"准生产+"→"工程原型→准生产"，各维度加成熟度折扣说明。
- 优先级补 HA / 压测 / 备份灾备 / 安全审计 / dev→main 推送。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-25 09:52:27 +08:00
Blizzard 36aa298410 docs: 项目分析6.24 2026-06-24 21:32:48 +08:00
Blizzard 56eee90705 docs: 订正 project_analysis.md（经源码核实 + 跟进最新进度） 
修 5 处事实硬伤（原分析靠文件名/印象、且写于近期改动之前）：
- 桌面端 UI：shadcn/ui → 自建 UI 原语(src/ui)
- Word 渲染：UniOffice → 自建零依赖 OOXML（unioffice.go 注释明确不用商业库）
- CORS：「未见配置」→ 实有 cors() + CORS_ALLOW_ORIGIN
- 限流：「实现程度不明」→ 实有 Redis 滑动窗口按 IP 限流
- CI/CD：「无」→ 已加 ci.yml + release.yml
另：安全沙箱被误判为「桩」→ 实已可用（run_code 已接入自主 agent）。

补录近期新增功能：Token 流可回放+断点续传(Redis Stream)、
GitHub Releases 分发 + 桌面端自动检查更新。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
 2026-06-24 09:31:06 +08:00
Blizzard 9f2a059ce2 docs: 项目分析与生产演进蓝图 2026-06-23 20:52:41 +08:00
Blizzard dfa1e163bf docs: 项目总体分析 2026-06-22 23:39:21 +08:00