sundynix-agentix

sundynix/sundynix-agentix

Fork 0

Commit Graph

Author	SHA1	Message	Date
Blizzard	446b784fc6	feat(harness): RAG 忠实度评测 —— judge 拿检索原文评幻觉补 Harness 已知洞：此前 LLM-judge 只看 input+output，看不到检索来源，幻觉其实没评。 - Evaluator.Score 增 sources 参数；有来源时走 llmJudgeGrounded：一次调用同时评 quality 质量 + faithfulness 忠实度，并列出 unsupported（未被来源支持的说法）→ 进 Flags。综合分(有来源)=0.3规则+0.35质量+0.35忠实；无来源时维持原 0.4规则+0.6质量。Result 增 Faithful 字段。 - 透传检索来源：runGraph 返回 (answer, refs, err)，executeGraph 同步；Handle→evaluate(input,output,refs)； refsOf(board)=检索资料+工具产出。compose 路径暂返回 nil refs（不评忠实度）。 - eval 日志增「忠实 X.XX，来源 N」。测试：单测覆盖 grounded（quality/faithfulness/unsupported 解析 + 加权 + flags）与无来源跳过； 3 处测试 runGraph 三返回值更新。live 实测 RAG 任务忠实 1.00/来源 1，judge 正确判定无编造。 project_analysis Harness 清单勾掉该项。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-06-25 15:03:17 +08:00
Blizzard	2e927eca0a	feat(dispatcher): Eino 采纳 Phase C 完成 —— 全图 DSL→compose.Graph 编译器把整张 DSL 图编译为 Eino compose.Graph 执行（编排归一）： - compose_compiler.go：每节点=Lambda，节点体复用 execDSLNode（全节点类型）；黑板进 compose 本地状态（WithGenLocalState + ProcessState）；branch 走 AddBranch + 状态感知条件（复用 branchNode）；边载荷 flowSignal（注册 no-op 合并支持 fan-in，真实数据全走黑板）。 - WithNodeTriggerMode(AllPredecessor) DAG 模式：无依赖节点并行调度（效率）。 - Handle→executeGraph 按 EINO_COMPOSE 开关选 compose/graph.go；compose 编译失败自动降级回 graph.go（安全网）。默认关，graph.go 仍权威。等价回归：线性图 + 分支图经解释器与 compose 两路径产出逐字一致（单测）； live 多节点分支图 compose 路径 2800 字答复 eval 1.00、FSM done、0 幽灵； make test-go 全绿。过渡期 soak 后翻默认到 compose、退役 graph.go。性能后续：编译图按 DSL-hash 缓存。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>	2026-06-23 11:02:32 +08:00

Author

SHA1

Message

Date

Blizzard

446b784fc6

feat(harness): RAG 忠实度评测 —— judge 拿检索原文评幻觉

补 Harness 已知洞：此前 LLM-judge 只看 input+output，看不到检索来源，幻觉其实没评。

- Evaluator.Score 增 sources 参数；有来源时走 llmJudgeGrounded：一次调用同时评 quality 质量 +
  faithfulness 忠实度，并列出 unsupported（未被来源支持的说法）→ 进 Flags。
  综合分(有来源)=0.3规则+0.35质量+0.35忠实；无来源时维持原 0.4规则+0.6质量。Result 增 Faithful 字段。
- 透传检索来源：runGraph 返回 (answer, refs, err)，executeGraph 同步；Handle→evaluate(input,output,refs)；
  refsOf(board)=检索资料+工具产出。compose 路径暂返回 nil refs（不评忠实度）。
- eval 日志增「忠实 X.XX，来源 N」。

测试：单测覆盖 grounded（quality/faithfulness/unsupported 解析 + 加权 + flags）与无来源跳过；
3 处测试 runGraph 三返回值更新。live 实测 RAG 任务忠实 1.00/来源 1，judge 正确判定无编造。
project_analysis Harness 清单勾掉该项。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-06-25 15:03:17 +08:00

Blizzard

2e927eca0a

feat(dispatcher): Eino 采纳 Phase C 完成 —— 全图 DSL→compose.Graph 编译器

把整张 DSL 图编译为 Eino compose.Graph 执行（编排归一）：
- compose_compiler.go：每节点=Lambda，节点体复用 execDSLNode（全节点类型）；
  黑板进 compose 本地状态（WithGenLocalState + ProcessState）；branch 走
  AddBranch + 状态感知条件（复用 branchNode）；边载荷 flowSignal（注册 no-op
  合并支持 fan-in，真实数据全走黑板）。
- WithNodeTriggerMode(AllPredecessor) DAG 模式：无依赖节点并行调度（效率）。
- Handle→executeGraph 按 EINO_COMPOSE 开关选 compose/graph.go；compose 编译
  失败自动降级回 graph.go（安全网）。默认关，graph.go 仍权威。

等价回归：线性图 + 分支图经解释器与 compose 两路径产出逐字一致（单测）；
live 多节点分支图 compose 路径 2800 字答复 eval 1.00、FSM done、0 幽灵；
make test-go 全绿。

过渡期 soak 后翻默认到 compose、退役 graph.go。性能后续：编译图按 DSL-hash 缓存。

Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>

2026-06-23 11:02:32 +08:00

2 Commits