 Blizzard
|
446b784fc6
|
feat(harness): RAG 忠实度评测 —— judge 拿检索原文评幻觉
补 Harness 已知洞：此前 LLM-judge 只看 input+output，看不到检索来源，幻觉其实没评。
- Evaluator.Score 增 sources 参数；有来源时走 llmJudgeGrounded：一次调用同时评 quality 质量 +
faithfulness 忠实度，并列出 unsupported（未被来源支持的说法）→ 进 Flags。
综合分(有来源)=0.3规则+0.35质量+0.35忠实；无来源时维持原 0.4规则+0.6质量。Result 增 Faithful 字段。
- 透传检索来源：runGraph 返回 (answer, refs, err)，executeGraph 同步；Handle→evaluate(input,output,refs)；
refsOf(board)=检索资料+工具产出。compose 路径暂返回 nil refs（不评忠实度）。
- eval 日志增「忠实 X.XX，来源 N」。
测试：单测覆盖 grounded（quality/faithfulness/unsupported 解析 + 加权 + flags）与无来源跳过；
3 处测试 runGraph 三返回值更新。live 实测 RAG 任务忠实 1.00/来源 1，judge 正确判定无编造。
project_analysis Harness 清单勾掉该项。
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-06-25 15:03:17 +08:00 |
|
|
Blizzard
|
2ee16d1f99
|
feat(dispatcher): Eino 采纳 Phase C —— 对话主流程跑 compose.Graph + callbacks 归一
按"并存 + 等价回归"策略，对话主流程可跑在 Eino compose.Graph 上：
- compose_graph.go：runConversation 按 EINO_COMPOSE 灰度开关分流；
runComposeConversation 建图 START→ChatModel→END，Compile→Stream 回流 token；
模型未就绪/编译失败降级回 runAgent。默认关，graph.go 仍是默认且权威。
- compose_callbacks.go：composeTracer 用 utils/callbacks 把 ChatModel/Tool 的
start/end/error 桥到 ExecEvent（可观测归一，不再各处手写 emit）。
- LLM 接口 + Pool 增 ChatModel()；fakeLLM 加 cm 字段 + stub Eino 模型。
- 测试：compose 图编译运行 / compose 对话流式 / 开关关→走 runAgent。
顺带修真 bug：SubjectTaskStatus 原 sundynix.tasks.status 落在任务流通配
sundynix.tasks.> 内 → 状态事件被当成"幽灵任务"自我放大（实测污染 2300+ 条）。
挪到 sundynix.status.task + dispatcher 加空任务护栏。
验收：make test-go 全绿；live compose 路径 54 字答复 eval 1.00、默认路径
eval 1.00、幽灵任务 0 复发。剩余 branch/map/render 等节点逐步迁移后 graph.go 退役。
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-06-23 10:42:50 +08:00 |
|
|
Blizzard
|
fa2e2ebeeb
|
feat(dispatcher): Eino 采纳 Phase B —— ReAct 智能体 + MCP 工具自主调用
agent 节点带 autonomous:true 时走 ReAct（flow/agent/react），模型在
推理-工具循环里自行决定调哪些 MCP 工具，而非只跑画死的工具节点。
- 新增 eino/react_agent.go：mcpTool 把 MCP 工具（NATS）适配成
components/tool.InvokableTool；agentTools 暴露 wiki_search +
recall_user_memory（context 参数 user_id 服务端注入，不暴露给模型）；
runReactAgent 流式回流答复，工具调用经适配器落 ExecEvent 轨迹。
- LLM 接口 + *llm.Pool 增 ToolCallingModel()（openai 组件实现
model.ToolCallingChatModel）；fakeLLM 同步桩（返回 nil → 降级普通对话）。
- graph.go：agent 节点按 autonomous 开关分流 ReAct / 普通；自主 agent
不预注入画像（让其经 recall_user_memory 工具按需自取）。
关键修复：默认 StreamToolCallChecker 只看首个流片段，deepseek 常先吐
文本再给 tool call 致漏判 → 改 streamHasToolCall 扫整段流（命中率 ~0→7/7）。
验收：自主工具调用 7/7 命中，args={} 证明注入生效，完整闭环跑通；
make test-go 全绿。已知 eval 看不到工具结果会误判 agent（Phase C 修）。
Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
|
2026-06-22 17:35:19 +08:00 |
|
|
Blizzard
|
8f619c2a62
|
test(dispatcher): 引擎主链路集成测试（pool 抽接口 + 假替身端到端）
把 Orchestrator.pool 从 *llm.Pool 抽成 LLM 接口（Ready/ChatStream/StreamText/Chat），
*llm.Pool 天然满足、main 不变；从而可注入假模型做端到端测试，不依赖网络/Docker/LLM。
新增 integration_test.go（假 LLM/工具/sink/exec 替身）：
- runGraph 分支路由：true/false 边标签精确选路（true 边故意列后）。
- runGraph 工具→agent：工具产出注入 agent 上下文。
- runGraph map fan-out：拆项 → 各章并行撰写 → 多章成稿。
- runGraph 输出护栏：流式 token 中疑似密钥被脱敏。
- handleReport：规划 → 分章撰写 → report_store 存源 → 流含标题/各章 + CompleteStream。
全部 go test -race 通过（修了测试替身 fakeExec 的并发追加竞态；生产 ExecSink 安全）。
至此引擎与报告主链路从"仅手动验证"升级为自动化端到端覆盖。
Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
|
2026-06-19 10:51:39 +08:00 |
|