docs: DEPTH_ROADMAP T2.3 输出缓存(半做,诚实标注命中率有限)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
This commit is contained in:
Blizzard
2026-06-30 09:40:45 +08:00
parent e80e481f9f
commit 5d090304e5
+8 -4
View File
@@ -76,10 +76,14 @@
- [ ] 加检索质量度量(命中率/相关性,离线评测集)
- 验收:三路都真出结果且可度量,能说清"混合检索比单路好多少"。
### [ ] T2.3 Prompt 版本管理 + 输出缓存
- [ ] prompt 版本化(可回溯/对比/灰度)
- [ ] 模型输出缓存(同输入命中,省成本+提速)
- 验收:prompt 可版本切换;重复输入走缓存。
### [~] T2.3 Prompt 版本管理 + 输出缓存(缓存半做)
- [x] 模型输出缓存:`cachingModel`llm/cache.go)包在 failover 外层,缓存 Generate(非流式),
键=模型+工具+消息哈希,默认 TTL 60s(env 可调/关)。单测全过。
⚠️ **诚实**:本平台以流式创作为主、Generate 输入每次变,**真实命中率天然偏低**(主要吃短窗内
逐字相同的重试/双发);机制对、零风险,但非大成本杠杆。更大的省钱项(语义缓存/确定性工具结果
缓存)是后续。
- [ ] prompt 版本化(可回溯/对比/灰度)—— 未做,是 T2.3 的另一半,独立较大块。
- 验收:缓存 ✅ 单测;prompt 版本切换待做。
---