faa1871760
token 用量估算计量(CJK≈1/字、ASCII≈1/4字,无需分词器,护栏够用)。 单任务硬上限(dispatcher):Budget 挂 ctx 沿图透传,各 LLM 节点(对话/ReAct/compose/ 报告)入口计输入 token、出口计输出,触顶即中止整图——防失控成本(死循环/超大报告)。 报告路径优雅降级:触顶跳过剩余章节出部分稿,不整体失败。预算来源 Meta.token_budget 或 env TASK_TOKEN_BUDGET(默认 20 万)。 单用户日预算(gateway):dispatcher 收尾经 NATS 回写 UsageEvent → 网关按用户按天累计 Redis(48h 过期自滚动)→ 提交前门控 USER_DAILY_TOKEN_BUDGET(0=不限,超额 402)。 /billing 升级为真实用量:当日已用 / 日预算 / 余额。 契约 UsageEvent + MetaTokenBudget + SubjectUsage;bus Publish/SubscribeUsage; orchestrator SetUsageSink + 预算触顶 failed(不计熔断)。harness budget 5 单测,三模块全绿。 live:单任务 budget=30 → failed(已用约689);用户日 budget=200 → /billing remaining=0 → 402。 至此 harness 由「测温计」完成向「恒温器」的演进(评测闭环/纠偏/忠实度/脱敏/输入护栏/预算六项)。 Co-Authored-By: Claude Opus 4.8 (1M context) <noreply@anthropic.com>
150 lines
4.5 KiB
Go
150 lines
4.5 KiB
Go
package store
|
||
|
||
import (
|
||
"context"
|
||
"log"
|
||
"time"
|
||
|
||
"github.com/redis/go-redis/v9"
|
||
)
|
||
|
||
// Redis 持有 CacheDB 连接(Session / Rate Limit)。
|
||
// rdb 为 nil 表示降级模式(连接失败时放行,不限流)。
|
||
type Redis struct {
|
||
rdb *redis.Client
|
||
}
|
||
|
||
// OpenRedis 连接 CacheDB。连接失败不 fatal:返回降级实例(限流放行)。
|
||
func OpenRedis(addr string) *Redis {
|
||
rdb := redis.NewClient(&redis.Options{Addr: addr})
|
||
ctx, cancel := context.WithTimeout(context.Background(), 2*time.Second)
|
||
defer cancel()
|
||
if err := rdb.Ping(ctx).Err(); err != nil {
|
||
log.Printf("[store] redis 不可用,降级运行(不限流): %v", err)
|
||
_ = rdb.Close()
|
||
return &Redis{}
|
||
}
|
||
log.Println("[store] redis connected")
|
||
return &Redis{rdb: rdb}
|
||
}
|
||
|
||
// Enabled 报告是否处于真实限流模式。
|
||
func (r *Redis) Enabled() bool { return r.rdb != nil }
|
||
|
||
// Allow 滑动窗口计数限流:在 window 内对 key 累加,超过 limit 即拒绝。
|
||
// 降级模式(rdb==nil)始终放行。
|
||
func (r *Redis) Allow(ctx context.Context, key string, limit int64, window time.Duration) (bool, error) {
|
||
if r.rdb == nil {
|
||
return true, nil
|
||
}
|
||
rk := "sundynix:ratelimit:" + key
|
||
n, err := r.rdb.Incr(ctx, rk).Result()
|
||
if err != nil {
|
||
return true, err // 限流后端故障时放行,不阻断业务
|
||
}
|
||
if n == 1 {
|
||
_ = r.rdb.Expire(ctx, rk, window).Err() // 首次计数设置窗口过期
|
||
}
|
||
return n <= limit, nil
|
||
}
|
||
|
||
// ---- Token 流持久化(Redis Stream:可回放的追加日志,根治 SSE 连晚/重连丢 token)----
|
||
|
||
// ---- Token 用量日预算(成本护栏:按用户按天累计 token,供提交前门控)----
|
||
|
||
// usageDailyKey 是某用户某天的累计 token key(day 形如 20260626,便于到期自然滚动)。
|
||
func usageDailyKey(userID, day string) string { return "sundynix:usage:" + userID + ":" + day }
|
||
|
||
// AddUsage 给某用户当天累计 token,并返回累计后总量(首次设 48h 过期自动清理)。降级返回 (0,nil)。
|
||
func (r *Redis) AddUsage(ctx context.Context, userID, day string, tokens int) (int64, error) {
|
||
if r.rdb == nil || userID == "" {
|
||
return 0, nil
|
||
}
|
||
rk := usageDailyKey(userID, day)
|
||
n, err := r.rdb.IncrBy(ctx, rk, int64(tokens)).Result()
|
||
if err != nil {
|
||
return 0, err
|
||
}
|
||
if n == int64(tokens) { // 首次累计:设过期
|
||
_ = r.rdb.Expire(ctx, rk, 48*time.Hour).Err()
|
||
}
|
||
return n, nil
|
||
}
|
||
|
||
// GetUsage 取某用户当天已用 token(不存在/降级返回 0)。
|
||
func (r *Redis) GetUsage(ctx context.Context, userID, day string) int64 {
|
||
if r.rdb == nil || userID == "" {
|
||
return 0
|
||
}
|
||
n, err := r.rdb.Get(ctx, usageDailyKey(userID, day)).Int64()
|
||
if err != nil {
|
||
return 0
|
||
}
|
||
return n
|
||
}
|
||
|
||
// ---- Token 流持久化(Redis Stream:可回放的追加日志,根治 SSE 连晚/重连丢 token)----
|
||
|
||
const streamTTL = 10 * time.Minute
|
||
|
||
func streamKey(taskID string) string { return "sundynix:stream:" + taskID }
|
||
|
||
// StreamEntry 是 token 流里的一条记录(ID 用于 SSE 的 Last-Event-ID 断点续传)。
|
||
type StreamEntry struct {
|
||
ID string
|
||
Kind string // token / done
|
||
Data string
|
||
}
|
||
|
||
// StreamAppend 把一条 token / 结束标记追加到任务的 Redis Stream(带 TTL 自动清理)。
|
||
func (r *Redis) StreamAppend(ctx context.Context, taskID, kind, data string) error {
|
||
if r.rdb == nil {
|
||
return nil
|
||
}
|
||
k := streamKey(taskID)
|
||
if err := r.rdb.XAdd(ctx, &redis.XAddArgs{Stream: k, Values: map[string]any{"kind": kind, "data": data}}).Err(); err != nil {
|
||
return err
|
||
}
|
||
return r.rdb.Expire(ctx, k, streamTTL).Err()
|
||
}
|
||
|
||
// StreamRead 从 lastID 之后阻塞读取新条目(XREAD BLOCK)。lastID="0" 表示从头回放。
|
||
// 阻塞超时无新数据时返回空切片 + 原 lastID(调用方据此继续轮询)。
|
||
func (r *Redis) StreamRead(ctx context.Context, taskID, lastID string, block time.Duration) ([]StreamEntry, string, error) {
|
||
if r.rdb == nil {
|
||
return nil, lastID, nil
|
||
}
|
||
res, err := r.rdb.XRead(ctx, &redis.XReadArgs{
|
||
Streams: []string{streamKey(taskID), lastID}, Block: block, Count: 256,
|
||
}).Result()
|
||
if err == redis.Nil {
|
||
return nil, lastID, nil // 阻塞超时、无新条目
|
||
}
|
||
if err != nil {
|
||
return nil, lastID, err
|
||
}
|
||
var out []StreamEntry
|
||
nl := lastID
|
||
for _, st := range res {
|
||
for _, m := range st.Messages {
|
||
out = append(out, StreamEntry{ID: m.ID, Kind: asString(m.Values["kind"]), Data: asString(m.Values["data"])})
|
||
nl = m.ID
|
||
}
|
||
}
|
||
return out, nl, nil
|
||
}
|
||
|
||
func asString(v any) string {
|
||
if s, ok := v.(string); ok {
|
||
return s
|
||
}
|
||
return ""
|
||
}
|
||
|
||
// Close 释放底层连接。
|
||
func (r *Redis) Close() {
|
||
if r.rdb != nil {
|
||
_ = r.rdb.Close()
|
||
}
|
||
}
|