Blizzard
6b31856551
- voice.go: ClientEnd 兜底等待 1200ms→500ms(白吃的时延),首字出声 6.6s→5.3s - voice_task.go: JARVIS 系统提示词改"必须简短/最多三句/先给结论"(语音场景长答案既拖慢 首字又难听;注:deepseek-v4-pro 仍可能不理会长度指令,可靠收短需 max_tokens 硬顶) - voicesim: 时延拆解(提交/首字出声/朗读完毕,以"说完"为0点) 现状:首字出声 ~5.3s,大头是 deepseek 生成第一句(大模型 TTFT);管线开销(兜底+TTS握手)已压到~1s。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
74 lines
3.0 KiB
Go
74 lines
3.0 KiB
Go
package handler
|
|
|
|
import (
|
|
"context"
|
|
"encoding/json"
|
|
"fmt"
|
|
"strings"
|
|
|
|
"github.com/sundynix/sundynix-gateway/internal/dsl"
|
|
"github.com/sundynix/sundynix-shared/contract"
|
|
)
|
|
|
|
// 语音上行接线：最终转写 → 组 DSL → 复用 preflightCore/launchCore 关卡 → 提交任务 → 回 task_id。
|
|
// 语音只是"嘴替键盘"，一行编排/工具/计费逻辑都不新造：走的正是 HTTP SubmitTask 那条关卡
|
|
// （见记忆 execution-single-entry「提交必走 preflight()+launch() 共用关卡」）。
|
|
|
|
// voiceAgentSystem 是语音默认单 agent 的系统提示词：口语化、**极简**、适合朗读（下行要过 TTS）。
|
|
// 语音场景务必短——长答案既拖慢首字出声（要等第一句合成），又让人干听十几秒。
|
|
const voiceAgentSystem = "你是用户的语音助手 JARVIS。这是语音对话，回答必须简短——像真人聊天，" +
|
|
"通常一两句话说清重点即可，最多不超过三句，别长篇大论、别列清单、别念代码。" +
|
|
"先直接给结论。口语化、自然、适合朗读。需要更多细节时再由用户追问。"
|
|
|
|
// buildVoiceGraph 把一句转写组成最简可执行图：input(转写) → agent(JARVIS)。
|
|
// 与前端画布 exportDsl 同构（kind=input/agent、config.text/system），dispatcher 直接吃。
|
|
func buildVoiceGraph(query string) json.RawMessage {
|
|
g := map[string]any{
|
|
"version": "voice-1",
|
|
"nodes": []map[string]any{
|
|
{"id": "voice_in", "kind": "input", "config": map[string]any{"text": query}},
|
|
{"id": "voice_agent", "kind": "agent", "config": map[string]any{"system": voiceAgentSystem}},
|
|
},
|
|
"edges": []map[string]any{
|
|
{"source": "voice_in", "target": "voice_agent"},
|
|
},
|
|
}
|
|
b, _ := json.Marshal(g)
|
|
return b
|
|
}
|
|
|
|
// submitVoiceTask 提交一次语音任务。graphOverride 非空时用客户端画布图（语音触发既有编排），
|
|
// 否则用转写现组的单 agent 图。返回 task_id。
|
|
func (s *voiceSession) submitVoiceTask(transcript, graphOverride string) (string, error) {
|
|
transcript = strings.TrimSpace(transcript)
|
|
if transcript == "" && graphOverride == "" {
|
|
return "", fmt.Errorf("空转写")
|
|
}
|
|
ctx := context.Background() // WS 会话长生命周期，不绑单条请求 ctx
|
|
|
|
var raw json.RawMessage
|
|
if strings.TrimSpace(graphOverride) != "" {
|
|
raw = json.RawMessage(graphOverride) // 语音触发画布上的既有编排图
|
|
} else {
|
|
raw = buildVoiceGraph(transcript)
|
|
}
|
|
task, err := dsl.ParseAndAssemble(raw)
|
|
if err != nil {
|
|
return "", err
|
|
}
|
|
|
|
// 共用关卡：预算 / 暂停 / 计费租户 / 积分硬拦截。被拦时把文案上抛（供语音播报/回传）。
|
|
billingTenant, block := s.h.preflightCore(ctx, s.uid, s.tenantID)
|
|
if block != nil {
|
|
return "", fmt.Errorf("%s", block.message())
|
|
}
|
|
task.Meta[contract.MetaUserID] = s.uid
|
|
task.Meta[contract.MetaTenantID] = billingTenant
|
|
task.Meta[contract.MetaSessionID] = s.sessionID
|
|
|
|
if err := s.h.launchCore(ctx, s.uid, task); err != nil {
|
|
return "", err
|
|
}
|
|
return task.ID, nil
|
|
}
|