348f1e0249
此前 JARVIS 只能看不能动(本地工具纯只读)、也不会调度,补齐这两块。 【能动的手】local_write_file / local_exec,在用户自选工作目录内动手: - 独立开关:只开只读访问不给这能力,须单独勾「允许写文件/执行命令」 - 原生确认框逐次审批:展示命令原文,默认按钮=拒绝,60s 无人应答按拒绝 (防无人值守被静默批准);可选「本次会话都允许」,关开关即失效 - 硬黑名单:删库/提权/管道下载执行/写系统路径/装开机项/摸凭据等, 用户点同意也不执行,连审批框都不弹。20 条危险命令 + 10 条正常命令单测 - 命令 cwd 锁沙箱根、60s 超时、输出 16KB 截断;非零退出不算失败(编译/测试 错误对模型是有用信息) 【定时任务】sundynix_schedule + leader 锁 ticker(30s 扫) + 三个平台工具: - 存自然语言指令而非编排图,到点走语音同一条关卡(preflightCore/launchCore) 执行,跑完经语音事件主动播报结果 - 先推进 NextRunAt 再提交:提交失败也不会下轮重复捞起反复烧钱 - 停机期间错过的不补跑(补一堆历史提醒是骚扰),直接顺推到下一个未来时刻 【顺带修一个必崩的 bug】dispatcher 工具超时硬编码 3 秒,而审批要等人点 (60s)+执行(60s)——local_exec 100% 超时。改成工具在 list_tools 自报 timeout_sec(不在 dispatcher 硬编码工具名),超时链外松内紧: dispatcher 160s > 网关 150s > runner 转发 140s > 桌面端 60+60s。 live 验证:①「写个 hello.sh 打印日期然后跑一下」→ 写+执行两步,文件真落磁盘 ②「建个定时任务 35 秒后跑 wc -l」→ 到点自动触发 → 自主调 local_exec → 出结果 Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
101 lines
4.8 KiB
Go
101 lines
4.8 KiB
Go
package handler
|
|
|
|
import (
|
|
"context"
|
|
"encoding/json"
|
|
"fmt"
|
|
"strings"
|
|
|
|
"github.com/sundynix/sundynix-gateway/internal/dsl"
|
|
"github.com/sundynix/sundynix-shared/contract"
|
|
)
|
|
|
|
// 语音上行接线:最终转写 → 组 DSL → 复用 preflightCore/launchCore 关卡 → 提交任务 → 回 task_id。
|
|
// 语音只是"嘴替键盘",一行编排/工具/计费逻辑都不新造:走的正是 HTTP SubmitTask 那条关卡
|
|
// (见记忆 execution-single-entry「提交必走 preflight()+launch() 共用关卡」)。
|
|
|
|
// defaultJarvisName 是用户没自定义名字时的默认助手名。
|
|
const defaultJarvisName = "JARVIS"
|
|
|
|
// voiceSystemPrompt 组语音 agent 的系统提示:**简短**是硬基线(语音场景要抢首字、别让人干听十几秒),
|
|
// **名字与语气/人设由用户决定**——name 用户自定义(你叫 JARVIS、别人叫星期五都行),persona 是用户为
|
|
// 这个助手单设的语气人设(与主偏好记忆分开)。persona 为空则默认平和礼貌。
|
|
func voiceSystemPrompt(name, persona string) string {
|
|
n := strings.TrimSpace(name)
|
|
if n == "" {
|
|
n = defaultJarvisName
|
|
}
|
|
s := "你是 " + n + "——用户的私人语音助手,也是这套平台与他电脑的中枢。你能:查/派任务与报告、" +
|
|
"切换客户端界面、在用户授权的工作目录里看文件读文件、写文件、执行 shell 命令、" +
|
|
"以及建定时任务(到点自动办事并播报)。相应工具会提供给你,需要就调。" +
|
|
"铁律一:凡是用户问任务/报告的状态、进度、结果,**必须先调工具查真实数据再回答**——" +
|
|
"哪怕你觉得自己记得,也不许凭记忆或上下文编造任务状态;查不到就如实说查不到。" +
|
|
"铁律二:涉及写文件/执行命令,用户会在电脑上收到确认框;被拒绝或被安全策略挡下时如实告诉他," +
|
|
"不要换个写法绕过去重试。定时任务要算首次执行还有多少秒,先用时间工具拿当前时间再算。" +
|
|
"这是语音对话,务必简短:先直接给结论,一两句话说清,通常不超过三句,别铺垫、别列清单、" +
|
|
"别念代码、别复述问题。口语化、自然。派了任务就告诉用户已开跑、稍后可以问进度,不要干等。"
|
|
if p := strings.TrimSpace(persona); p != "" {
|
|
s += "\n你的语气与人设:" + p
|
|
} else {
|
|
s += "语气平和、礼貌。"
|
|
}
|
|
return s
|
|
}
|
|
|
|
// buildVoiceGraph 把一句转写组成最简可执行图:input(转写) → agent(用户的 JARVIS,带其名字+人设)。
|
|
// 与前端画布 exportDsl 同构(kind=input/agent、config.text/system),dispatcher 直接吃。
|
|
// autonomous=true:走 ReAct 自主工具(含 platform_* 平台工具族)——JARVIS 是大脑中枢不是应声虫,
|
|
// 见 JARVIS_BRAIN_DESIGN.md。不需要工具的闲聊模型直接作答,时延不受影响。
|
|
func buildVoiceGraph(query, name, persona string) json.RawMessage {
|
|
g := map[string]any{
|
|
"version": "voice-1",
|
|
"nodes": []map[string]any{
|
|
{"id": "voice_in", "kind": "input", "config": map[string]any{"text": query}},
|
|
{"id": "voice_agent", "kind": "agent", "config": map[string]any{
|
|
"system": voiceSystemPrompt(name, persona), "autonomous": true,
|
|
}},
|
|
},
|
|
"edges": []map[string]any{
|
|
{"source": "voice_in", "target": "voice_agent"},
|
|
},
|
|
}
|
|
b, _ := json.Marshal(g)
|
|
return b
|
|
}
|
|
|
|
// submitVoiceTask 提交一次语音任务。graphOverride 非空时用客户端画布图(语音触发既有编排),
|
|
// 否则用转写现组的单 agent 图。返回 task_id。
|
|
func (s *voiceSession) submitVoiceTask(transcript, graphOverride string) (string, error) {
|
|
transcript = strings.TrimSpace(transcript)
|
|
if transcript == "" && graphOverride == "" {
|
|
return "", fmt.Errorf("空转写")
|
|
}
|
|
ctx := context.Background() // WS 会话长生命周期,不绑单条请求 ctx
|
|
|
|
var raw json.RawMessage
|
|
if strings.TrimSpace(graphOverride) != "" {
|
|
raw = json.RawMessage(graphOverride) // 语音触发画布上的既有编排图
|
|
} else {
|
|
raw = buildVoiceGraph(transcript, s.jarvisName, s.jarvisPersona) // 带上用户的助手名+人设
|
|
}
|
|
task, err := dsl.ParseAndAssemble(raw)
|
|
if err != nil {
|
|
return "", err
|
|
}
|
|
|
|
// 共用关卡:预算 / 暂停 / 计费租户 / 积分硬拦截。被拦时把文案上抛(供语音播报/回传)。
|
|
billingTenant, block := s.h.preflightCore(ctx, s.uid, s.tenantID)
|
|
if block != nil {
|
|
return "", fmt.Errorf("%s", block.message())
|
|
}
|
|
task.Meta[contract.MetaUserID] = s.uid
|
|
task.Meta[contract.MetaTenantID] = billingTenant
|
|
task.Meta[contract.MetaSessionID] = s.sessionID
|
|
task.Meta[contract.MetaModelProfile] = contract.ModelProfileVoice // 语音任务走 JARVIS 快模型(未配则回落工作模型)
|
|
|
|
if err := s.h.launchCore(ctx, s.uid, task); err != nil {
|
|
return "", err
|
|
}
|
|
return task.ID, nil
|
|
}
|