feat(voice): 提升桌面端语音交互与本地任务执行支持

2026-07-24 16:40:25 +08:00
parent e9a8b9b4c6
commit aba88193d8
33 changed files with 1909 additions and 102 deletions
@@ -0,0 +1,104 @@
+// Command localsim 模拟桌面端本地执行 runner（联调工具，无需起真 Wails 桌面端）：
+// 连 gateway 的 /api/v1/local/runner WS，注册为当前用户的本地执行器，
+// 在指定工作目录内响应 local_list_dir / local_read_file（只读，与桌面端同协议）。
+//
+// 用法：LOCALSIM_TOKEN=<jwt> go run ./cmd/localsim [-gw ws://localhost:8080] [-dir /path/to/workdir]
+package main
+
+import (
+	"encoding/json"
+	"flag"
+	"fmt"
+	"log"
+	"os"
+	"path/filepath"
+	"strings"
+
+	"github.com/gorilla/websocket"
+)
+
+type req struct {
+	ID   string         `json:"id"`
+	Tool string         `json:"tool"`
+	Args map[string]any `json:"args,omitempty"`
+}
+
+type resp struct {
+	ID      string `json:"id"`
+	OK      bool   `json:"ok"`
+	Content string `json:"content,omitempty"`
+	Error   string `json:"error,omitempty"`
+	Workdir string `json:"workdir,omitempty"`
+}
+
+func main() {
+	gw := flag.String("gw", "ws://localhost:8080", "gateway WS 基址")
+	dir := flag.String("dir", ".", "沙箱工作目录")
+	flag.Parse()
+	token := os.Getenv("LOCALSIM_TOKEN")
+	if token == "" {
+		log.Fatal("缺 LOCALSIM_TOKEN（用户 JWT）")
+	}
+	root, err := filepath.Abs(*dir)
+	if err != nil {
+		log.Fatal(err)
+	}
+
+	url := strings.TrimRight(*gw, "/") + "/api/v1/local/runner?token=" + token
+	conn, _, err := websocket.DefaultDialer.Dial(url, nil)
+	if err != nil {
+		log.Fatalf("连接失败: %v", err)
+	}
+	defer conn.Close()
+	log.Printf("已注册为本地执行器 workdir=%s", root)
+
+	hello, _ := json.Marshal(resp{ID: "hello", OK: true, Workdir: root})
+	_ = conn.WriteMessage(websocket.TextMessage, hello)
+
+	for {
+		_, data, err := conn.ReadMessage()
+		if err != nil {
+			log.Fatalf("连接断开: %v", err)
+		}
+		var r req
+		if json.Unmarshal(data, &r) != nil {
+			continue
+		}
+		log.Printf("收到调用 tool=%s args=%v", r.Tool, r.Args)
+		out, _ := json.Marshal(handle(root, &r))
+		_ = conn.WriteMessage(websocket.TextMessage, out)
+	}
+}
+
+func handle(root string, r *req) *resp {
+	rel, _ := r.Args["path"].(string)
+	p := filepath.Join(root, filepath.Clean("/"+rel)) // 简版沙箱（联调工具；正式沙箱在桌面端）
+	switch r.Tool {
+	case "local_list_dir":
+		ents, err := os.ReadDir(p)
+		if err != nil {
+			return &resp{ID: r.ID, OK: false, Error: err.Error()}
+		}
+		var names []string
+		for _, e := range ents {
+			n := e.Name()
+			if e.IsDir() {
+				n += "/"
+			}
+			names = append(names, n)
+		}
+		data, _ := json.Marshal(map[string]any{"dir": rel, "entries": names})
+		return &resp{ID: r.ID, OK: true, Content: string(data)}
+	case "local_read_file":
+		b, err := os.ReadFile(p)
+		if err != nil {
+			return &resp{ID: r.ID, OK: false, Error: err.Error()}
+		}
+		if len(b) > 64*1024 {
+			b = b[:64*1024]
+		}
+		return &resp{ID: r.ID, OK: true, Content: string(b)}
+	default:
+		return &resp{ID: r.ID, OK: false, Error: fmt.Sprintf("不支持: %s", r.Tool)}
+	}
+}
@@ -8,6 +8,7 @@ import (
 	"net/http"
 	"os"
 	"os/signal"
+	"strings"
 	"syscall"
 	"time"

@@ -94,7 +95,27 @@ func main() {
 	// 任务生命周期：持久消费 dispatcher 回写的状态流转（running/done/failed/timeout），落 PG 供 UI 查询。
 	// JetStream at-least-once：落库失败 → Nak 重投自愈；UpdateTaskStatus 幂等（按 task_id 覆盖），重投无害。
 	statusDrain, serr := bus.ConsumeTaskStatus(context.Background(), func(ctx context.Context, ev *contract.TaskStatusEvent) error {
-		return db.UpdateTaskStatus(ctx, ev.TaskID, ev.Status, ev.Detail)
+		// 主动播报（JARVIS_BRAIN_DESIGN.md P3）：报告类任务首次到达终态 → 给 owner 的语音会话
+		// 发 announce（没开语音就静默丢弃）。prev 比对挡 JetStream 重投的重复播报；best-effort，
+		// 播报失败绝不 Nak——别为一句话把状态落库拖下水。
+		prev, _ := db.GetTaskStatus(ctx, ev.TaskID)
+		if err := db.UpdateTaskStatus(ctx, ev.TaskID, ev.Status, ev.Detail); err != nil {
+			return err
+		}
+		if prev != ev.Status && strings.HasPrefix(ev.TaskID, "report_") &&
+			(ev.Status == "done" || ev.Status == "failed") {
+			if owner := db.TaskOwner(ctx, ev.TaskID); owner != "" {
+				topic := db.TaskTopic(ctx, ev.TaskID)
+				text := "你要的报告《" + topic + "》已经生成好了，可以到报告页查看。"
+				if ev.Status == "failed" {
+					text = "抱歉，报告《" + topic + "》生成失败了，可以稍后再试。"
+				}
+				if perr := bus.PublishVoiceEvent(owner, &contract.VoiceEvent{Action: "announce", Text: text, TaskID: ev.TaskID}); perr != nil {
+					log.Printf("[gateway] 播报发布失败 task=%s: %v", ev.TaskID, perr)
+				}
+			}
+		}
+		return nil
 	})
 	if serr != nil {
 		log.Printf("[gateway] consume task status: %v", serr)
@@ -144,6 +165,13 @@ func main() {
 		log.Printf("[gateway] 入库 worker 池就绪（JetStream 持久队列）")
 	}

+	// 平台工具族（JARVIS 大脑中枢，见 JARVIS_BRAIN_DESIGN.md）：gateway 自己当工具提供方，
+	// dispatcher 经 list_tools 动态发现。提交类工具复用 preflightCore/launchCore 同一关卡。
+	platDrain, perr := handler.New(db, cache, bus, blobStore).ServePlatformTools()
+	if perr != nil {
+		log.Printf("[gateway] 平台工具启动失败（JARVIS 平台操作不可用）: %v", perr)
+	}
+
 	r := router.New(db, cache, bus, blobStore)
 	addr := envOr("GATEWAY_ADDR", ":8080")
 	// 慢读/Slowloris 防护：限制读头/读体时间与头大小。**不设 WriteTimeout**——会掐断
@@ -183,6 +211,12 @@ func main() {
 		ingestDrain(ictx)
 		icancel()
 	}
+	// 停平台工具订阅（在途调用回完再退，dispatcher 拿到结果而非干等超时）。
+	if platDrain != nil {
+		pctx, pcancel := context.WithTimeout(context.Background(), to)
+		platDrain(pctx)
+		pcancel()
+	}
 	// 停状态/用量持久消费者（未 ack 的重启后由 JetStream 重投，幂等落库不丢不重）。
 	if statusDrain != nil {
 		statusDrain(context.Background())