sundynix/sundynix-agentix
1
0
Fork 0
Code Issues Pull Requests Actions Packages Projects Releases Wiki Activity
384 Commits 5 Branches 0 Tags
feat/site
Commit Graph

384 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
Blizzard 5c50c87a88 docs: 重写架构文档——工程级完整版(5 张 Mermaid 图 + 功能状态总表) 
原文停在 2026-07-02 已严重失真:能力矩阵还写「多租户/RBAC 未动、真实计费
未做、NATS 集群未做」,而这三项均已完成并 live 验证。它又被 5 份设计文档
引用为配套文档,不能放着不管。

重写为 15 章 913 行,以代码为单一事实源:
- 分层架构图 + 3 张关键链路时序图(任务提交/语音全双工/本地执行三道闸)
  + 三机部署拓扑图,全部 Mermaid(已用 mermaid-cli 逐张渲染验证)
- 5 个服务逐个拆:internal 包职责 + 技术栈依赖表含版本
- NATS 契约总表:1 任务流 + 3 回流 + 4 组工具 RPC + 5 条持久回写流 + KV
- 编排引擎:12 种节点 kind、ReAct、11 个平台工具、harness 五件套
- 29 张表全清单 + 9 个中间件 + 迁移机制
- 13 域功能实现状态总表(✅/🟡/❌)
- 安全治理/可观测/客户端三产品面/CI-CD/技术栈速查/已知缺口

顺带记账:§9.14 点名 4 处文档与代码不符(PROGRESS.md 停更、DEPTH_ROADMAP
汇总表自相矛盾、Tier3 说 NATS 集群没做但已落地、PAYMENT_DESIGN 说不做订阅
但已实现),明确以代码为准,避免后来人被误导。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-07-27 11:46:02 +08:00
Blizzard 7e0393bf62 fix(ui): 设置弹窗狂闪+输入被清空(toast context 每次渲染造新对象) + 配置生效可见 
【弹窗闪/填着填着没了】根因在 Toast Provider：`value={{ push }}` 每次渲染都造
新对象，而全项目有 7 处把 useToast() 结果放进 useEffect 依赖。于是**任意一条
toast 弹出**都会让这些 effect 重跑——JarvisSettings 因此重新拉取配置、把用户
正在填的内容覆盖掉；若拉取本身失败又会 push 错误 toast → 无限循环狂闪。

修：Provider 的 context value 用 useMemo 稳定（一处修好，7 处受益）；
JarvisSettings 的加载 effect 只依赖 open，toast 走 ref 取用（纵深防御）。

【不确定配置是否生效】改完名字语音坞还挂着旧名（只在挂载时拉一次），
用户完全看不出改动生效——这本身就是 bug。
修：设置保存后回调 onSaved → 语音坞立刻重拉名字；弹窗顶部加「当前生效」摘要
（助手名/人设是否自定义/语音走自己的还是系统配置）+ 一句验证方法。

live 验证：①填入「星期五」后触发 toast，输入内容不再被清空 ②保存后落库正确
③按语音提示词问「你是谁」→ 答「我是星期五，你的私人语音助手」

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-07-25 15:54:01 +08:00
Blizzard a16229573b feat(jarvis): 本地沙箱改多目录白名单 + 让它知道自己能操作这台电脑 
单目录沙箱做不了"操作我电脑"——只能在一个文件夹里打转,跨目录整理直接没戏。
且模型压根不知道 shell 除了跑脚本还能开 App、控 App、触发快捷指令。

沙箱：单根 → 多根白名单
- 用户授权多个目录（设置里每行一个，可一键填入桌面/下载/文档），其余一律拒
- 路径改绝对路径（多根之下相对路径没有唯一含义），支持 ~ 展开，相对路径兜底按首个根解释
- local_list_dir 留空 path = 返回授权目录清单 → 模型据此自己发现"我能访问哪儿"
- local_exec 可指定 cwd（须在授权目录内）
- 防逃逸不变：软链解析后必须落在某个根内，越界即拒（单测覆盖 ../ 与软链逃逸）

告诉模型它能干什么
- local_exec 描述展开：文件整理(mv/cp/find)、mdfind 全盘搜、open 开应用/文件/网址、
  osascript 控制 Mac App、shortcuts run/list 触发快捷指令、系统信息
- 语音系统提示词把 JARVIS 定位成"这台电脑的操作者"，并要求先想清用哪个工具再动手

live 验证（两个授权目录）：
① "你能访问哪些目录，里面有什么" → 自主先查授权清单、再逐个列举，答全对
② "把下载里的图片挪到桌面" → 自主 mv，文件真的跨目录移动了

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-07-25 15:42:58 +08:00
Blizzard 149c4dc89a fix(voice): 未配 TTS 时也回 tts_end(别让客户端永远卡在"思考中") 
TTSEnabled 要 api_key + tts_resource_id + tts_voice_type 三项齐全,而
ASREnabled 只要两项。线上只配齐 ASR 时:转写成功→进思考中→agent 出结果→
speak() 静默 return,连 tts_end 都不发 → 客户端永远停在"思考中"。

用户看到的是"提问后彻底没反应",完全看不出是配置缺失——两个症状
(一直思考不回答 / 结果不语音回复)其实是这同一个静默 return。

改:未配 TTS 时明确回 error 文案 + tts_end,让客户端回到待命并告知原因;
服务端日志也点明缺哪三项。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-07-25 15:27:02 +08:00
Blizzard c66d178efe fix(voice): 思考看门狗覆盖 PTT 模式(别永远卡在"思考中") 
此前 armThinkTimer 只在连续对话模式挂,PTT 下后端不回(dispatcher 未就绪/
模型没配/任务失败)就永远卡在"思考中",用户干等且毫无线索。

改:任何模式收到 final 转写都挂看门狗;超时后连续对话回聆听、PTT 回待命,
并明确提示可能原因 + 引导去运行页看任务状态。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-07-25 14:57:18 +08:00
Blizzard e60679ed7b fix(voice): PTT 改为主交互——按住说话松开发送(修 PTT 形同虚设的 bug) 
VAD 自动断句在真实环境不够稳(环境音/停顿都会误触发),改回按住说话。

修掉 PTT 之前根本不生效的三处：
- keydown 里 `if (!c) return`——用户没先点过麦克风按钮时 clientRef 为 null,
  按空格什么都不发生。改为懒建客户端(keydown 本身就是用户手势,可启 AudioContext)
- 被 `!inConversation()` 挡着:一旦点过麦进了连续对话,PTT 永久失效。改为 PTT 优先,
  必要时先退出对话模式
- 缺 e.repeat 守卫:按住不放会连发 keydown

交互统一为一套 PTT 语义:
- 按住空格 / 按住麦克风按钮(pointer 事件,覆盖鼠标触控) → 说话,松开发送
- 朗读中按按钮 = 打断
- 指针滑出/取消/窗口失焦都算松开,不会卡在录音态
- 录音中按钮变红缩小 + 电平条 + 呼吸环,一眼可见"正在听"

顺带:松开后标签改为"已停止收音"(准确说法——麦克风硬件仍开着以便快速重按,
只是不再上传音频,门控在 shouldSendMic);删掉已无人使用的 micTapAction 及其单测。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-07-25 14:52:26 +08:00
Blizzard 08c4d94187 fix(deploy): nginx 反代补 WebSocket 升级头(语音/本地执行器) 
nginx 默认吃掉 Upgrade/Connection 头,被代理的 WS 永远握不上手——现象是
HTTP 接口全正常、只有 WebSocket 报 ws error(直连网关端口则一切正常)。
/api/v1/voice/stream(语音会话)与 /api/v1/local/runner(本地执行器)都走 WS。

用 map 而非写死 "upgrade":普通请求带 Connection: upgrade 会干扰 keepalive。

注:生产 compose 无 admin 服务(admin 已 go:embed 进 gateway),线上域名前面
那层 nginx 是服务器手工配的,需同样补这两行。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-07-25 14:40:21 +08:00
Blizzard 39ab7d9700 feat(desktop): 服务器地址运行时可配(登录页可填,不必重编客户端) 
此前 GATEWAY 只在构建期由 VITE_GATEWAY 写死，客户端连线上后端就得重新打包，
换一次环境编一次不现实。

改：优先级 localStorage > 构建期 VITE_GATEWAY > localhost:8080；
登录页加折叠的「服务器地址」输入（必须在登录前可改——地址不对连都连不上，
更谈不上登录）；保存后自动重载窗口生效（模块级常量在加载时读定）。

顺带：地址统一去尾斜杠，否则拼出 //api/v1 这种路径。

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-07-25 14:25:08 +08:00
Blizzard 348f1e0249 feat(jarvis): 能动的手(写文件/执行命令,三道闸) + 定时任务调度 
此前 JARVIS 只能看不能动(本地工具纯只读)、也不会调度,补齐这两块。

【能动的手】local_write_file / local_exec,在用户自选工作目录内动手:
- 独立开关:只开只读访问不给这能力,须单独勾「允许写文件/执行命令」
- 原生确认框逐次审批:展示命令原文,默认按钮=拒绝,60s 无人应答按拒绝
  (防无人值守被静默批准);可选「本次会话都允许」,关开关即失效
- 硬黑名单:删库/提权/管道下载执行/写系统路径/装开机项/摸凭据等,
  用户点同意也不执行,连审批框都不弹。20 条危险命令 + 10 条正常命令单测
- 命令 cwd 锁沙箱根、60s 超时、输出 16KB 截断;非零退出不算失败(编译/测试
  错误对模型是有用信息)

【定时任务】sundynix_schedule + leader 锁 ticker(30s 扫) + 三个平台工具:
- 存自然语言指令而非编排图,到点走语音同一条关卡(preflightCore/launchCore)
  执行,跑完经语音事件主动播报结果
- 先推进 NextRunAt 再提交:提交失败也不会下轮重复捞起反复烧钱
- 停机期间错过的不补跑(补一堆历史提醒是骚扰),直接顺推到下一个未来时刻

【顺带修一个必崩的 bug】dispatcher 工具超时硬编码 3 秒,而审批要等人点
(60s)+执行(60s)——local_exec 100% 超时。改成工具在 list_tools 自报
timeout_sec(不在 dispatcher 硬编码工具名),超时链外松内紧:
dispatcher 160s > 网关 150s > runner 转发 140s > 桌面端 60+60s。

live 验证:①「写个 hello.sh 打印日期然后跑一下」→ 写+执行两步,文件真落磁盘
②「建个定时任务 35 秒后跑 wc -l」→ 到点自动触发 → 自主调 local_exec → 出结果

Co-Authored-By: Claude Opus 5 <noreply@anthropic.com>
 2026-07-25 13:57:49 +08:00
Blizzard 52988af196 feat(voice): 按住空格键语音输入(PTT)，松开发送 
按住空格键开始聆听，松开发送 end 指令提交任务。不销毁麦克风上下文，
下次重按直接复用，避免 getUserMedia/AudioContext 重建延迟。
支持输入框/文本区内不抢空格、窗口失焦自动取消。

Co-Authored-By: Claude Opus 4.7 <noreply@anthropic.com>
 2026-07-24 21:03:27 +08:00
Blizzard aba88193d8 feat(voice): 提升桌面端语音交互与本地任务执行支持 2026-07-24 16:40:25 +08:00
Blizzard e9a8b9b4c6 docs: 本地 Agent 执行设计——双平面(执行下沉/控制中心) + 与 Claude Code 对比 
在保留中心化治理前提下让 Agent 操作本机文件/执行命令的设计。
含：双平面架构、与 Claude Code 逐项对比、现有架构支持度分析、
Go+Wails 客户端可行性、档 A/档 B 演进、安全门禁、P0-P4 落地阶段。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-23 10:13:03 +08:00
Blizzard b8095688ba fix(voice): TTS 只播前几字就断——tts_end 别打断，等排队音频放完 
火山合成远快于真实语速：一句话的 PCM 秒级全推到客户端，被 nextStart
预约到未来时刻顺序播。此前 tts_end 直接 resetPlayback() stop 掉所有还
没播的 source，于是只听到前三四个字就断。

改：tts_end 走 drainThenReady()——不打断，按 nextStart 算剩余时长等排队
音频自然放完，末段结束再回 ready；speaking 态维持到真播完（HUD 频谱靠它）。
resetPlayback 只留给 barge-in/close，并清 drainTimer 防迟到定时器改状态。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-23 09:01:02 +08:00
Blizzard 4153046e0e feat(desktop): 全屏 JARVIS HUD 补齐概念版完整度——开机自检 + 遥测 + 解码文字 
对齐概念版 artifact 的完整效果:
- 开机自检序列(INITIALIZING→AUDIO/UPLINK/VOICE MODEL OK→ONLINE),进场淡出,reduced-motion 跳过
- 右上遥测读数(SIGNAL/LATENCY/GAIN/SESSION),SIGNAL/LATENCY/GAIN 由真实电平实时驱动+抖动
- 回答走解码式打字机(逐字定稿、前沿字符跳乱码 glyph scramble),接真实 reply 流
- 修 ESC 按钮与遥测重叠:ESC 常显于右上角,遥测下移到其下,不再压住 SIGNAL

真机(浏览器预览)验证:遥测四行齐全无遮挡,STANDBY 呼吸,品牌位星期五。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 15:03:42 +08:00
Blizzard a4b9897eaf fix(voice): 麦克风打不开时给准确提示——多约束尝试 + 无设备预检 
- 无麦克风设备(如 Mac Studio/Mini 无内置麦)时,getUserMedia 会以 OverconstrainedError
  "Invalid constraint" 误导报错;先 enumerateDevices 预检 audioinput,没有就直说"没检测到麦克风"
- getUserMedia 依次试 {audio:true}/{audio:{}}/带回声消除,全败则暴露真实错误名;
  NotAllowedError 单独提示去系统设置授权

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 14:56:08 +08:00
Blizzard fe5c4215f7 fix(voice): 麦克风约束兜底——WKWebView 不认高级约束("Invalid constraint")退 {audio:true} 
原生壳(Wails WKWebView)的 getUserMedia 不认 channelCount/echoCancellation 等高级约束,
抛 "Invalid constraint"。先试高级约束(浏览器更好),失败退回最简 {audio:true}(最兼容)。
配合上一提交的 .app 打包+NSMicrophoneUsageDescription,原生壳麦克风打通。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 14:47:19 +08:00
Blizzard 92341be32c fix(desktop): 麦克风优雅降级 + Info.plist 加 NSMicrophoneUsageDescription 
- voice.ts: startMic 前探测 navigator.mediaDevices?.getUserMedia——WKWebView(原生壳)非安全
  上下文里它可能未暴露,直接调会抛 "undefined is not an object" 崩掉;改为给可读提示
- build/darwin/Info.plist + Info.dev.plist: 加 NSMicrophoneUsageDescription,否则 macOS
  不会授权麦克风(package 后的 .app 才能弹权限)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 14:44:27 +08:00
Blizzard ef2b815bd7 fix(desktop): 补 build:dev 脚本，修复 wails3 dev 启动 
wails3 dev 的 DEV 构建走 `npm run build:dev`，而 package.json 只有 build（此前只用过
task build/package，dev 从没跑通）。补 build:dev=vite build --mode development。

注:原生 dev/build 还有个 go.work 坑——desktop 不在工作区，直接 go build 需 GOWORK=off；
且 wails3 generate bindings -clean 会误删已提交 bindings(因模块不在 go.work 解析不到 services)。
可靠的本地跑原生窗口:cd sundynix-desktop && (cd frontend && npm run build) &&
  GOWORK=off CGO_ENABLED=1 go build -tags production -buildvcs=false -o /tmp/jarvis_desktop . && /tmp/jarvis_desktop

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 14:39:44 +08:00
Blizzard 2a743a33f6 feat(desktop): 全屏「JARVIS 模式」HUD——钢铁侠风,接真实语音音频 
弧反应堆核心 + 同心旋转环 + 随真实声音反应的环形频谱 + 状态编排 + HUD 边框/扫描线/网格。
可视化数据全来自真实语音会话(不是模拟)。

- voice.ts: micCtx/playCtx 各挂 AnalyserNode + level()——说话读下行TTS、其余读麦克风,
  实时电平 0..1(HUD 每帧读,复用缓冲)
- JarvisHud.tsx: Canvas 2D HUD,按 VoiceState 编排(待命呼吸/聆听炸开/思考散粒子+雷达/说话频谱),
  单一青色强调+思考态琥珀;显示助手名(星期五)+ 我说的 + 打字机回答;尊重 prefers-reduced-motion
- VoiceDock: 加"全屏 JARVIS 模式"按钮(建客户端+拉名字);Esc 退出

真机验证:全屏 HUD 正常渲染,STANDBY 呼吸,品牌位显示自定义名"星期五"。晚上点中心说话即随真声反应。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 14:28:39 +08:00
Blizzard 24351014e0 feat(desktop): JARVIS 设置面板——名字/人设/自带豆包配置(用户级) 
- lib/api.ts: getMyJarvis/saveMyJarvis + JarvisConfig 类型
- shell/JarvisSettings.tsx: 弹窗——名字 + 语气人设 + 折叠「高级:我的豆包配置」
  (api_key/asr/tts resource-id/音色;掩码不回传=沿用已存;填齐才覆盖系统)
- VoiceDock: 麦克风上方加设置齿轮,打开面板

真机验证:面板正确加载后端配置(名字=星期五、人设),高级区四项占位清晰,存档下次说话生效。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 14:12:03 +08:00
Blizzard 99ce07c1b0 feat(voice): 每用户 JARVIS——自定义名字/人设 + 自带豆包配置回落 + 语音不串主记忆 
把 JARVIS 做成每用户独立:名字(你叫JARVIS别人叫星期五)、人设(与主偏好记忆分开)、
可自带豆包配置(齐全则用用户的,否则回落系统)。

- store/user_jarvis.go: sundynix_user_jarvis(user_id唯一;name/persona/火山creds,APIKey密文)
  + Get/Save(upsert) + AutoMigrate 注册
- voice_config.go resolveJarvis(uid): 火山配置用户优先系统兜底 + 取名字/人设
- voice_task.go: voiceSystemPrompt(name,persona)——简短是硬基线,名字/语气由用户定;
  buildVoiceGraph 带 name+persona;voice.go 会话升级时按用户解析
- dispatcher compose_compiler: 语音任务(useVoice)不拉主偏好记忆,改用用户 persona(保留短期历史)
- jarvis.go + 路由: GET/PUT /api/v1/me/jarvis(用户级,api_key 脱敏/留空沿用)

真机验证:设 name=星期五+干净人设→语音答"我是星期五…"(自称新名、无糙话、4.4s),
has_own_voice=false 用系统豆包。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 14:06:32 +08:00
Blizzard fb3685532c polish(admin): 补齐侧栏菜单缺失图标，全项统一对齐 
之前 登录设置/语音设置/微信用户/订阅 四项无 ICON_MAP 条目→图标位空、与兄弟项不齐。
补齐 heroicons 描边风一致图标:登录设置=钥匙、语音设置=麦克风、微信用户=聊天气泡、
订阅=循环;删掉无对应路由的死条目 usage。现 17 条路由全有图标。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 13:34:28 +08:00
Blizzard 95f3781076 feat(admin): 模型配置加「编辑」按钮 + 语音默认提示改 deepseek-v4-flash 
- ModelManager: 每行加「编辑」→ 载入表单就地改(api_key 留空=沿用现有密钥),
  后端按 id 走更新而非新增;表单头/按钮随编辑态切换,带「取消」;省去删了重登记
- ModelsPage: 语音默认模型提示 deepseek-chat→deepseek-v4-flash(chat 2026/07/24 弃用)

注:语音模型实例已通过 admin API 从 deepseek-chat 热切到 deepseek-v4-flash(dispatcher
现读 v4-flash,无需重启)——验证了编辑/激活的 NATS 热更新链路。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 13:07:13 +08:00
Blizzard a4669a0d82 fix(usage): 用量按实际所用模型计量(语音任务归语音模型,别错记工作模型) 
分开工作/语音模型后,语音任务实际跑语音模型(deepseek-chat),但 emitUsage 没带 Model,
网关 SaveUsageEvent 拿激活 chat 模型(deepseek-v4-pro)兜底 → 语音用量被错价成工作模型。
修:emitUsage 按任务 model_profile 选池、type-assert ModelName() 填真实模型名。

真机验证:语音任务首字出声 ~2s(deepseek-chat,较 v4-pro 的 5-7s 骤降),usage_event.model
正确记为 deepseek-chat。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 11:43:30 +08:00
Blizzard aec7ad949c feat(model): 工作模型与 JARVIS 语音模型分开配置 + 语音任务路由到快模型 
模型配置加"用途"维度:工作主力(chat,要强)与 JARVIS 语音(voice,要快/低时延)各配各激活,
语音任务走语音模型池,未配置则透明回落工作模型——不影响现有功能。

- contract: ConfigKindVoice="voice" + Meta[model_profile]=voice(与 intent==report 同类路由)
- gateway: ServeConfig/broadcastActive 循环纳入 voice;submitVoiceTask 打 model_profile=voice 标记
- dispatcher: 第二个 llm.Pool(voicePool)吃 voice 配置热更新;board.useVoice 从 Meta 派生(含快照);
  Orchestrator.agentPool(b) 按黑板选池——语音且语音池就绪→语音池,否则工作池;
  agent 生成路径(graph/react/coordinator/compose)全改走 agentPool(b),报告/护栏/记忆固定工作池
- admin: 模型页三 Tab(工作主力/JARVIS语音/向量化),复用 ModelManager;api Kind 加 voice

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 11:39:17 +08:00
Blizzard b6927247da feat(voice): 下行打字机文本流 + 首块快出，即时反馈 
- protocol.go: 新增 ServerReply("reply") 消息——Agent 回答增量文本
- voice_tts.go: token 一到即转发客户端(打字机),同时攒句喂 TTS(音频随后)
- sentence_buffer.go: 本轮首句用低阈值(5 rune)抢首字延迟,之后回常规 12
- 桌面端 voice.ts onReply + VoiceDock 对话气泡(我说的 + JARVIS 打字机回答,思考态光标)

管线已最优:文字在 LLM 首 token 即刻上屏、音频紧随。剩余时延=大模型 TTFT(deepseek-v4-pro
4-7s 且波动大,疑似推理模型),这是模型的账、非管线——真要"马上响应"需换快模型。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 11:25:20 +08:00
Blizzard 6b31856551 perf(voice): 砍兜底等待 1.2s→0.5s + 语音提示词强制简短 + 时延测量 
- voice.go: ClientEnd 兜底等待 1200ms→500ms(白吃的时延),首字出声 6.6s→5.3s
- voice_task.go: JARVIS 系统提示词改"必须简短/最多三句/先给结论"(语音场景长答案既拖慢
  首字又难听;注:deepseek-v4-pro 仍可能不理会长度指令,可靠收短需 max_tokens 硬顶)
- voicesim: 时延拆解(提交/首字出声/朗读完毕,以"说完"为0点)

现状:首字出声 ~5.3s,大头是 deepseek 生成第一句(大模型 TTFT);管线开销(兜底+TTS握手)已压到~1s。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 11:17:28 +08:00
Blizzard 9ae06229b8 feat(voice): 显式 end 兜底提交 + 端到端模拟工具，全链路真机跑通✅ 
火山流式 ASR 只在 VAD 静音时发 Final；客户端点"停"(ClientEnd)不能干等——否则整段说完
却因没触发 VAD Final 而永不提交任务(实测复现)。改为:
- voice.go 累计 latestText(每条转写更新);ClientEnd 后 1.2s 用最新转写兜底提交;
  turnMu+submitted 保证 Final 与 ClientEnd 两路只提交一次(替换旧 lastFinal 去重)
- cmd/voicesim: 端到端模拟(免麦)——TTS 合成问话→灌网关语音WS→ASR转写→提交任务→
  大模型回答→TTS朗读回推,问答音频各存 wav,签发测试用户 JWT(auth.Issue)

真机验证:问"你是谁？你能做什么？"→ task_bab1c6ee → JARVIS 语音回答 18.6s(sim_answer.wav)。
麦克风音频→ASR→任务→大模型→TTS 全程走网关跑通。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 11:08:17 +08:00
Blizzard 08e6425fec feat(voice): 双向流式 TTS 真机跑通——TTS合成→ASR往返全绿✅ 
对齐官方 python demo 修 TTS payload：
- TaskRequest 必须带完整 req_params(speaker+audio_params)再加 text，只发 {text} 火山收不到
  (会回空 text 的 TTSSentenceStart 后直接结束、无音频)
- StartSession 去掉自造的 namespace/user，就是 {req_params:{speaker,audio_params}}
- ttsReqBase 基底 StartSession/TaskRequest 复用；TTSSession 存 reqBase
- 加 VOICE_DEBUG 帧级调试日志(联调用,默认关无开销)

真机验证(voicecheck):TTS 合成 143KB PCM24k → 降采样喂 ASR → 转写"北京今天的天气怎么样？
需要带伞吗？"≈原句。ASR(volc.bigasr.sauc.duration)+TTS(seed-tts-2.0)两协议全通。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 10:49:43 +08:00
Blizzard d6c1a787f4 fix(voice): 改用火山「新版控制台」API Key 鉴权(ASR 握手真机验通✅) 
一直误用旧版 5 头方案(X-Api-App-Key+Access-Key+App-ID),火山始终 401 grant not found。
用户提供官方文档「新版本控制台」证实:新版只需**单个 X-Api-Key** 头。改对后真机联调:

- frame.go setVolcAuthHeaders: X-Api-Key + X-Api-Resource-Id + X-Api-Request-Id + X-Api-Sequence:-1
  (删旧 App-Key/Access-Key/App-ID/Connect-Id;去 appID 参数)
- asr/tts 调用点同步;config.go 删 Config.AppID;voicecheck/voiceconfig 删 VOLC_APP_ID
- 删临时诊断工具 voiceprobe

真机结果:ASR 握手✅(volc.bigasr.sauc.duration 有效);TTS 用 seed-tts-2.0 会话正常建立
(不再 resource mismatch),但暂无音频返回→双向 TTS 事件/payload 待调(下一步)。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 10:42:36 +08:00
Blizzard c5397438d4 docs(voice): 记录联调结论——协议验通,剩服务开通(账号侧) 
联调确认:鉴权/帧协议已被真火山完全接受。剩 grant not found=账号未开通对应服务。
- TTS 正确 Resource-Id 是 volc.service_type.10029(语音合成大模型),非 seed-tts-2.0(那是模型名)
- ASR 端点 sauc/bigmodel 认 volc.bigasr.sauc.duration(格式被识别)
- 两者均 grant not found → App 9604175735 需在语音控制台开通这两个大模型服务

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 10:07:48 +08:00
Blizzard 8283bc542f fix(voice): 火山鉴权头精确大小写(X-Api-App-ID 免被 Go 规范化) 
Go 的 Header.Set 会把 X-Api-App-ID 规范化成 X-Api-App-Id；改直接赋 map 保留精确
大小写，对齐官方 demo。鉴权方案已与参考实现(realtime_dialog demo)完全一致。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 09:59:58 +08:00
Blizzard bb9c73a9b7 fix(voice): 修正火山 V3 流式端点鉴权头(真火山联调验通协议格式) 
联调发现 Authorization: Bearer 不被 openspeech V3 二进制流端点接受。改用官方规范头：
- X-Api-App-Key: 固定常量 PlgvMymc7f3tQnJ6(所有客户端同值,缺它 400 "app key not found")
- X-Api-Access-Key: 新版 API Key(账号鉴权)
- X-Api-App-ID: 账号 App ID(解析资源授权,缺它 401 "grant not found")
- X-Api-Resource-Id / X-Api-Connect-Id

改动：Config 加 AppID 字段；frame.go setVolcAuthHeaders 统一挂头 + handshakeDetail
榨取握手失败的 HTTP 状态/logid/body(联调可诊断)；asr/tts 共用；voicecheck 加握手探针
分别验 ASR/TTS 端点；voiceconfig/voicecheck 读 VOLC_APP_ID。

现状：协议格式已被真火山接受(过了 400 格式错,进到账号/资源授权查询)。剩 App ID +
资源开通确认(账号侧,联调补)。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 09:53:26 +08:00
Blizzard b718bdbb21 feat(voice): voiceconfig 工具——语音配置一键入库(联调/无头环境免开 admin) 
等价于 admin「语音设置」保存一次：读 VOLC_* 环境变量→AES 加密(复用 gateway
EncryptedForStore)→写 sundynix_setting。网关每请求现读,无需重启。凭证只走 env 不进 git。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 09:42:47 +08:00
Blizzard 5b871bc363 feat(voice): 火山协议自检工具 voicecheck(本地端到端验协议,免麦克风免全栈) 
不用部署、不用麦克风：本机直连火山公网端点，端到端验证手搓的 ASR/TTS 帧协议。
TTS 合成一句→收音频存 out_tts.wav→降采样 24k→16k 喂 ASR→打印转写。
转写≈原句即证明两套协议都被真火山接受。凭证只走环境变量(VOLC_API_KEY 等),不进 git。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 09:33:55 +08:00
Blizzard 9458bf21f3 feat(voice): 桌面端 JARVIS 语音坞——麦克风上行 + TTS 播放队列(Phase 1 收口) 
右下角悬浮麦克风：点按说话→转写→提交任务→跳运行页→朗读回答，接入既有运行·观测流。

- lib/voice.ts: VoiceClient——一条 WS 承载上行 PCM16k/下行转写/下行 TTS PCM24k；
  ScriptProcessorNode 采麦(48k→16k 降采样+Float32→Int16)；AudioBufferSourceNode
  排队调度做无缝连续朗读；start/end/barge_in/bye 控制；ready/transcript/task/speaking/tts_end
- shell/VoiceDock.tsx: 悬浮麦克风 UI(聆听/思考/朗读态 + 转写气泡 + 打断)，懒建客户端(用户手势启 AudioContext)
- App.tsx: onVoiceTask 把语音 task 挂回 attachRun(后端已提交,前端只 attach)；挂载 VoiceDock

真识别/合成需部署联调(真连火山+admin录入语音配置)；本地过 tsc/build/68 测试。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 09:29:47 +08:00
Blizzard 6fe0a58f1b feat(voice): 火山双向流 TTS 客户端 + 下行接线(Phase 1 嘴巴) 
回答 token 流 → 攒句器 → 火山双向 TTS → 音频帧回推客户端，端到端连续朗读打通。

- tts_frame.go: V3 事件族帧编解码(事件号+会话ID+gzip)，与 ASR 简帧不同族；
  从官方参考实现核实 generate_header/parse_response 字节布局；3 解析单测
- tts.go: seed-tts-2.0 双向流客户端 StartTTS(握手ConnectionStarted/SessionStarted)
  /Speak(逐句TaskRequest)/Finish/Audio()/Close，PCM 24k；新版 API Key 鉴权
- voice_tts.go: speak() 先订阅token流再建TTS(core NATS无持久,握手期攒句入pending
  就绪补吐,不丢开头)；音频泵首帧ServerSpeaking、收尾ServerTTSEnd；打断stopTTS
- voice.go: barge_in→stopTTS；会话结束连带停TTS；final转写→go speak(taskID)

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 09:25:49 +08:00
Blizzard 302e1ebaff feat(voice): 上行接线——最终转写→组DSL→提交任务(Phase 1 打通) 
ASR 最终转写触发一次任务提交，复用 HTTP SubmitTask 那条共用关卡
(preflightCore/launchCore)，语音只是"嘴替键盘"，编排/工具/计费一行不新造。

- task_handler.go: preflight/launch 抽出无 gin 内核 preflightCore/launchCore
  (preflightBlock 承载拦截态)，gin 版做薄封装；语音会话无 gin.Context 也走同一关卡
- voice_task.go: buildVoiceGraph(转写→input→agent 单图) + submitVoiceTask(校验/关卡/落库发射)
- voice.go: 会话升级时抓租户/会话；结果 goroutine 见 Final→onFinalTranscript 提交、
  回 ServerTask{task_id}；去重连发的重复 final；画布图一次性消费
- voice_task_test.go: 组图合法性 + 带转写 + input→agent 连边

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-22 09:16:29 +08:00
Blizzard 4ee4a91a51 feat(voice): 火山 ASR 流式识别客户端 + 会话接线(Phase 1 耳朵) 
voice/asr.go: 连 wss://openspeech.bytedance.com/api/v3/sauc/bigmodel,新版 API Key 鉴权
(Authorization: Bearer + X-Api-Resource-Id + Connect-Id),发初始配置帧(bigmodel/zh/ITN/
标点/VAD),PushAudio 流式喂 PCM、Finish 收尾;读 goroutine 解析响应(result 支持数组/对象/
字符串,type=final 为最终)推入 Results 通道。

handler/voice.go 接线:onAudio→PushAudio、start→重开识别、end→Finish;起 goroutine 把
转写 send(transcript) 实时回推客户端。加 writeMu 串行化写(读循环与 ASR 结果 goroutine
都写同一 WS,gorilla 禁并发写)。连接结束 stopASR 收尾。

带单测(配置JSON字段/result三形态解析)。真识别需部署联调(要真连火山);API Key 是否
还需 X-Api-App-Key 联调若 401 再补。上行接线(final→SubmitTask)与 TTS 是下一步。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 17:27:32 +08:00
Blizzard b526b21dee feat(voice): 火山语音 WS 二进制帧编解码(ASR/TTS 共用核心) 
从官方参考实现核实的 V3 协议帧格式,港到 Go:byte0=0x11、byte1=(msgType<<4)|flags、
byte2=序列化<<4|压缩、byte3=0x00、大端 uint32 payload 长度、payload;服务端响应含 4B
序列号故 payload 从第 12 字节起。encodeFrame/jsonFrame/audioFrame/parseServerFrame +
msgType(0x01 config/0x02 音频/0x09 结果/0x0F 错误)与 flags(0x02 最终)常量。
3 个单测钉死头布局/音频最终帧/响应解析(确定性,不依赖网络)。

ASR 初始配置 JSON、WS 连接与流式识别(接 onAudio)是下一步网络层实现。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 17:22:09 +08:00
Blizzard 15f5a85612 feat(voice): WebSocket 端点 + 客户端↔网关协议(Phase 1 地基) 
加 gorilla/websocket(无 genproto 冲突)。voice/protocol.go 定死单条 WS 的消息协议:
二进制帧=音频(上行麦克风/下行TTS),文本帧=JSON 控制/事件(ClientMsg:start/end/barge_in/
bye;ServerMsg:ready/transcript/task/speaking/tts_end/error);音频 PCM 16k 单声道。
handler/voice.go: GET /api/v1/voice/stream 升级 WS,鉴权走 AuthFromHeaderOrQuery(?token=,
WS 带不了 Bearer),会话外壳 + 协议读循环(音频帧/控制消息分派)已通,火山 ASR/TTS 客户端
在下一步挂 onAudio/onControl 的 TODO 点接入。build+vet+test 绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 17:17:58 +08:00
Blizzard a28ae49b6a refactor(voice): 语音配置改用新版 API Key 鉴权(弃旧版 appid+token) 
用户提醒:火山新版走 API Key 鉴权,不用旧版 appid+access_token。新版 WS 握手只带两个
header——Authorization(Bearer <APIKey>) + X-Api-Resource-Id。

配置从 {appid, access_token, 2×resource-id, voice} 收敛为 {api_key, 2×resource-id,
voice}:APIKey 走 secrets AES 加密入库;ASREnabled/TTSEnabled 改为只看 api_key+对应
resource-id。admin 配置页两个字段并一个 API Key 字段,清单同步改为新版口径。build+tsc 绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 17:06:22 +08:00
Blizzard 618184689e feat(voice): 语音配置控制面——火山豆包 appid/token/resource-id/音色(参数落地处) 
JARVIS 不依赖火山账号能先做的第二块:配置层,做成'你参数一填就落库'的形态。
- voice.Config: AppID/AccessToken/ASRResourceID/TTSResourceID/TTSVoiceType，AccessToken
  走 secrets AES 加密入库(镜像微信配置)；ASREnabled/TTSEnabled 可各自独立判断。
- admin GET/PUT /admin/voice(RequireAdmin)，token 空串=沿用已存、明文回显。
- admin「语音设置」页(运维组)：五个字段 + ASR/TTS 就绪徽标 + '去哪拿参数'清单。

端点/音频格式(PCM 16k 单声道)由代码固定不入配置。WS 会话 + 火山 ASR/TTS 客户端等
用户回传 resource-id 后按官方 demo 协议做。build+tsc 绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 17:00:35 +08:00
Blizzard 644b635d73 feat(voice): 攒句器——语音下行 TTS 的 token 攒句(JARVIS 地基第一块) 
语音交互(VOICE_DESIGN.md)不依赖火山账号的第一块地基:SentenceBuffer 把 LLM 逐 token
输出攒成'适合喂 TTS 的句子片段'。逐字喂 TTS 太碎(单字合成不自然、首包延迟高);句末标点
(。！？.!?；;换行)即成一句,从句标点(，,：:)且攒够 12 rune 也吐(让长回答尽早出声)。
跨 Push 续半句,Flush 收尾吐无标点结尾。纯逻辑无外部依赖、4 个单测(跨 Push/短从句不断/
长从句先吐/Flush 收尾)。

WS 会话 + 火山 ASR/TTS 客户端 + 控制面配置等到真 API 参数到手再按真形状做,不写猜测桩。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 16:30:50 +08:00
Blizzard f16f63284f feat(cluster): gateway 后台定时器加 leader 锁——多副本安全(B5) 
此前两个 gateway 定时器(订阅推进/掉单补偿)每实例各扫一遍：多副本下重复查库，
且对微信查单调用量随副本线性放大(微信有频控，先被限流的是自己)。

store.TryRunExclusive：用 PG advisory try-lock 做集群级单实例执行(leader 选举)——每轮
tick 非阻塞抢锁，抢到才跑、跑完释放；抢不到说明别的实例是 leader、本轮跳过。自愈：锁随
持有连接释放，leader 挂了下一轮别的实例自然抢到接管，无需显式故障转移。订阅/补偿用不同
锁键(可由不同实例分别 lead)。非 PG(sqlite 测试)/无 DB → 退回本地直接跑(单实例安全)。

两个定时器的 tick 各包一层 TryRunExclusive。至此 gateway 可安全多副本(SSE 走共享 Redis
流无需粘性、状态全外置、JWT 无状态，剩数据层 HA 属 C 层 ops)。带 fallback 单测。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 16:21:31 +08:00
Blizzard 9b153871eb feat(monitor): NATS 集群 Raft 副本健康 + 基建 ping 延迟(监测组完善) 
此前 /status 把 NATS 当一盏二元灯(连不上就 fatal 故恒真)，看不出 3 节点集群里
哪个节点掉了、JetStream 持久流的 Raft 副本是否还齐(计费/状态/评测流不丢的关键)。
DB/Redis/MinIO 也只二元 ping、无延迟。

- bus.ClusterStatus：连的节点名 + 集群发现节点数(nc.Servers) + RTT(nc.RTT) + 6 条关键
  持久流(tasks/status/usage/eval/ingest/approvals)的 Raft 副本健康(leader + healthy/total，
  单节点部署记 1/1；某节点掉队 → healthy<total 记降级)。
- /status 新增 nats 集群对象 + NATS 灯改为'连接且无副本降级才绿'、detail 显示'N 节点·连 X·
  流副本齐全/降级'、latency=RTT；PG/Redis/MinIO 加 ping 往返耗时。
- admin StatusPage：新增 NATS 集群面板(节点/RTT/连接 + 各流 leader/副本健康/消息数表)，
  基建行显示延迟。

sundynix-shared/gateway build+vet+test 绿；admin tsc 绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 16:15:22 +08:00
Blizzard a42f30239f fix(payment): 微信 API 调用加超时兜底(B3 出网韧性) 
微信是外部第三方、最可能慢/挂，而 wechatpay-go SDK 默认 http.Client 无 Timeout：
一次卡住的 Prepay/QueryOrder 会拖住请求 goroutine；尤其掉单补偿定时器用的是
context.Background()(无超时)→ 微信一挂那轮 tick 无限期卡死。

双保险：客户端级 HTTP 超时(WithHTTPClient Timeout=15s，belt) + CreatePay/QueryOrder
每次调用 ctx 超时(suspenders，兜住 SDK 忽略或背景 ctx 的情况)。

范围克制：只硬化微信这个真外部依赖。PG/Redis(连接池+降级)、NATS(无限重连)、mcp-go RAG
客户端(embed 30s/chat 60s/rerank 20s 已有超时)本就有韧性，不额外套熔断(那对本规模是过度设计)。

build+vet+test 绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 16:01:09 +08:00
Blizzard ebbeed90e9 feat(auth): 登录账户级失败锁定 + 密码强度 8-72 位(B4) 
补上 A5 只做了 IP 限流、没做账户锁定的缺口(审计 B4)。

- 账户级失败锁定：连续登录失败达 5 次即临时锁定 15min(Redis 计数+TTL)，锁定期直接拒绝
  不再校验密码，成功登录即清零。与 A5 的 IP 限流互补：IP 限流挡'一个 IP 猛打'，账户锁定
  挡'分布式慢速猜一个号'。权衡：per-account 可被人为锁死受害者(lockout DoS)，故窗口设短
  自动解锁+叠加 IP 限流；Redis 降级则不锁定(尽力而为，IP 限流仍在)。
- 密码强度：注册从'至少 6 位'提到 8-72 位。上限 72 字节——bcrypt 超 72 字节静默截断，
  不拦会让超长密码实际只用前 72 字节。桌面端注册提示同步改 8-72 位。

存量用户不受影响(只校验注册/改密时的新密码)。build+vet+test 绿；desktop tsc 绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 15:56:29 +08:00
Blizzard da9c76f073 feat(prod): 实时就绪探针——gateway /readyz 真 ping + dispatcher/mcp-go 加 HTTP 探针(B2) 
此前 gateway /readyz 用的是 Enabled() 启动期降级标志（反映不了运行中 PG 掉线，LB 会继续
往已不可用实例导流）；dispatcher/mcp-go 干脆没有 HTTP 探针（只有 NATS ServeHealth，k8s/LB
够不着、只能靠 gateway 经 NATS 代探）。

- gateway /readyz 改用 db.Ping 实时探活。只把 **DB 当硬依赖门**：Redis 掉线仍可服务（限流有
  A5 进程内 fail-safe 兜底、SSE 回落 live NATS），一 blip 就把全部实例踢出轮转反而制造整站
  故障，故 Redis 只上报不 gate。NATS 启动即连(fatal)不单列。
- 新 sundynix-shared/health 包：Serve/Handler 提供 /healthz(恒 200 liveness) + /readyz(由
  ready() 决定 readiness)。dispatcher(:8091, DISPATCHER_HEALTH_ADDR)与 mcp-go(:8092,
  MCP_GO_HEALTH_ADDR)各起一个，readiness = NATS 连接可用(bus.IsConnected)。接入各自优雅停机。
- bus 加 IsConnected()(nc.IsConnected 实时)；dispatcher Subscriber 透传。

四模块 build+vet+test 绿；health 带 Handler 单测。探针端口仅内部用（对外仍只暴露 gateway）。
compose/k8s 的 healthcheck 编排属 C 层 ops，另做。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 15:50:31 +08:00
Blizzard 4500335da7 refactor(store): 迁移路径务实硬化——advisory lock + 版本表 + 破坏性迁移移出启动路径(B1) 
此前每次启动裸跑 AutoMigrate + 一串手写索引/回填，且启动路径上有两处 DROP TABLE
CASCADE 的 legacy 迁移；多实例并发启动无锁 → 并发 ALTER/建索引竞争，一方报错即掉降级。

务实硬化（不引外部工具，保留 gorm 结构体为源）：
- PG advisory lock：整段迁移在 pg_advisory_lock 内串行，多实例同时启动只有一个进锁跑，
  其余阻塞等待。取锁 60s 超时兜底（取不到带告警继续，AutoMigrate/索引多幂等）。
- 破坏性 legacy 迁移移出默认路径：migrateLegacyIntIDs/migrateDocLinkToID（DROP TABLE
  CASCADE）默认不跑，仅 ALLOW_LEGACY_SCHEMA_MIGRATION=1 时执行；检测到旧 schema 但未开
  只告警不动手。现网早已是雪花 id 本就不触发，但从此不再是启动就可能 DROP。
- 版本化 runner：AutoMigrate 之外的步骤（3 个部分唯一索引 + NULL 余额回填）登记为
  schemaSteps，各跑一次并记入 sundynix_schema_migration 表，下次跳过；某步失败即停、
  不记录、下次重试。将来 AutoMigrate 做不了的破坏性/数据迁移在末尾追加新 id 即可。

pgsql.go 的迁移块收敛为一句 runMigrations(db)。带 runner 单测（跑一次/跳过/追加/失败即停）。
现网 DB 已有的索引/回填重跑无害（IF NOT EXISTS / WHERE IS NULL），跑后记录。build+vet+test 绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
 2026-07-21 15:26:58 +08:00