sundynix-agentix

sundynix/sundynix-agentix

Fork 0

Commit Graph

Author	SHA1	Message	Date
Blizzard	302e1ebaff	feat(voice): 上行接线——最终转写→组DSL→提交任务(Phase 1 打通) ASR 最终转写触发一次任务提交，复用 HTTP SubmitTask 那条共用关卡 (preflightCore/launchCore)，语音只是"嘴替键盘"，编排/工具/计费一行不新造。 - task_handler.go: preflight/launch 抽出无 gin 内核 preflightCore/launchCore (preflightBlock 承载拦截态)，gin 版做薄封装；语音会话无 gin.Context 也走同一关卡 - voice_task.go: buildVoiceGraph(转写→input→agent 单图) + submitVoiceTask(校验/关卡/落库发射) - voice.go: 会话升级时抓租户/会话；结果 goroutine 见 Final→onFinalTranscript 提交、回 ServerTask{task_id}；去重连发的重复 final；画布图一次性消费 - voice_task_test.go: 组图合法性 + 带转写 + input→agent 连边 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-07-22 09:16:29 +08:00
Blizzard	4ee4a91a51	feat(voice): 火山 ASR 流式识别客户端 + 会话接线(Phase 1 耳朵) voice/asr.go: 连 wss://openspeech.bytedance.com/api/v3/sauc/bigmodel,新版 API Key 鉴权 (Authorization: Bearer + X-Api-Resource-Id + Connect-Id),发初始配置帧(bigmodel/zh/ITN/ 标点/VAD),PushAudio 流式喂 PCM、Finish 收尾;读 goroutine 解析响应(result 支持数组/对象/ 字符串,type=final 为最终)推入 Results 通道。 handler/voice.go 接线:onAudio→PushAudio、start→重开识别、end→Finish;起 goroutine 把转写 send(transcript) 实时回推客户端。加 writeMu 串行化写(读循环与 ASR 结果 goroutine 都写同一 WS,gorilla 禁并发写)。连接结束 stopASR 收尾。带单测(配置JSON字段/result三形态解析)。真识别需部署联调(要真连火山);API Key 是否还需 X-Api-App-Key 联调若 401 再补。上行接线(final→SubmitTask)与 TTS 是下一步。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-07-21 17:27:32 +08:00
Blizzard	15f5a85612	feat(voice): WebSocket 端点 + 客户端↔网关协议(Phase 1 地基) 加 gorilla/websocket(无 genproto 冲突)。voice/protocol.go 定死单条 WS 的消息协议: 二进制帧=音频(上行麦克风/下行TTS),文本帧=JSON 控制/事件(ClientMsg:start/end/barge_in/ bye;ServerMsg:ready/transcript/task/speaking/tts_end/error);音频 PCM 16k 单声道。 handler/voice.go: GET /api/v1/voice/stream 升级 WS,鉴权走 AuthFromHeaderOrQuery(?token=, WS 带不了 Bearer),会话外壳 + 协议读循环(音频帧/控制消息分派)已通,火山 ASR/TTS 客户端在下一步挂 onAudio/onControl 的 TODO 点接入。build+vet+test 绿。 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>	2026-07-21 17:17:58 +08:00

Author

SHA1

Message

Date

Blizzard

302e1ebaff

feat(voice): 上行接线——最终转写→组DSL→提交任务(Phase 1 打通)

ASR 最终转写触发一次任务提交，复用 HTTP SubmitTask 那条共用关卡
(preflightCore/launchCore)，语音只是"嘴替键盘"，编排/工具/计费一行不新造。

- task_handler.go: preflight/launch 抽出无 gin 内核 preflightCore/launchCore
  (preflightBlock 承载拦截态)，gin 版做薄封装；语音会话无 gin.Context 也走同一关卡
- voice_task.go: buildVoiceGraph(转写→input→agent 单图) + submitVoiceTask(校验/关卡/落库发射)
- voice.go: 会话升级时抓租户/会话；结果 goroutine 见 Final→onFinalTranscript 提交、
  回 ServerTask{task_id}；去重连发的重复 final；画布图一次性消费
- voice_task_test.go: 组图合法性 + 带转写 + input→agent 连边

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-07-22 09:16:29 +08:00

Blizzard

4ee4a91a51

feat(voice): 火山 ASR 流式识别客户端 + 会话接线(Phase 1 耳朵)

voice/asr.go: 连 wss://openspeech.bytedance.com/api/v3/sauc/bigmodel,新版 API Key 鉴权
(Authorization: Bearer + X-Api-Resource-Id + Connect-Id),发初始配置帧(bigmodel/zh/ITN/
标点/VAD),PushAudio 流式喂 PCM、Finish 收尾;读 goroutine 解析响应(result 支持数组/对象/
字符串,type=final 为最终)推入 Results 通道。

handler/voice.go 接线:onAudio→PushAudio、start→重开识别、end→Finish;起 goroutine 把
转写 send(transcript) 实时回推客户端。加 writeMu 串行化写(读循环与 ASR 结果 goroutine
都写同一 WS,gorilla 禁并发写)。连接结束 stopASR 收尾。

带单测(配置JSON字段/result三形态解析)。真识别需部署联调(要真连火山);API Key 是否
还需 X-Api-App-Key 联调若 401 再补。上行接线(final→SubmitTask)与 TTS 是下一步。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-07-21 17:27:32 +08:00

Blizzard

15f5a85612

feat(voice): WebSocket 端点 + 客户端↔网关协议(Phase 1 地基)

加 gorilla/websocket(无 genproto 冲突)。voice/protocol.go 定死单条 WS 的消息协议:
二进制帧=音频(上行麦克风/下行TTS),文本帧=JSON 控制/事件(ClientMsg:start/end/barge_in/
bye;ServerMsg:ready/transcript/task/speaking/tts_end/error);音频 PCM 16k 单声道。
handler/voice.go: GET /api/v1/voice/stream 升级 WS,鉴权走 AuthFromHeaderOrQuery(?token=,
WS 带不了 Bearer),会话外壳 + 协议读循环(音频帧/控制消息分派)已通,火山 ASR/TTS 客户端
在下一步挂 onAudio/onControl 的 TODO 点接入。build+vet+test 绿。

Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>

2026-07-21 17:17:58 +08:00

3 Commits