Blizzard
3c65189f30
后端从占位回显变为真实生成：管理员经控制面登记/激活模型，Gateway 经 NATS 下发，Dispatcher 热更新 LLM Pool，Eino 图用 OpenAI 兼容流式真实推理。 - shared: contract.ModelConfig(provider/base_url/api_key/model) + 配置 subjects; bus.RequestModelConfig/ServeModelConfig/Publish/Subscribe ModelConfigUpdated - gateway: store.LLMModel→sundynix_model(AutoMigrate,唯一激活) + admin REST (GET/POST/active/delete/test models, api_key 脱敏) + main ServeModelConfig + 变更广播; 路由 /api/v1/admin/models* - dispatcher: llm.Pool OpenAI 兼容 SSE 流式客户端(ChatStream) + 热更新配置 + 未配置则降级桩; poolModel.Ready()?真实流式:注入记忆的桩; main 取配置+订阅 - 开发期接在线 API 不拉本地模型(见 llm-provider-strategy memory) - 验证: 4 模块 build✓ + e2e PASS; mock OpenAI 服务 live 跑通——登记/测试连接✓/ 激活→NATS 热更新→提交→真实 SSE 流出 mock 回复, mock 日志证明端点被调用且 注入画像(老王)进了模型上下文 Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
92 lines
4.2 KiB
Go
92 lines
4.2 KiB
Go
// Package contract 是 Gateway / Dispatcher / MCP 之间的共享契约：
|
|
// Task 数据结构与 NATS subject 命名约定。
|
|
package contract
|
|
|
|
import "encoding/json"
|
|
|
|
// NATS subject / stream 约定（与 README、各服务 config 保持一致）。
|
|
const (
|
|
StreamTasks = "SUNDYNIX_TASKS" // JetStream stream 名
|
|
SubjectTasks = "sundynix.tasks" // 任务发布主题前缀；实际为 sundynix.tasks.<id>
|
|
SubjectTasksAll = "sundynix.tasks.>" // stream 捕获的通配
|
|
SubjectStream = "sundynix.streams" // Token 回流前缀；实际 sundynix.streams.<id>
|
|
ConsumerDurable = "dispatchers" // Dispatcher 持久消费者（队列组负载均衡）
|
|
|
|
// HeaderStreamEnd 是 Token 流的结束信号（core NATS 消息头）。
|
|
// 置为 "1" 的消息体为空，表示该 task 的 Token 流结束。
|
|
HeaderStreamEnd = "X-Stream-End"
|
|
|
|
// MCP 工具调用约定（第 4 层 Dispatcher → 第 5 层 MCP Tools）。
|
|
// 用 core NATS request-reply：同步拿结果，队列组内负载均衡。
|
|
SubjectToolsGo = "sundynix.tools.go" // Go I/O 型工具前缀；实际 sundynix.tools.go.<tool>
|
|
SubjectToolsGoAll = "sundynix.tools.go.>" // mcp-go 通配订阅
|
|
SubjectToolsPy = "sundynix.tools.py" // Python 算法型工具前缀；实际 sundynix.tools.py.<tool>
|
|
SubjectToolsPyAll = "sundynix.tools.py.>" // mcp-py 通配订阅
|
|
QueueToolsGo = "mcp-go-workers" // mcp-go 队列组（多副本负载均衡）
|
|
QueueToolsPy = "mcp-py-workers" // mcp-py 队列组
|
|
|
|
// MetaUserID 是 Task.Meta 中承载已登录用户标识的键（用于偏好记忆召回）。
|
|
MetaUserID = "user_id"
|
|
// MetaSessionID 是 Task.Meta 中承载会话标识的键（用于短期多轮历史）。
|
|
MetaSessionID = "session_id"
|
|
|
|
// 配置控制面（Gateway 持有配置，Dispatcher 经 NATS 取用/订阅变更）。
|
|
SubjectConfigModelGet = "sundynix.config.model.get" // request-reply：取当前激活模型配置
|
|
SubjectConfigModelUpdated = "sundynix.config.model.updated" // broadcast：模型配置变更通知
|
|
)
|
|
|
|
// ModelConfig 是一个 LLM 后端的连接配置（provider 抽象）。
|
|
// 开发期指向第三方在线 API（OpenAI 兼容）；生产期可换自部署(vLLM)或其它在线模型。
|
|
type ModelConfig struct {
|
|
Provider string `json:"provider"` // openai-compatible / vllm / ...
|
|
BaseURL string `json:"base_url"` // 如 https://api.deepseek.com/v1
|
|
APIKey string `json:"api_key,omitempty"`
|
|
Model string `json:"model"` // 如 deepseek-chat
|
|
}
|
|
|
|
// Ready 报告该配置是否足以发起真实推理。
|
|
func (m *ModelConfig) Ready() bool {
|
|
return m != nil && m.BaseURL != "" && m.Model != ""
|
|
}
|
|
|
|
// Task 是 DSL 解析组装后的可调度任务，在 NATS 上以 JSON 传输。
|
|
type Task struct {
|
|
ID string `json:"id"`
|
|
Graph json.RawMessage `json:"graph"` // React Flow 导出的 Agent 编排图
|
|
Meta map[string]any `json:"meta,omitempty"`
|
|
}
|
|
|
|
// TaskSubject 返回某任务的发布主题。
|
|
func TaskSubject(id string) string { return SubjectTasks + "." + id }
|
|
|
|
// StreamSubject 返回某任务的 Token 回流主题。
|
|
func StreamSubject(id string) string { return SubjectStream + "." + id }
|
|
|
|
// ToolSubjectGo / ToolSubjectPy 返回某工具的调用主题。
|
|
func ToolSubjectGo(tool string) string { return SubjectToolsGo + "." + tool }
|
|
func ToolSubjectPy(tool string) string { return SubjectToolsPy + "." + tool }
|
|
|
|
// ToolCall 是 Dispatcher 对一个 MCP 工具的调用请求（NATS request 体）。
|
|
type ToolCall struct {
|
|
Tool string `json:"tool"` // 工具名，如 wiki_search
|
|
Args map[string]any `json:"args,omitempty"` // 工具参数
|
|
TaskID string `json:"task_id,omitempty"` // 触发该调用的任务（便于追踪）
|
|
}
|
|
|
|
// ToolResult 是 MCP 工具的应答（NATS reply 体）。
|
|
type ToolResult struct {
|
|
OK bool `json:"ok"`
|
|
Content string `json:"content,omitempty"` // 工具产出（如检索结果文本）
|
|
Error string `json:"error,omitempty"` // 非空表示工具内部出错
|
|
}
|
|
|
|
// Marshal / Unmarshal 便捷方法。
|
|
func (t *Task) Marshal() ([]byte, error) { return json.Marshal(t) }
|
|
func Unmarshal(b []byte) (*Task, error) {
|
|
var t Task
|
|
if err := json.Unmarshal(b, &t); err != nil {
|
|
return nil, err
|
|
}
|
|
return &t, nil
|
|
}
|