Blizzard
c7a02c3905
5 层 + 1 条 NATS 零拷贝消息总线的 monorepo（Monolith First → Microservices Morph B）。 纵向主干（任务流 + Token 流回流）已真实跑通，横向各层能力为带注释的桩。 已贯通（real code）: - sundynix-shared: 共享契约 + JetStream/core NATS 真实收发(bus) + 内嵌 NATS(devnats) + e2e 测试 - sundynix-gateway: Gin 接入 + DSL 解析组装 + NATS Publish + SSE 流式输出 - sundynix-dispatcher: NATS 消费 + Eino Orchestrator 流式回流 + 熔断器 + LLM Pool 占位流式 - 链路: HTTP POST → DSL → sundynix.tasks.* → Dispatcher → Token 经 sundynix.streams.<id> 回流 → SSE - 基础设施: docker-compose(nats/postgres/redis/neo4j/milvus) + Makefile(make demo/e2e) 待填(桩): - Eino 图编排 compose.NewGraph、LLM Pool 接 vLLM/Ollama - Gateway store 换真实 pgx/redis - sundynix-mcp-go: Bleve+Milvus+Neo4j 混合检索 / UniOffice / 外部 API - sundynix-mcp-py: gVisor 沙箱 / MinerU(PaddleOCR) / Docker 解释器 - sundynix-desktop: React Flow 画布 → DSL 导出 → SSE 展示
57 lines
1.7 KiB
Go
57 lines
1.7 KiB
Go
// Package nats 是调度器对共享 bus 的薄封装（消费任务 / 回写 Token）。
|
||
package nats
|
||
|
||
import (
|
||
"context"
|
||
"log"
|
||
|
||
sharedbus "github.com/sundynix/sundynix-shared/bus"
|
||
"github.com/sundynix/sundynix-shared/contract"
|
||
)
|
||
|
||
// TaskHandler 处理单个任务。
|
||
type TaskHandler func(ctx context.Context, t *contract.Task) error
|
||
|
||
// Subscriber 包装共享 bus，向调度器暴露消费能力。
|
||
type Subscriber struct {
|
||
inner *sharedbus.Bus
|
||
}
|
||
|
||
// MustConnect 接入 NATS 并确保任务流存在（消费者声明在 Consume 时完成）。
|
||
func MustConnect(url string) *Subscriber {
|
||
inner, err := sharedbus.Connect(url)
|
||
if err != nil {
|
||
log.Fatalf("[dispatcher/nats] connect: %v", err)
|
||
}
|
||
if err := inner.EnsureTaskStream(context.Background()); err != nil {
|
||
log.Fatalf("[dispatcher/nats] ensure stream: %v", err)
|
||
}
|
||
log.Printf("[dispatcher/nats] connected %s", url)
|
||
return &Subscriber{inner: inner}
|
||
}
|
||
|
||
// ConsumeTasks 从 sundynix.tasks.* 持续消费任务（队列组负载均衡），阻塞至 ctx 取消。
|
||
func (s *Subscriber) ConsumeTasks(ctx context.Context, h TaskHandler) error {
|
||
stop, err := s.inner.ConsumeTasks(ctx, func(c context.Context, t *contract.Task) error {
|
||
return h(c, t)
|
||
})
|
||
if err != nil {
|
||
return err
|
||
}
|
||
defer stop()
|
||
<-ctx.Done()
|
||
return ctx.Err()
|
||
}
|
||
|
||
// PublishToken / CompleteStream 让 Subscriber 满足 eino.TokenSink，
|
||
// 把推理 Token 回流到 sundynix.streams.<taskID>。
|
||
func (s *Subscriber) PublishToken(taskID string, token []byte) error {
|
||
return s.inner.PublishToken(taskID, token)
|
||
}
|
||
|
||
func (s *Subscriber) CompleteStream(taskID string) error {
|
||
return s.inner.CompleteStream(taskID)
|
||
}
|
||
|
||
func (s *Subscriber) Close() { s.inner.Close() }
|