feat: 初始化 sundynix-agentix 分层式 AI Agent 平台脚手架

5 层 + 1 条 NATS 零拷贝消息总线的 monorepo（Monolith First → Microservices Morph B）。纵向主干（任务流 + Token 流回流）已真实跑通，横向各层能力为带注释的桩。已贯通（real code）: - sundynix-shared: 共享契约 + JetStream/core NATS 真实收发(bus) + 内嵌 NATS(devnats) + e2e 测试 - sundynix-gateway: Gin 接入 + DSL 解析组装 + NATS Publish + SSE 流式输出 - sundynix-dispatcher: NATS 消费 + Eino Orchestrator 流式回流 + 熔断器 + LLM Pool 占位流式 - 链路: HTTP POST → DSL → sundynix.tasks.* → Dispatcher → Token 经 sundynix.streams.<id> 回流 → SSE - 基础设施: docker-compose(nats/postgres/redis/neo4j/milvus) + Makefile(make demo/e2e) 待填(桩): - Eino 图编排 compose.NewGraph、LLM Pool 接 vLLM/Ollama - Gateway store 换真实 pgx/redis - sundynix-mcp-go: Bleve+Milvus+Neo4j 混合检索 / UniOffice / 外部 API - sundynix-mcp-py: gVisor 沙箱 / MinerU(PaddleOCR) / Docker 解释器 - sundynix-desktop: React Flow 画布 → DSL 导出 → SSE 展示
2026-06-10 11:00:29 +08:00
commit c7a02c3905
74 changed files with 2570 additions and 0 deletions
@@ -0,0 +1,35 @@
+// Package dsl 负责把客户端导出的 JSON DSL 解析并组装为可调度的 Task。
+package dsl
+
+import (
+	"crypto/rand"
+	"encoding/hex"
+	"encoding/json"
+	"errors"
+
+	"github.com/sundynix/sundynix-shared/contract"
+)
+
+// ParseAndAssemble 校验 DSL 结构并生成共享契约中的 Task。
+func ParseAndAssemble(raw json.RawMessage) (*contract.Task, error) {
+	if len(raw) == 0 {
+		return nil, errors.New("empty dsl")
+	}
+	// 轻量结构校验：至少要能解析为对象。
+	var probe map[string]json.RawMessage
+	if err := json.Unmarshal(raw, &probe); err != nil {
+		return nil, errors.New("invalid dsl json: " + err.Error())
+	}
+	// TODO: 节点拓扑校验 / 节点-工具映射
+	return &contract.Task{
+		ID:    newID(),
+		Graph: raw,
+		Meta:  map[string]any{},
+	}, nil
+}
+
+func newID() string {
+	var b [8]byte
+	_, _ = rand.Read(b[:])
+	return "task_" + hex.EncodeToString(b[:])
+}
@@ -0,0 +1,86 @@
+// Package handler 实现网关的 HTTP 处理器。
+package handler
+
+import (
+	"encoding/json"
+	"io"
+	"net/http"
+
+	"github.com/gin-gonic/gin"
+
+	"github.com/sundynix/sundynix-gateway/internal/dsl"
+	"github.com/sundynix/sundynix-gateway/internal/nats"
+	"github.com/sundynix/sundynix-gateway/internal/store"
+)
+
+type Handler struct {
+	db    *store.Postgres
+	cache *store.Redis
+	bus   *nats.Bus
+}
+
+func New(db *store.Postgres, cache *store.Redis, bus *nats.Bus) *Handler {
+	return &Handler{db: db, cache: cache, bus: bus}
+}
+
+// SubmitTask: 解析客户端导出的 JSON DSL，组装为 Task，Publish 到 sundynix.tasks.*。
+func (h *Handler) SubmitTask(c *gin.Context) {
+	var raw json.RawMessage
+	if err := c.ShouldBindJSON(&raw); err != nil {
+		c.JSON(http.StatusBadRequest, gin.H{"error": err.Error()})
+		return
+	}
+	task, err := dsl.ParseAndAssemble(raw) // Task DSL Parser & Assembly
+	if err != nil {
+		c.JSON(http.StatusUnprocessableEntity, gin.H{"error": err.Error()})
+		return
+	}
+	if err := h.bus.PublishTask(c.Request.Context(), task); err != nil {
+		c.JSON(http.StatusBadGateway, gin.H{"error": err.Error()})
+		return
+	}
+	c.JSON(http.StatusAccepted, gin.H{"task_id": task.ID})
+}
+
+// StreamTask: 订阅 sundynix.streams.<task_id>，以 SSE 把零拷贝 Token Stream 推给客户端。
+func (h *Handler) StreamTask(c *gin.Context) {
+	taskID := c.Param("id")
+	c.Writer.Header().Set("Content-Type", "text/event-stream")
+	c.Writer.Header().Set("Cache-Control", "no-cache")
+	c.Writer.Header().Set("Connection", "keep-alive")
+
+	tokens := make(chan []byte, 256)
+	done := make(chan struct{})
+	unsub, err := h.bus.SubscribeTokens(taskID,
+		func(tok []byte) {
+			select {
+			case tokens <- tok:
+			default: // 背压保护：客户端过慢则丢弃，避免阻塞 NATS 回调
+			}
+		},
+		func() { close(done) },
+	)
+	if err != nil {
+		c.JSON(http.StatusBadGateway, gin.H{"error": err.Error()})
+		return
+	}
+	defer func() { _ = unsub() }()
+
+	// gin 的流式写：返回 false 即结束响应。
+	c.Stream(func(w io.Writer) bool {
+		select {
+		case tok := <-tokens:
+			c.SSEvent("token", string(tok))
+			return true
+		case <-done:
+			c.SSEvent("done", taskID)
+			return false
+		case <-c.Request.Context().Done():
+			return false
+		}
+	})
+}
+
+func (h *Handler) Billing(c *gin.Context) {
+	c.JSON(http.StatusOK, gin.H{"status": "ok"}) // TODO: 商业化与计费模块
+}
@@ -0,0 +1,25 @@
+// Package middleware 提供 Guardrail 与限流等接入层中间件。
+package middleware
+
+import (
+	"github.com/gin-gonic/gin"
+
+	"github.com/sundynix/sundynix-gateway/internal/store"
+)
+
+// Guardrail 实现 Harness 的输入/输出护栏（敏感词、注入、配额校验等）。
+func Guardrail() gin.HandlerFunc {
+	return func(c *gin.Context) {
+		// TODO: 输入护栏校验
+		c.Next()
+		// TODO: 输出护栏校验
+	}
+}
+
+// RateLimit 基于 Redis 的会话级限流。
+func RateLimit(cache *store.Redis) gin.HandlerFunc {
+	return func(c *gin.Context) {
+		// TODO: 令牌桶 / 滑动窗口
+		c.Next()
+	}
+}
@@ -0,0 +1,46 @@
+// Package nats 是网关对共享 bus 的薄封装（发布任务 / 订阅 Token 回流）。
+package nats
+
+import (
+	"context"
+	"log"
+
+	sharedbus "github.com/sundynix/sundynix-shared/bus"
+	"github.com/sundynix/sundynix-shared/contract"
+)
+
+// Bus 包装共享 bus，向网关其余代码暴露发布能力。
+type Bus struct {
+	inner *sharedbus.Bus
+}
+
+// MustConnect 接入 NATS 并确保任务流存在。
+func MustConnect(url string) *Bus {
+	inner, err := sharedbus.Connect(url)
+	if err != nil {
+		log.Fatalf("[nats] connect: %v", err)
+	}
+	if err := inner.EnsureTaskStream(context.Background()); err != nil {
+		log.Fatalf("[nats] ensure stream: %v", err)
+	}
+	log.Printf("[nats] connected %s, task stream ready", url)
+	return &Bus{inner: inner}
+}
+
+// PublishTask 把组装后的 Task 发布到 sundynix.tasks.<id>。
+func (b *Bus) PublishTask(ctx context.Context, t *contract.Task) error {
+	seq, err := b.inner.PublishTask(ctx, t)
+	if err != nil {
+		return err
+	}
+	log.Printf("[nats] published task %s (seq=%d)", t.ID, seq)
+	return nil
+}
+
+// SubscribeTokens 订阅 sundynix.streams.<taskID> 的 Token 回流，
+// 每个 Token 触发 onToken，流结束触发 onDone，返回 unsub。
+func (b *Bus) SubscribeTokens(taskID string, onToken func([]byte), onDone func()) (func() error, error) {
+	return b.inner.SubscribeTokens(taskID, onToken, onDone)
+}
+
+func (b *Bus) Close() { b.inner.Close() }
@@ -0,0 +1,27 @@
+// Package router 装配 Gin 统一接入层的路由与中间件。
+package router
+
+import (
+	"github.com/gin-gonic/gin"
+
+	"github.com/sundynix/sundynix-gateway/internal/handler"
+	"github.com/sundynix/sundynix-gateway/internal/middleware"
+	"github.com/sundynix/sundynix-gateway/internal/nats"
+	"github.com/sundynix/sundynix-gateway/internal/store"
+)
+
+// New 构建带有 Guardrail / 限流中间件的 Gin 引擎。
+func New(db *store.Postgres, cache *store.Redis, bus *nats.Bus) *gin.Engine {
+	r := gin.Default()
+	r.Use(middleware.RateLimit(cache))
+	r.Use(middleware.Guardrail()) // Harness: Input/Output Guardrail
+
+	h := handler.New(db, cache, bus)
+	api := r.Group("/api/v1")
+	{
+		api.POST("/tasks", h.SubmitTask)          // 1. 解析 DSL 并 Publish 到 NATS
+		api.GET("/tasks/:id/stream", h.StreamTask) // 4. SSE/WS 回流 Token Stream
+		api.GET("/billing", h.Billing)
+	}
+	return r
+}
@@ -0,0 +1,14 @@
+// Package store 封装 MainDB(PgSQL) 与 CacheDB(Redis) 的访问。
+package store
+
+import "log"
+
+// Postgres 持有 MainDB 连接池（Users / Billing / DSL）。
+type Postgres struct{ /* *pgxpool.Pool */ }
+
+// MustOpenPostgres 建立 Postgres 连接，失败即退出。
+func MustOpenPostgres() *Postgres {
+	// TODO: pgxpool.New(ctx, dsn)
+	log.Println("[store] postgres connected (stub)")
+	return &Postgres{}
+}
@@ -0,0 +1,13 @@
+package store
+
+import "log"
+
+// Redis 持有 CacheDB 连接（Session / Rate Limit）。
+type Redis struct{ /* *redis.Client */ }
+
+// MustOpenRedis 建立 Redis 连接，失败即退出。
+func MustOpenRedis() *Redis {
+	// TODO: redis.NewClient(opts)
+	log.Println("[store] redis connected (stub)")
+	return &Redis{}
+}