Blizzard
3550a22557
入库从纯文本升级为多文件类型：解析(mcp-py 算法层)与切块/embedding 解耦。 上传文件 → Gateway 按类型路由 → mcp-py parse_document 解析为文本 → kb_ingest。 - mcp-py: parsers.py(docx=python-docx / xlsx=openpyxl / pdf=pypdf / csv / txt→文本)； parse_document 工具做真(base64 文件→文本，线程池跑 CPU 密集解析)；pyproject 加依赖 - gateway: POST /api/v1/kb/ingest_file(multipart)；parseFile 文本类直读、office/pdf→mcp-py - nats-server.conf: max_payload 8MB(容纳 base64 文件经工具调用；大文件应走对象存储) - frontend: KbView 加文件上传(accept docx/xlsx/pdf/csv...)；api.ingestFile - 验证: 全模块 build✓ + e2e PASS; live——4 类文件上传→mcp-py 解析→入库→检索命中: docx(营收报告)/xlsx(销量表行)/pdf(Q2计划)/csv(城市人口) 全部正确 - 边界: 扫描件/版面 OCR(MinerU/PaddleOCR)推迟；大文件 base64 走 NATS 受 max_payload 限，生产应走对象存储(MinIO) Co-Authored-By: Claude Opus 4.8 <noreply@anthropic.com>
57 lines
2.1 KiB
Go
57 lines
2.1 KiB
Go
// Package router 装配 Gin 统一接入层的路由与中间件。
|
||
package router
|
||
|
||
import (
|
||
"github.com/gin-gonic/gin"
|
||
|
||
"github.com/sundynix/sundynix-gateway/internal/handler"
|
||
"github.com/sundynix/sundynix-gateway/internal/middleware"
|
||
"github.com/sundynix/sundynix-gateway/internal/nats"
|
||
"github.com/sundynix/sundynix-gateway/internal/store"
|
||
)
|
||
|
||
// New 构建带有 Guardrail / 限流中间件的 Gin 引擎。
|
||
func New(db *store.Postgres, cache *store.Redis, bus *nats.Bus) *gin.Engine {
|
||
r := gin.Default()
|
||
r.Use(cors()) // 桌面端/浏览器跨源访问（开发期放开）
|
||
r.Use(middleware.RateLimit(cache))
|
||
r.Use(middleware.Guardrail()) // Harness: Input/Output Guardrail
|
||
|
||
h := handler.New(db, cache, bus)
|
||
api := r.Group("/api/v1")
|
||
{
|
||
api.POST("/tasks", h.SubmitTask) // 1. 解析 DSL 并 Publish 到 NATS
|
||
api.GET("/tasks/:id/stream", h.StreamTask) // 4. SSE/WS 回流 Token Stream
|
||
api.PUT("/memory", h.SetMemory) // 偏好记忆登记（→ mcp-go memory_upsert）
|
||
api.POST("/kb/ingest", h.KbIngest) // 知识库入库（文本，→ mcp-go kb_ingest）
|
||
api.POST("/kb/ingest_file", h.KbIngestFile) // 文件入库（docx/xlsx/pdf… → mcp-py 解析 → 入库）
|
||
api.POST("/kb/search", h.KbSearch) // 知识库检索台（→ mcp-go kb_search）
|
||
api.GET("/billing", h.Billing)
|
||
|
||
// 运维控制面：LLM 模型配置（独立运维控制台调用）。
|
||
admin := api.Group("/admin")
|
||
{
|
||
admin.GET("/models", h.ListModels)
|
||
admin.POST("/models", h.SaveModel)
|
||
admin.POST("/models/:id/active", h.SetActiveModel)
|
||
admin.DELETE("/models/:id", h.DeleteModel)
|
||
admin.POST("/models/test", h.TestModel)
|
||
}
|
||
}
|
||
return r
|
||
}
|
||
|
||
// cors 放开跨源访问，允许桌面端/浏览器带自定义身份头与 SSE 访问网关（开发期）。
|
||
func cors() gin.HandlerFunc {
|
||
return func(c *gin.Context) {
|
||
c.Header("Access-Control-Allow-Origin", "*")
|
||
c.Header("Access-Control-Allow-Methods", "GET, POST, PUT, DELETE, OPTIONS")
|
||
c.Header("Access-Control-Allow-Headers", "Content-Type, X-User-ID, X-Session-ID")
|
||
if c.Request.Method == "OPTIONS" {
|
||
c.AbortWithStatus(204)
|
||
return
|
||
}
|
||
c.Next()
|
||
}
|
||
}
|