🏗️ 平台架构
用户 → 平台 → 网关 → NVIDIA NIM
系统架构图
👤 用户应用
OpenAI SDK / HTTP Client
OpenAI SDK / HTTP Client
⬇️ HTTPS
🌐 AI公益平台
用户管理 · 密钥管理 · 用量统计
用户管理 · 密钥管理 · 用量统计
⬇️ 内网API
🔀 AI网关
负载均衡 · 限流调度 · 多密钥轮询
负载均衡 · 限流调度 · 多密钥轮询
⬇️ HTTPS
🧠 NVIDIA NIM API
nvapi-xxx × 6 上游密钥池
nvapi-xxx × 6 上游密钥池
核心组件
🧑💻 用户平台
- Flask + SQLite WAL模式
- 邮箱验证码注册
- 密钥管理与网关自动同步
- 实时用量统计展示
- 管理后台：用户管理·全局统计
🔀 AI网关
- 6个NVIDIA上游密钥轮询
- 每密钥38 RPM限流
- 最大4并发/密钥
- 429自动重试(最多10次)
- VIP密钥无限制速通道