开始使用

产品简介

1. 产品介绍

本平台是一个企业级 AI 模型融合平台，聚合多种主流大模型能力，通过智能路由、多模型融合，实现生产级 API 输出与企业级治理能力。本平台提供开箱即用的大模型 API，按量收费，助力应用开发轻松实现

2. 产品价值
3. 平台架构

架构分层说明： 平台基于分层架构设计，实现了模型路由与调度同业务应用接入的分离。这一设计构建了灵活稳健的技术底座，不仅明确了各层职责，更为上层业务的敏捷迭代与底层模型能力的水平扩展奠定了坚实基础。 整体架构分为以下四个层级： 第一层：模型路由层（Model Routing Layer） 模型路由层负责根据预设策略选择具体模型进行调用。

第二层：模型融合与编排层（Model Orchestration Layer） 模型融合与编排层负责管理模型调用逻辑与策略控制。

第三层：后端应用业务层（Backend Application Layer） 后端应用业务层负责对外提供标准化 API 服务。

第四层：前端应用接入层（Frontend Access Layer） 前端应用接入层为用户提供可视化管理界面，该层主要承担用户交互与运营管理功能。

快速上手

1. 登录平台

访问官网 并点击右上角“登录”按钮，如果未注册先点击“注册”，按照提示填写您的基本信息进行注册，注册成功后登录。

2. 查看模型列表和模型详情

通过 “模型列表” 查看当前可用的模型详情、模型价格、等信息。

3 创建API key

进入“令牌管理”，点击“创建令牌”，创建您的API key。调用API请求都应在 HTTP Header 请求头中包含您的API密钥（令牌KEY）。OpenAI Header传参示例：Authorization: Bearer sk-xxx

4. 使用API调用模型

我们的 API 完全兼容 OpenAI 接口协议，开发者无需修改代码即可无缝接入各类支持 OpenAI API 的应用。 参考：官方开发文档

4.1 OpenAI官方python库

OpenAI库升级到最新版本 安装 Python3.7.1 或更高版本并设置虚拟环境后，即可安装 OpenAI Python 库。在终端/命令行运行：

pip install --upgrade openai

操作完成后，可以通过运行 running 查看当前环境中已安装的 Python 库，以确认 OpenAI Python 库是否安装成功。确认成功后，即可直接调用 OpenAI 的相关接口。目前，该平台支持 OpenAI 的大多数常用参数。 请求示例：

import os
import openai

openai.api_key = "您的apikey"

openai.base_url = "https://api.xxxxxx.cn/v1"
openai.default_headers = {"x-foo": "true"}

completion = openai.chat.completions.create(
    model="gpt-4.1-mini",
    messages=[
        {
            "role": "user",
            "content": "Hello",
        },
    ],
)
print(completion.choices[0].message.content)
4.2 OpenAI官方node库

OpenAI库升级到最新版本 安装nodejs的OpenAI

npm install openai

请求示例：

const { Configuration, OpenAIApi } = require("openai");

const configuration = new Configuration({
  apiKey: "您的apikey",
  basePath: "https://api.xxxxxx.cn/v1",
});
const openai = new OpenAIApi(configuration);

const chatCompletion = await openai.createChatCompletion({
  model: "gpt-4.1-mini",
  messages: [{ role: "user", content: "Hello" }],
});

console.log(chatCompletion.data.choices[0].message.content);
5. 高并发批量请求示例

安装依赖包 在高并发请求场景中，aiohttp的效率高于httpx ，因此推荐使用 aiohttp 进行并发请求。

pip install asyncio
pip install aiohttp

请求示例：

import asyncio
import aiohttp

API_KEY = '您的apikey'

BASE_URL = "https://api.xxxxxx.cn/v1"

headers = {
    "Authorization": f"Bearer {API_KEY}",
    "Content-Type": "application/json",
}

async def create_completion(session):
    try:
        async with session.post(
            url=f"{BASE_URL}chat/completions",
            json={
                "model": "gpt-4o",
                "max_tokens":4000,
                "temperature": 0.5,
                # "top_p": 0.5,
                "messages": [{"role": "user", "content": "你是谁"}],
            },
            headers=headers
        ) as response:
            if response.status == 200:
                result = await response.json()
                # 打印结果
                # 请自行处理请求结果的存储。
                print(result['choices'][0]['message']['content'])
            else:
                print(f"请求失败，状态码: {response.status}")
    except Exception as e:
        print(f"请求发生异常: {e}")

async def main():
    max_limits = 2000  # 设置一个合理的并发请求数，请不要超过5000，可以开多个脚本同时跑，效率更高！
    async with aiohttp.ClientSession() as session:
        while True:
            tasks = [create_completion(session) for _ in range(max_limits)]
            await asyncio.gather(*tasks)
            await asyncio.sleep(1)  # 控制请求间隔

if __name__ == "__main__":
    asyncio.run(main())

功能特性

1. API调用

将已配置的模型调用逻辑与主备策略封装为标准化 API 接口，对外提供稳定、可扩展、可管理的生产级调用能力，支持企业级业务系统集成。

2. 智能路由引擎

支持用户在同一业务流程中选择多个模型，实现模型调用的高可用与稳定性保障。 用户在构建工作流或配置接口时，可以同时选择多个模型作为可调用资源。平台支持将多个模型绑定到同一调用逻辑中，为后续的策略控制与容错机制提供基础能力。

3. 可视化数据运营及管理

用于对平台内模型调用情况、使用数据与费用信息进行可视化展示与统计分析，帮助运营与管理人员实时掌握模型使用状态与成本情况，实现数据透明化与精细化运营管理。