New API là gì? Hướng dẫn triển khai LLM Gateway đa nền tảng

Tóm tắt nhanh

New API là giải pháp gateway tập trung giúp quản lý nhiều nhà cung cấp AI (OpenAI, Claude, Gemini, DeepSeek…) qua một endpoint duy nhất.
Hệ thống hỗ trợ chuyển đổi định dạng chéo (Cross-format), cho phép dùng code chuẩn OpenAI để gọi tới Claude hoặc Gemini mà không cần sửa mã nguồn.
Cung cấp các tính năng quản trị nâng cao: Quản lý Quota, Billing, Load Balancing và phân quyền người dùng (Multi-tenant).
Triển khai dễ dàng trên hạ tầng riêng thông qua Docker và Docker Compose.

1. Bài toán phân mảnh API trong phát triển ứng dụng AI

Việc quản lý nhiều API key từ các nhà cung cấp khác nhau đang trở thành gánh nặng lớn cho anh em dev khi mở rộng quy mô ứng dụng AI. Nếu bạn đang xây dựng ứng dụng tích hợp AI, khả năng cao bạn đang phải đối mặt với việc lưu trữ và xử lý hàng loạt API key từ OpenAI, Anthropic (Claude), Google Gemini, DeepSeek hay Midjourney.

Vấn đề nảy sinh từ sự thiếu đồng bộ:

Mỗi nhà cung cấp sử dụng một endpoint, cấu trúc request và cơ chế tính phí riêng biệt.
Ứng dụng thường phải hard-code logic cho từng provider, dẫn đến khó khăn khi muốn chuyển đổi mô hình hoặc backup.
Việc kiểm soát chi phí và giới hạn usage cho từng user hoặc dự án đòi hỏi phải tự xây dựng hệ thống logging và quota phức tạp.

Khi chuyển từ giai đoạn thử nghiệm sang vận hành thực tế (Production) cho web app, bot Telegram hay SaaS, bài toán DevOps về quản lý tài nguyên AI trở nên cấp thiết. New API ra đời như một giải pháp middleware để giải quyết triệt để vấn đề này: gom tất cả về một gateway, chuẩn hóa giao tiếp và tích hợp sẵn công cụ quản lý tài chính.

2. New API là gì? Tổng quan kiến trúc hệ thống

New API là một hệ thống LLM Gateway & AI Asset Management mã nguồn mở, đóng vai trò như một trung tâm kết nối và chuẩn hóa giao tiếp giữa ứng dụng của bạn và hơn 30 nhà cung cấp AI khác nhau.

LLM Gateway (Cổng kết nối mô hình ngôn ngữ lớn) là lớp phần mềm trung gian giúp định tuyến, xác thực và ghi lại các yêu cầu gửi đến các mô hình AI, giúp ứng dụng không cần kết nối trực tiếp đến từng nhà cung cấp.

Về mặt kỹ thuật, New API sở hữu các đặc điểm sau:

Hợp nhất Endpoint: Gom tất cả các service (OpenAI, Claude, Gemini, Midjourney…) thành một API endpoint duy nhất, tương thích hoàn toàn với chuẩn OpenAI.
Quản trị toàn diện: Tích hợp sẵn hệ thống quản lý người dùng, token, hạn mức (quota), billing và hỗ trợ mô hình multi-tenant.
Nền tảng: Đây là bản fork nâng cấp từ dự án One API nổi tiếng, tương thích cơ sở dữ liệu với One API nhưng bổ sung giao diện UI mới, tính năng Billing nâng cao, hỗ trợ Realtime API và Rerank.
Triển khai: Cung cấp Docker image chính thức (calciumion/new-api), được tối ưu cho hiệu suất cao.

Đối với những ai đã từng vận hành One API, New API có thể được xem là phiên bản “Enterprise” với đầy đủ tính năng cần thiết cho việc thương mại hóa hoặc quản lý nội bộ quy mô lớn.

3. Các tính năng kỹ thuật cốt lõi

New API cung cấp bộ công cụ mạnh mẽ để tối ưu hóa luồng dữ liệu và chi phí cho các hệ thống AI. Dưới đây là các tính năng quan trọng nhất.

3.1. Hợp nhất nguồn lực (Aggregation)

Tính năng này cho phép gateway kết nối tới nhiều kênh (channel) khác nhau như OpenAI, Azure, Claude, Gemini, DeepSeek, và mapping chúng thành một danh sách model tập trung. Client chỉ cần gọi API theo tên model qua một endpoint chuẩn (thường là /v1/chat/completions).

Điều này mang lại sự linh hoạt tối đa: ứng dụng client không cần biết backend đang xử lý là Claude hay GPT-4. Bạn có thể thay đổi luồng xử lý (routing) bất cứ lúc nào mà không cần deploy lại code của ứng dụng.

3.2. Cross-converting: Chuyển đổi giao thức linh hoạt

Đây là tính năng giá trị nhất giúp loại bỏ sự phụ thuộc vào một nhà cung cấp duy nhất (Vendor lock-in). Hệ thống tự động chuyển đổi định dạng request/response giữa các chuẩn:

OpenAI to Claude: Gửi request chuẩn OpenAI, hệ thống tự convert sang Claude Messages format để gọi API Anthropic.
Claude to OpenAI: Client dùng chuẩn Claude, hệ thống route sang model OpenAI.
OpenAI to Gemini: Tự động convert request OpenAI sang định dạng Google Gemini Chat.

TIP:

Khi phát triển ứng dụng mới, hãy luôn sử dụng thư viện hoặc SDK chuẩn OpenAI. Nhờ khả năng Cross-converting của New API, bạn có thể dễ dàng chuyển sang dùng Claude 3.5 Sonnet hoặc Gemini 1.5 Pro ở backend mà không cần viết lại dù chỉ một dòng code logic.

3.3. Quản lý hạn mức và Billing (Quota & Cost Control)

New API tích hợp sẵn một hệ thống “Billing mini”, phù hợp cho mô hình chia sẻ tài nguyên hoặc bán lại dịch vụ (Reselling):

Token Management: Tạo API key riêng cho từng user/project, gán quyền truy cập cụ thể cho từng nhóm model.
Quota Limit: Giới hạn usage theo số lần gọi hoặc ngân sách. Hỗ trợ hệ số giá (multiplier) cho từng model (ví dụ: model cao cấp tính phí gấp đôi model thường).
Billing & Top-up: Hỗ trợ nạp tiền online qua Stripe hoặc các cổng thanh toán, cho phép vận hành mô hình “Pay-as-you-go”.
Analytics: Dashboard chi tiết về usage, tỷ lệ lỗi và chi phí theo thời gian thực.

3.4. Load Balancing & Intelligent Routing

Hệ thống đảm bảo tính sẵn sàng cao (High Availability) cho ứng dụng thông qua cơ chế định tuyến thông minh:

Weighted Random: Phân phối tải theo trọng số (ví dụ: 70% traffic vào OpenAI, 30% vào DeepSeek).
Automatic Failover: Tự động chuyển hướng sang channel dự phòng nếu channel chính gặp lỗi (timeout, 5xx) hoặc hết quota.
Group Routing: Định tuyến dựa trên nhóm người dùng, đảm bảo user VIP luôn được sử dụng line ưu tiên.

4. So sánh New API, One API và Direct API

Để giúp bạn đưa ra quyết định kiến trúc phù hợp, dưới đây là bảng so sánh chi tiết giữa các phương pháp tiếp cận.

Tiêu chí	Dùng API Trực tiếp	One API (Gốc)	New API (Fork)
Độ phức tạp Client	Cao (Xử lý nhiều SDK)	Thấp (1 SDK chuẩn)	Thấp (1 SDK chuẩn)
Vendor Lock-in	Có	Không	Không
Giao diện (UI/UX)	N/A	Cơ bản	Hiện đại, trực quan
Hệ thống Billing	Tự xây dựng	Cơ bản	Nâng cao (Top-up, Stripe)
Hỗ trợ Format	Từng hãng riêng biệt	OpenAI	OpenAI, Claude, Gemini, Realtime
Tính ổn định	Phụ thuộc Provider	Cộng đồng	Cộng đồng (Cập nhật nhanh)

New API vượt trội hơn One API ở giao diện người dùng và khả năng hỗ trợ các format mới như Realtime API hay Rerank, đồng thời tối ưu hóa tốt hơn cho nhu cầu thương mại hóa.

5. Hướng dẫn triển khai New API với Docker

Việc triển khai New API được thực hiện nhanh chóng nhất thông qua Docker. Dưới đây là quy trình chuẩn để thiết lập một gateway trên hạ tầng Linux.

Cách 1: Triển khai bằng Docker Compose

Phương pháp này giúp bạn dễ dàng quản lý cấu hình và cơ sở dữ liệu.

Bước 1: Chuẩn bị môi trường
Máy chủ cần cài đặt sẵn Docker và Docker Compose.

Bước 2: Clone mã nguồn

git clone https://github.com/QuantumNous/new-api.git
cd new-api

Bước 3: Cấu hình docker-compose.yml
Sử dụng file cấu hình mẫu và điều chỉnh các biến môi trường quan trọng như SQL_DSN (kết nối Database) và TZ (Múi giờ).

services:
  new-api:
    image: calciumion/new-api:latest
    container_name: new-api
    restart: unless-stopped
    ports:
      - "3000:3000"
    environment:
      - SQL_DSN=user:password@tcp(db:3306)/new_api
      - REDIS_CONN_STRING=redis:6379
      - TZ=Asia/Ho_Chi_Minh
    depends_on:
      - db

  db:
    image: mysql:8
    environment:
      - MYSQL_ROOT_PASSWORD=strong_password
      - MYSQL_DATABASE=new_api
    volumes:
      - ./data/mysql:/var/lib/mysql

Bước 4: Khởi chạy dịch vụ

docker compose up -d

Sau khi container chạy, bạn có thể truy cập dashboard quản trị tại http://<server-ip>:3000 (User/Pass mặc định thường là root/123456, cần đổi ngay sau khi đăng nhập).

Cách 2: Triển khai nhanh bằng Docker Run

Dành cho mục đích kiểm thử hoặc môi trường Dev đơn giản:

docker run -d \
  --name new-api \
  -p 3000:3000 \
  -e SQL_DSN="user:password@tcp(host.docker.internal:3306)/new_api" \
  -e TZ="Asia/Ho_Chi_Minh" \
  calciumion/new-api:latest

TIP:

Để đảm bảo an toàn cho API Gateway, không bao giờ expose cổng 3000 trực tiếp ra internet. Hãy sử dụng Nginx làm Reverse Proxy và cấu hình SSL (HTTPS) thông qua Let’s Encrypt hoặc Cloudflare Tunnel.

Giải đáp 1 vài câu hỏi

1. New API có miễn phí không?
New API là phần mềm mã nguồn mở (Open Source) và miễn phí để tải về và tự triển khai (Self-host). Tuy nhiên, bạn vẫn phải trả phí sử dụng API cho các nhà cung cấp như OpenAI hay Anthropic dựa trên usage thực tế mà bạn cấu hình trong hệ thống.

2. Tôi có thể dùng New API để bán lại (resell) dịch vụ AI không?
Có. New API được thiết kế với các tính năng hỗ trợ multi-tenant, bao gồm quản lý người dùng, tạo mã nạp tiền (redeem code), tích hợp cổng thanh toán và thiết lập bảng giá riêng cho từng model, rất phù hợp để xây dựng các dịch vụ AI wrapper hoặc chia sẻ nội bộ có thu phí.

3. New API có an toàn hơn việc gọi trực tiếp không?
Việc dùng New API giúp giấu kín (mask) các API key gốc của nhà cung cấp (OpenAI, Google) khỏi phía client (trình duyệt, mobile app). Tuy nhiên, vì đây là một gateway tập trung, bạn cần bảo mật máy chủ chứa New API cẩn thận để tránh rủi ro bị tấn công vào điểm tập trung này.

New API không chỉ đơn thuần là một bản fork giao diện đẹp, mà là một giải pháp hạ tầng toàn diện cho các nhà phát triển AI hiện đại. Khả năng hợp nhất nguồn lực, chuyển đổi giao thức linh hoạt và quản lý chi phí tập trung biến nó trở thành công cụ đắc lực cho cả cá nhân (quản lý key), đội nhóm (chia sẻ tài nguyên) và doanh nghiệp (xây dựng SaaS).

Nếu bạn đang tìm kiếm sự tự do khỏi các ràng buộc của nhà cung cấp đơn lẻ và muốn tối ưu hóa quy trình DevOps cho AI, New API là một lựa chọn đáng để thử nghiệm ngay hôm nay.

Duy Nghiện

Hãy làm khán giả, đừng làm nhân vật chính :)