Neuf types de modèles. Un seul SDK OpenAI.

Nine model types. The same OpenAI SDK.

Branchez le client OpenAI standard sur votre passerelle SPT. Chat, images, vidéo, audio, embeddings, reranking — chaque endpoint suit la convention OpenAI, avec passthrough des paramètres spécifiques au modèle.

Point the standard OpenAI client at your SPT gateway. Chat, images, video, audio, embeddings, reranking — every endpoint follows OpenAI conventions, with passthrough for model-specific parameters.

Un orchestrateur. Trois architectures. Aucun compromis.

One orchestrator. Three architectures. No compromise.

Le planificateur arch-aware route chaque modèle vers le GPU avec le plus de VRAM libre, en respectant les contraintes d'architecture et de runtime. CUDA et MLX cohabitent — le client gateway ne voit jamais la différence.

The arch-aware scheduler routes each model to the GPU with the most free VRAM, respecting architecture and runtime constraints. CUDA and MLX coexist — the gateway client never sees the difference.

Changez la base URL. Gardez votre code.

Change the base URL. Keep your code.

from openai import OpenAI

client = OpenAI(
    base_url="https://models.sponge-theory.dev/v1",
    api_key="sk-...",
)

# Same SDK, every modality:
chat = client.chat.completions.create(
    model="gemma-4-26b-a4b-it",
    messages=[{"role": "user", "content": "hi"}],
    stream=True,
)

img = client.images.generate(
    model="z-image-turbo",
    prompt="a Blackwell GPU on a beach",
    size="1024x1024",
)

emb = client.embeddings.create(
    model="jina-embeddings-v5",
    input=["hello", "world"],
)

# Chat completion (streaming)
curl https://models.sponge-theory.dev/v1/chat/completions \
  -H "Authorization: Bearer sk-..." \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemma-4-26b-a4b-it",
    "messages": [{"role": "user", "content": "hi"}],
    "stream": true
  }'

# Image generation (Z-Image Turbo, 4-step inference)
curl https://models.sponge-theory.dev/v1/images/generations \
  -H "Authorization: Bearer sk-..." \
  -d '{
    "model": "z-image-turbo",
    "prompt": "Grace Blackwell die-shot, render",
    "size": "1024x1024",
    "num_inference_steps": 4
  }'

# TTS — omnivoice with strict instruct vocab
curl https://models.sponge-theory.dev/v1/audio/speech \
  -H "Authorization: Bearer sk-..." \
  -d '{
    "model": "omnivoice",
    "input": "Hello, this is SPT.",
    "instruct": "male, middle-aged, low pitch, british accent"
  }'

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://models.sponge-theory.dev/v1",
  apiKey: process.env.SPT_API_KEY,
});

const stream = await client.chat.completions.create({
  model: "holo3-35b-a3b",
  messages: [{ role: "user", content: "hello" }],
  stream: true,
});

for await (const chunk of stream) {
  process.stdout.write(chunk.choices[0].delta.content ?? "");
}

Chaque modèle, chaque GPU — sans terminal.

Every model, every GPU — without a terminal.

Catalogue par cartes, chargement live, formulaires de test générés à partir du schéma de paramètres du plugin. Import IA depuis une URL HuggingFace. Statistiques d'usage par modèle et par clé. Suivi de la conversion GGUF.

Card-based catalogue, live loading, test forms generated from the plugin's parameter schema. AI import from a HuggingFace URL. Usage stats by model and key. GGUF conversion tracking.

Conçu pour les pannes, pas pour les démos.

Engineered for failure, not demos.

Chaque mécanisme d'isolation, de quarantaine et de fallback s'enclenche silencieusement. CUDA 13 natif sur Blackwell. Disjoncteurs MLX. Détection VRAM à quatre niveaux. Décodage spéculatif MTP. Venvs isolés par modèle.

Every isolation, quarantine and fallback mechanism trips silently in the background. CUDA 13 native on Blackwell. MLX circuit breakers. Four-level VRAM detection. MTP speculative decoding. Per-model venv isolation.