Modèles · Documentation Ephemeral

Le catalogue de modèles liste les modèles que les exécutions peuvent utiliser, ainsi que le modèle par défaut appliqué lorsqu'une exécution n'en désigne aucun. Il ne nécessite aucune clé API.

GET/v1/models

Renvoie le catalogue de cette installation.

Réponse

itemsarray

Modèles pris en charge, triés par ID.

default_modelstring

Le modèle utilisé par une exécution qui n'a pas de champ model.

custom_models_allowedboolean

Indique si les exécutions peuvent désigner un modèle absent de items.

Chaque élément

idstring

La valeur à passer dans model, par exemple anthropic/claude-haiku-5.5.

namestring

Nom affiché.

context_lengthinteger

Fenêtre de contexte en jetons, lorsque le fournisseur la publie.

pricingobject

Prix du fournisseur en dollars américains par jeton, sous forme de chaînes décimales. prompt correspond à l'entrée et completion à la sortie.

supported_parametersstring[]

Paramètres de requête que le fournisseur prend en charge pour ce modèle, lorsqu'ils sont publiés.

Terminal

curl $EPHEMERAL_URL/v1/models

JSON

{
  "items": [
    {
      "id": "anthropic/claude-haiku-5.5",
      "name": "Anthropic: Claude Haiku 5.5",
      "context_length": 1000000,
      "pricing": {
        "prompt": "0.0000001",
        "completion": "0.0000005",
        "input_cache_read": "0.00000001",
        "input_cache_write": "0.000000125",
        "input_cache_write_1h": "0.0000002",
        "overrides": [{ "min_prompt_tokens": 100000, "prompt": "0.0000005", "completion": "0.0000025" }]
      },
      "supported_parameters": ["max_tokens", "reasoning", "tool_choice", "tools"]
    }
  ],
  "default_model": "anthropic/claude-haiku-5.5",
  "custom_models_allowed": false
}

Catalogue hébergé

Sur le service hébergé, le catalogue liste les modèles qu'Ephemeral peut facturer en toute sécurité. Un modèle est listé s'il a des prix d'entrée et de sortie par jeton et aucun autre frais qui ne puisse être borné à l'avance. L'entrée en cache et les paliers de prix à long contexte (overrides) sont acceptés : chaque appel est autorisé au palier le plus cher du modèle et facturé au montant indiqué par le fournisseur. Lorsque le fournisseur publie les paramètres pris en charge par un modèle, la liste doit inclure tools, car l'agent fonctionne par appels d'outils. custom_models_allowed vaut false.

Le catalogue est mis en cache pendant une minute. Les prix sont revérifiés avant chaque appel au modèle, et chaque appel est autorisé par rapport au budget de l'exécution au prix actuel. Si un modèle cesse d'être éligible, les appels qui le visent sont refusés et l'exécution échoue. Voir budgets et facturation.

Les exécutions hébergées n'envoient que du texte. Les entrées image, audio et fichier vers le modèle sont refusées.

Catalogue auto-hébergé

Une installation auto-hébergée ne liste que son modèle par défaut configuré, et custom_models_allowed vaut true. Les exécutions peuvent désigner n'importe quel ID de modèle accepté par votre endpoint d'inférence. Le catalogue n'interroge ni n'expose vos identifiants d'inférence.