Sources vérifiées entre le 23 octobre et le 5 novembre 2026. Noms de modèles, paliers, quotas, prix et textes réglementaires évoluent vite : vérifiez la documentation citée avant toute décision.
Quand une application d’IA générative appelle un modèle chez AWS, Microsoft ou Google, la réponse peut être un refus : le code HTTP 429, « trop de requêtes ». Le plus souvent, rien n’est cassé : ce refus vient d’une limite de débit, d’un plafond de dépense ou de la capacité disponible, chez le fournisseur comme dans votre propre plateforme, et le code seul ne dit pas laquelle. Derrière ce code se cache une question de direction : la capacité de calcul est rare, partagée et chère, et une entreprise qui ne formalise pas sa répartition laisse les usages se départager au moment de la saturation.
Cet article s’adresse aux DSI, aux responsables de plateforme et d’architecture, à la FinOpsFinOpsLa discipline qui pilote et optimise les dépenses cloud, en associant finance, achats et équipes techniques.Voir le glossaire et aux fonctions risques. Il explique d’où viennent les 429, puis propose de quoi gouverner la capacité d’inférence : qui décide, selon quelles règles, à quel prix, avec quels risques et quels indicateurs. Le détail technique et le diagnostic sont en annexes.
Un incident, pour commencer
Scénario fictif, construit pour illustrer les mécanismes décrits dans cet article.
Un lundi, à 9 h 05, l’assistant interne d’une entreprise répond « service momentanément indisponible » à une partie des collaborateurs. Pourtant, le tableau de bord indique que le modèle n’utilise que 40 % du volume de texte autorisé par minute. Le réflexe de l’équipe : demander au fournisseur une limite plus haute. Elle n’en a pas besoin.
Les journaux techniques racontent autre chose. Depuis 9 h, un traitement automatique de documents envoie ses demandes par paquets de plusieurs dizaines dans la même seconde. Chaque demande est courte, donc le volume de texte reste faible. Mais le fournisseur limite aussi le nombre de demandes par seconde, et chaque paquet dépasse cette limite. Or l’assistant et le traitement de documents passent par le même accès au modèle : les questions des collaborateurs qui tombent pendant ces secondes-là sont refusées. L’application réessaie aussitôt, la bibliothèque logicielle réessaie à son tour, et ces tentatives s’ajoutent les unes aux autres. Enfin, l’assistant affiche proprement un message d’erreur au lieu de planter : vu de la supervision technique, tout semble normal.
La correction tient en quatre gestes, sans rien demander au fournisseur : faire patienter le traitement de documents dans une file, réserver une part de la capacité à l’assistant, limiter le nombre total de nouvelles tentatives en respectant le délai indiqué par le fournisseur (Retry-After), et suivre les refus selon leur origine. Mais ces gestes supposent une décision que personne n’avait prise : lequel des deux usages doit passer en premier quand la capacité manque. C’est cette décision, et toutes celles qui l’entourent, que cet article appelle gouverner la capacité d’inférence.
L’essentiel en sept idées
- 1. Le rate limiting des LLM n’est plus un garde-fou technique, c’est un marché.
- La rareté du calcul est physique, sa répartition est commerciale : le débit garanti s’achète, la priorité se paie, la patience est récompensée.
- 2. Un 429 est souvent le symptôme d’une allocation que personne n’a décidée.
- Avant de demander plus de quota, il faut savoir qui consomme quoi, par quel chemin, et qui aurait dû passer en premier.
- 3. Le quota ne voit pas ce que vous voyez.
- Chez AWS sur bedrock-runtimeRuntime isoléL’environnement dans lequel un agent s’exécute, séparé des autres et limité à son périmètre, pour contenir les erreurs et les abus.Voir le glossaire , et chez Microsoft au moins pour les PTU, il juge une estimation qui inclut le plafond de sortie demandé ; en paiement au tokenToken (jeton)Deux sens. Pour un modèle : un morceau de mot, l’unité qui mesure le texte traité et donc le coût. En sécurité : une clé temporaire qui prouve un droit d’accès.Voir le glossaire , la facture porte sur les tokens réellement traités, en PTU sur la capacité déployée. Les métriques de consommation ne suffisent donc pas à expliquer les refus.
- 4. Gouverner commence par nommer les décideurs.
- Qui classe un usage, qui fixe ses planchers et ses plafonds, qui ouvre un abonnement, qui réserve de la capacité, qui autorise un flux hors de l’UE.
- 5. Réserver de la capacité est un engagement financier, pas seulement une recherche de remise.
- Elle se paie qu’elle serve ou non ; la décision relève de la finance, sur dossier.
- 6. La dépendance à un fournisseur, un modèle ou une région est un risque d’entreprise.
- Pour les entités financières, DORA en fait une obligation : registre des accords, évaluationÉvaluationTester un agent sur une série de cas connus pour mesurer la qualité de ses réponses avant de le mettre à jour.Voir le glossaire de la concentration, stratégie de sortie testée.
- 7. Le fournisseur gère la rareté physique, à vous de gérer la vôtre.
- Avec les agentsAgentUn programme qui utilise un modèle d’IA pour accomplir une tâche : il lit des informations, appelle des outils et propose ou exécute des actions.Voir le glossaire , une demande devient des dizaines d’appels : budgets par exécution, classes de criticité et indicateurs suivis par la direction protègent les usages critiques quand la capacité baisse.
Pourquoi c’est devenu un sujet de direction
En 2026, les fournisseurs ne cachent plus que la capacité est rationnée. Fin juin, le Financial Times rapportait que Google avait plafonné l’usage de Gemini par Meta, faute de pouvoir livrer la capacité demandée ; d’autres clients auraient été touchés, dans une moindre mesure (Rappler/Reuters). Côté AWS, Matt Garman estimait en mai que l’offre resterait contrainte (Handelsblatt). Quand l’un des plus gros clients de Google se fait plafonner, aucun quota n’est acquis.
Une rareté physique, une répartition commerciale. La contrainte est d’abord matérielle : GPUGPUProcesseur graphique : la puce de calcul massivement parallèle utilisée pour entraîner et faire tourner les modèles d’IA. C’est elle qui consomme et chauffe le plus.Voir le glossaire , mémoire, réseau, refroidissement et surtout électricité. Un datacenter IA se monte en quelques mois ; un raccordementRaccordementLe branchement d’un site au réseau électrique public, avec la puissance garantie qui va avec. Il faut des années pour l’obtenir, et c’est souvent l’actif le plus rare.Voir le glossaire au réseau électrique prend en moyenne cinq ans aux États-Unis. L’Europe ne pèse qu’environ 5 % de la capacité de calcul IA mondiale, contre près de 80 % pour les États-Unis, et cette capacité européenne sert surtout l’inférence (article compagnon). Mais la façon de répartir cette capacité entre clients, d’en fixer les priorités et les prix reste une décision commerciale. Les quotas, les paliers et les 429 de capacité traduisent les deux à la fois.
Pour une entreprise, le rate limiting touche quatre enjeux à la fois :
- Disponibilité.
- Un assistant, un agent ou une chaîne de traitement qui reçoit des 429 peut tomber en panne pour l’utilisateur, même si rien n’est « cassé », à moins qu’une file, une reprise ou une dégradation n’absorbe le refus. Sur une plateforme bien dimensionnée, ces refus restent rares, mais ils tombent en rafales, sur quelques minutes et souvent sur les plus petits déploiements.
- Coût.
- Chaque fournisseur vend désormais plusieurs prix pour le même modèle : prioritaire, standard, différé, réservé. Mal choisir, c’est payer la capacité qu’on n’utilise pas, ou subir des refus sur ce qu’on a payé.
- Conformité.
- Le levier le plus efficace pour gagner du débit consiste à laisser le fournisseur traiter vos données ailleurs. Le débit et la résidence des données se négocient l’un contre l’autre.
- Équité interne.
- Un quota fournisseur est partagé par toutes les applications qui l’utilisent. Sans répartition, l’application la plus bruyante décide pour les autres.
Le rate limiting est donc une décision d’architecture et de gouvernance, pas un paramètre de SDK. Le fournisseur gère une rareté physique ; l’entreprise, elle, gère une rareté organisationnelle : décider quelles applications et quels agents doivent continuer à fonctionner quand la capacité manque.
Ce que cet article apporte. Pris séparément, les mécanismes du rate limiting sont déjà documentés, souvent par des éditeurs de passerelles (Requesty, TrueFoundry, Palo Alto Networks) ou des plateformes (Palantir), et la FinOps Foundation traite le choix entre capacité partagée et réservée. Ce qui manque, c’est le lien entre la mécanique et la décision : c’est ce lien que cet article construit.
Le gigawatt et le dollarL’écart de vitesse entre l’IA et le réseau existe aussi en dollars, et il est comblé de la même façon : avec l’argent des autres.Comprendre le mécanisme
Admission contre facturation. C’est le point le plus important et le moins compris. Chez AWS (bedrock-runtime), le fournisseur décide d’accepter une requête à son arrivée, sur une estimation : taille du promptPromptLes instructions écrites données au modèle d’IA pour orienter sa réponse.Voir le glossaire plus plafond de génération demandé (max_tokens). Il facture après, sur la consommation réelle. Une requête qui demande 4 000 tokens de sortie et en produit 200 a d’abord bloqué du quota pour 4 000 (AWS, comptage des tokens) ; la documentation Dev ProxyReverse proxyUn serveur placé devant d’autres serveurs, qui reçoit toutes les requêtes et les redirige en appliquant des règles.Voir le glossaire de Microsoft donne le même exemple pour Azure (Microsoft, limites de débit des LLM dans Dev Proxy). Conséquence : les métriques de tokens facturés ne suffisent pas à expliquer un 429.
À l’admission : une estimation
- prompt
- la taille de la demande
- + 4 000
- le plafond de sortie demandé (max_tokens), bloqué dans le quota
À la facturation : le réel
- prompt
- la même demande
- + 200
- les tokens réellement produits, seuls facturés
La règle n’est pas universelle. L’APIAPIL’interface qui permet à deux logiciels d’échanger des données de façon automatique.Voir le glossaire Anthropic en direct ne compte en sortie que les tokens réellement générés : un max_tokens élevé n’y réduit pas la limite (Claude Platform, limites de débit). Chez Microsoft, les pages officielles se contredisent pour les déploiements Standard : la documentation Dev Proxy inclut max_tokens dans l’estimation (Microsoft, limites de débit des LLM dans Dev Proxy), la page de gestion des quotas ne compte que les tokens réels (Microsoft, gestion du quota) ; pour les PTU, l’estimation l’inclut avant d’être régularisée. Google ne documente pas son rôle. Le comptage dépend du fournisseur, de l’endpoint et du type de déploiement : baisser max_tokens n’est un remède que là où il entre dans l’estimation, et un test simple le vérifie.
Les unités.
- TPM (tokens par minute) :
- la limite qui mord en premier pour les LLM. Elle compte entrée et sortie, parfois séparément, parfois avec un multiplicateur sur la sortie.
- RPM (requêtes par minute) :
- en recul. AWS l’a supprimée pour une partie de ses modèles, Microsoft la dérive mécaniquement du TPM. Elle reste déterminante pour les modèles annexes (images, OCR), souvent plafonnés à quelques dizaines de requêtes par minute.
- Unités de capacité :
- chez Microsoft, on n’attribue pas des TPM mais des unités, converties en TPM et RPM selon un ratio propre à chaque modèle.
Les fenêtres. Une limite « par minute » est souvent contrôlée sur 1 à 10 secondes. Microsoft le documente : un déploiement à 600 RPM peut refuser des requêtes dès qu’il en reçoit plus de 10 dans la même seconde. De même, une limite de 500 requêtes par 10 secondes n’autorise pas une rafale de 3 000 en une seconde, même si elle équivaut à 3 000 par minute.
Deux familles de 429. Le 429 de quota dit que vous avez dépassé votre allocation. Le 429 de capacité dit que le pool partagé est saturé, quel que soit votre quota. Les confondre mène au mauvais remède : demander une hausse de quota quand le problème est la contention.
Le 429 n’est pas toujours l’erreur dominante. Sur le trafic d’avril 2026 de la passerelle Requesty, 65,8 % des erreurs renvoyées par les fournisseurs étaient des 429, contre 19,4 % de 400 et moins de 5 % d’erreurs serveur (Requesty). Mais c’est la mesure d’une passerelle qui mutualise de nombreux clients, souvent près de leurs limites. Sur une plateforme d’entreprise aux déploiements largement dimensionnés, le terrain montre souvent l’inverse : des 429 rares, concentrés sur quelques minutes et quelques petits déploiements, noyés dans des erreurs de requête bien plus nombreuses. Avant de bâtir une stratégie anti-429, il faut mesurer sa propre répartition des erreurs.
Les sept niveaux : des facteurs à examiner, pas des étapes
Sept facteurs peuvent limiter une requête LLM. Ce ne sont pas sept étapes successives qui émettraient chacune leur 429 : on y trouve des composants, des règles, des paramètres d’allocation et une contrainte physique, chacun avec sa propre unité. Ils ne sont pas tous de même nature et se rangent en trois familles : les mécanismes de contrôle du trafic (niveaux 1 à 4 : votre code, votre limiteur, votre passerelle, le quota du fournisseur), les politiques d’allocation de capacité (niveaux 5 et 6 : le niveau de service et le périmètre géographique, que vous choisissez et que le fournisseur applique) et la contrainte physique du fournisseur (niveau 7). C’est la grille de lecture du reste de cet article.
Sept facteurs à examiner, trois chez vous et quatre chez le fournisseur
Des composants, des règles, des paramètres d’allocation et une contrainte physique, chacun dans sa propre unité
Chez vous : vous réglez
- 1. Instance applicativecontrôle du traficLimiteur dans le code : compte des requêtes, se multiplie avec les instances
- 2. Limiteur distribuécontrôle du traficCompteur partagé entre instances : doit compter en tokens pondérés
- 3. Gatewaycontrôle du traficBudgets par consommateur : ne voit que le trafic qui passe par elle
Chez le fournisseur : vous choisissez, il applique
- 4. Quota fournisseurcontrôle du traficTPM et RPM par modèle : comptage propre au service et au déploiement
- 5. Niveau de servicepolitique d’allocationStandard, Priority, Flex, réservé : fixe votre place dans la file
- 6. Périmètre géographiquepolitique d’allocationRégion, zone ou global : fixe la capacité et les services disponibles
- 7. Capacité physiquecontrainte physiqueGPU du fournisseur : contention du pool partagé, hors de votre contrôle
| Niveau | Qui le contrôle | Unité | Ce qui casse | Levier |
|---|---|---|---|---|
| 1. Instance applicative | Vous (code) | Requêtes HTTP | Se multiplie avec le nombre d’instances ; ignore la taille des prompts | Passer au niveau 2 dès qu’il y a plus d’une instance |
| 2. Limiteur distribué | Vous (Redis ou équivalent) | Requêtes ou tokens | Compter en requêtes alors que le fournisseur compte en tokens | Compter en tokens pondérés, sortie comprise |
| 3. GatewayGatewayUn point de passage unique, placé devant des services, qui contrôle tout ce qui entre et sort : identité, droits, quotas, journalisation.Voir le glossaire | Vous ou votre plateforme | Tokens par clé, budgets | Compteurs séparés par passerelle ; chemins qui la contournent | Budgets par consommateur, routage entre backends |
| 4. Quota fournisseur | Fournisseur, ajustable | TPM / RPM par modèle, compte ou abonnement | Comptage propre au service et au déploiement, parfois sur estimation (max_tokens compris) | Dimensionner max_tokens, demander une hausse justifiée |
| 5. Niveau de service | Vous choisissez, le fournisseur applique | Standard, Priority, Flex, réservé | Priorité plus basse en cas de forte demande | Un niveau par type de flux |
| 6. Périmètre géographique | Vous choisissez | Région, zone, global | Capacité et services disponibles | Le levier régional |
| 7. Capacité physique | Fournisseur seul | GPU, temps de calcul | Contention du pool partagé | Capacité réservée, multi-fournisseur |
Les niveaux 1 et 3 donnent un faux sentiment de contrôle. Le limiteur intégré de LangChain ne vaut que pour un processus et ne compte que des requêtes (LangChain, rate limiters) ; la politique llm-token-limit d’Azure API Management compte séparément sur chaque passerelle (Azure, politique llm-token-limit). Dans les deux cas, plusieurs instances multiplient le budget, et une gateway ne protège que le trafic qui passe par elle.
Ce qui change d’un fournisseur à l’autre
Les trois fournisseurs partagent ces mécanismes, mais les appliquent différemment. Le tableau ne garde que les différences qui changent une décision ; le détail par fournisseur, endpoints, coefficients et options payantes, est en annexe A.
| Critère | AWS Bedrock | Microsoft Foundry | Google Agent Platform |
|---|---|---|---|
| Périmètre du quota | Compte, modèle, région source | Abonnement, modèle, type de déploiement | Organisation, modèle |
| Ce que vous réglez | Rien par déploiement : des quotas de compte | Des unités de capacité par déploiement | Rien en Standard : votre palier dépend de votre dépense |
| Unité principale | TPM entrée + sortie (runtime) ; entrée et sortie séparées (mantle) | TPM, RPM dérivé | Seuil de priorité en TPM |
| Rôle de max_tokens | Réservé à l’admission, remboursé en fin de requête | Documentation contradictoire en Standard ; compté puis régularisé en PTU | Non détaillé dans la doc |
| Piège de comptage | Burndown de ×5 à ×15 sur la sortie, selon le modèle | Fenêtres RPM de 1 à 10 s | Pics à la seconde limités |
| Montée en charge | Demande de hausse (priorisée si usage réel) | Quota tiers automatiques | Usage tiers sur 30 jours de dépense |
| Capacité réservée | Reserved tier, Provisioned Throughput | PTU | Provisioned Throughput (GSU) |
| Priorité payante | Priority (+75 %), selon le modèle | Priority processing | Priority PayGo |
| Option économique | Flex (-50 %), Batch, selon le modèle | Flex processing, Batch | Flex PayGo (~-50 %), Batch |
| Routage multi-région | Profils géographiques et globaux | Déploiements Global et Data Zone | Endpoint global |
Le levier régional, et le prix de la résidence
Le périmètre géographique est le levier de débit le moins cher : il n’ajoute pas de frais de routage, et chez AWS le profil global coûte même environ 10 % de moins que les profils géographiques. Il se paie en contrôle sur l’endroit où vos prompts sont traités. Les trois fournisseurs proposent la même échelle : une région, une zone (UE, US), le monde. Plus on monte, plus on a en général de capacité, selon le modèle et l’offre ; plus on descend, plus la conformité est simple.
Microsoft le formule sans détour : Global offre les quotas par défaut les plus élevés et reçoit les nouveaux modèles en premier ; les types régionaux arrivent en dernier, sans date garantie, et dépendent de la capacité libérée par les anciens modèles (Microsoft, types de déploiement). La raison est matérielle : mutualiser plusieurs régions permet d’utiliser les GPU libres où qu’ils soient.
| Barreau | AWS Bedrock | Microsoft Foundry | Google Agent Platform |
|---|---|---|---|
| Région | Appel mono-région | Standard, Regional Provisioned | Endpoint régional |
| Zone UE | Profil eu. : destinations européennes, qui dépendent de la région source | Data Zone EU : traité dans l’EU Data Boundary | Endpoint multi-région UE |
| Monde | Profil global. : toutes les régions commerciales | Global Standard, Global Provisioned | Endpoint global |
| Liste des régions | Figée : tout ajout donne un nouvel identifiant de profil | Microsoft peut ajouter des régions à une zone sans préavis | Garanties publiées modèle par modèle |
| Piège spécifique | Une SCP qui bloque une destination fait échouer la requête | L’EU Data Boundary peut inclure la Norvège et la Suisse | Hors régions listées, aucune garantie de lieu de traitement |
Sources : AWS, profils géographiques ; Microsoft, types de déploiement ; Google, résidence des données.
La zone UE est souvent un bon compromis pour une entreprise européenne, selon ses obligations de résidence et la disponibilité des modèles : plus de capacité sans sortir les données de la zone, à condition de vérifier ce qu’elle couvre : la Norvège et la Suisse dans l’EU Data Boundary de Microsoft, des destinations qui varient selon la région source chez AWS. Chez Microsoft, le quota y est mis en commun pour toute la zone ; chez AWS, la liste des régions d’un profil eu. ne change jamais sans nouvel identifiant.
Le prix de la résidence se paie surtout en services. Priority, Flex ou Batch disparaissent souvent en zone UE ou en région : les leviers anti-429 vivent surtout dans le mode global. Le détail par fournisseur, et les cas de Sweden Central et des modèles sans profil européen, sont en annexe C.
Deux avertissements. Le routage multi-région augmente le débit, pas la résilience : Microsoft précise qu’une interruption de la région primaire affecte tout le trafic qui y était routé. Et résidence n’est pas souverainetéSouverainetéLa capacité à garder la maîtrise de ses données et de ses outils : hébergement en Europe, droit applicable, absence de dépendance à un fournisseur étranger.Voir le glossaire : l’AWS European Sovereign Cloud, ouvert en janvier 2026 avec Bedrock, offre un cran de plus, au prix d’un pool de capacité isolé et d’un catalogue plus étroit (AWS, European Sovereign Cloud).
Qui décide de quoi
Sans gouvernance explicite, la capacité d’inférence n’a pas de propriétaire. L’équipe plateforme crée les déploiements, chaque projet demande des hausses de quota au fil de l’eau, la finance découvre la facture après coup, et personne n’arbitre quand deux usages veulent la même capacité au même moment. Le premier geste de gouvernance consiste à nommer qui décide de quoi.
| Décision | Qui propose | Qui décide | Sur quelle base |
|---|---|---|---|
| Classer un usage : critique, courant ou différé | Le métier qui porte l’usage | Le responsable de la plateforme IA, avec le métier | L’impact d’une indisponibilité, l’objectif de service |
| Fixer le plancher et le plafond d’une application | L’équipe plateforme | Le responsable de la plateforme ; la direction en cas de conflit entre métiers | La consommation mesurée, la criticité |
| Demander une hausse de quota, ouvrir un abonnement ou un compte | L’équipe plateforme | Le responsable de la plateforme, la finance informée | Les vérifications de l’annexe F, le coût de suivi d’une enveloppe de plus |
| Réserver de la capacité (PTU, Reserved tier, GSU) | L’équipe plateforme et la FinOps | La finance, sur dossier | Le taux d’utilisation prévu, la durée d’engagement, les alternatives |
| Autoriser un flux hors de la zone UE | Le métier | La direction habilitée, après avis du DPO et de la conformité | La nature des données, les obligations de résidence |
| Ajouter un fournisseur ou un modèle | L’architecture | Le comité IA, avec les achats et les risques | La substituabilité, la concentration, le coût de sortie |
| Fixer les budgets des agents | Le métier et l’équipe plateforme | Le responsable de la plateforme | Le coût par exécution, la criticité |
Les intitulés changent d’une organisation à l’autre ; ce tableau est une proposition de l’auteur, pas une norme. Ce qui compte, c’est que chaque décision ait un décideur unique et une règle écrite, et que la plateforme sache l’appliquer. Une règle que personne n’a écrite s’applique quand même : c’est l’application la plus bruyante qui la fixe, au moment de la saturation.
L’exemple des abonnements supplémentaires. Ouvrir un abonnement ou un compte de plus est souvent le moyen le plus rapide de gagner du débit, puisque chacun apporte sa propre enveloppe de quota (voir « Les moyens »). Décidé par la plateforme, c’est un levier. Laissé à chaque projet, ce geste multiplie les enveloppes à suivre, les clés à protéger et les factures à rapprocher, sans que personne ne sache quelle capacité l’entreprise détient réellement.
Les règles d’allocation : qui passe en premier
Une fois les décideurs nommés, il leur faut des règles. Le fournisseur répartit une capacité rare selon les siennes ; l’entreprise doit décider quels usages passent en premier. Aucune organisation ne peut laisser chaque application décider seule de ce qu’elle consomme.
Dans le pool partagé, le trafic Standard passe après la capacité réservée par contrat et après le trafic prioritaire ; au-delà, les règles d’allocation des fournisseurs ne sont pas publiques. Ce qui reste prévisible, c’est ce que vous achetez et ce que vous répartissez vous-même. Gouverner, concrètement, c’est poser quatre règles :
- Des classes de criticité,
- chacune associée à un niveau de service fournisseur : critique (capacité réservée, Priority), courant (Standard), différé (Flex, Batch).
- Des planchers et des plafonds par application.
- Un plancher réserve à une application critique une part de l’enveloppe, dans la limite de la capacité que le fournisseur livre réellement ; un plafond empêche une application secondaire de tout consommer.
- La résidence comme attribut du flux, pas de toute la plateforme.
- Seuls les flux qui l’exigent restent en zone UE ; les autres peuvent profiter du mode global et de ses leviers.
- Des engagements internes.
- Chaque classe a son objectif de disponibilité et de latence, et la plateforme mesure qu’elle le tient.
Palantir documente un modèle proche, à trois niveaux : l’enveloppe globale par modèle, des limites par projet et des limites par utilisateur. Son exemple rend concret le plancher : sur une enveloppe d’un million de TPM, une application de production peut réserver 250 000 TPM, qu’elle consomme en premier, avant de puiser dans les 750 000 partagés ; 20 % de l’enveloppe restent par ailleurs réservés aux requêtes interactives, les traitements par lots ne pouvant dépasser 80 % (Palantir, gestion de la capacité LLM).
L’objectif n’est pas de faire passer le plus de requêtes possible, mais de protéger les usages critiques dans la capacité effectivement disponible, avec des objectifs de service et des mécanismes de repli, même quand tous partagent le même quota. C’est une allocation gouvernée de la capacité d’inférence, et elle ne dépend d’aucun fournisseur.
L’argent : réserver ou payer à l’usage
La capacité d’inférence s’achète de trois façons : au token, avec une dépense variable et sans garantie ; en capacité réservée, avec une dépense fixe ; avec des options de priorité ou de décote (Priority, Flex, Batch), qui changent le prix d’un token selon l’urgence. Le choix entre elles n’est pas un réglage technique : c’est une décision d’investissement.
Réserver, c’est s’engager. La FinOps Foundation parle d’un « engagement stratégique plutôt que d’un simple mécanisme de remise » : la capacité réservée se paie en continu, qu’elle serve ou non (FinOps Foundation, options de capacité GenAI). Dans l’exemple chiffré de Microsoft, avec les hypothèses de prix retenues, PTU et paiement au token coûtent à peu près autant à pleine utilisation, et le PTU revient plus cher par token en dessous (annexe B). Le seuil de rentabilité doit être recalculé pour le modèle, le contrat et la charge réels. La FinOps Foundation cite même une offre réservée dont le prix au token dépasse de 67 % celui du standard à pleine utilisation : on la prend pour un engagement de latence ou de disponibilité, pas pour économiser.
Quatre questions avant de réserver :
- 1. Le trafic est-il régulier ?
- Une charge stable et élevée rentabilise une réservation ; des rafales la laissent inutilisée la plupart du temps.
- 2. L’usage exige-t-il un engagement de service ?
- Si un usage critique ne supporte ni refus ni latence variable, la réservation se justifie même plus chère.
- 3. Combien de temps le modèle restera-t-il le bon ?
- Chez AWS, une réservation est liée à un modèle ; chez Google, à un éditeur, et elle ne se réduit pas ; chez Microsoft, des PTU peuvent rester sans déploiement si la capacité manque pour le nouveau modèle (même source).
- 4. Qui porte la capacité inutilisée ?
- La FinOps Foundation fait de la capacité allouée et inutilisée « la forme de gaspillage la plus courante ». Sans propriétaire, elle n’apparaît nulle part.
Rendre la consommation visible, puis la refacturer. Un quota partagé est un bien commun : sans visibilité par métier, chacun consomme sans coût apparent. La première étape est de montrer à chaque métier ce qu’il consomme, en tokens, en euros et en capacité réservée détenue pour lui. La refacturationRefacturationAttribuer à chaque équipe le coût réel de son usage de l’IA, pour piloter le budget.Voir le glossaire vient ensuite, quand les règles d’allocation sont stables. Elle suppose que chaque appel porte l’identité de son consommateur, ce que seule une passerelle couvrant toutes les routes garantit.
Un plafond de débit n’est pas un plafond de dépense. En avril, un développeur a signalé sur le forum Google une facture de 54 000 € en 13 heures, causée par une clé non restreinte utilisée pour appeler Gemini (forum Google AI). Certains fournisseurs proposent un plafond mensuel, comme l’API Anthropic en direct, qui renvoie alors un 429 sans délai de reprise (annexe F). Ailleurs, il faut des budgets et des alertes de dépense posés par l’entreprise, par métier et par clé.
Le risque : concentration, réversibilité, résidence
Quand un assistant ou un agent devient indispensable à un métier, sa dépendance à un fournisseur, à un modèle et à une région devient un risque d’entreprise. Le 429 en est le signe le plus visible : il montre ce qui se passe quand la seule capacité disponible se dérobe.
| Risque | Le signal | La parade |
|---|---|---|
| Concentration sur un fournisseur | Tous les usages critiques chez le même | Un second fournisseur testé pour ces usages, et un routeur capable d’y basculer |
| Concentration sur un modèle | Aucun modèle de remplacement évalué | Un modèle de repli validé par usage critique, avec ses propres tests de qualité |
| Concentration sur une région | Tout le trafic dans une région, parfois la seule à proposer le modèle (annexe C) | Une zone UE ou une seconde région, après vérification du catalogue |
| Verrouillage contractuel | Une réservation longue, liée à un modèle ou à un éditeur | Des engagements courts et une couverture partielle |
| Dispersion | Des abonnements, comptes et clés ouverts projet par projet | Un inventaire central ; l’ouverture décidée par la plateforme |
La réversibilité a un coût qu’il faut payer avant l’incident. Changer de modèle ou de fournisseur ne se fait pas en un jour : prompts, évaluations, formats d’appel et réservations sont souvent propres à un modèle. Un repli qui n’a jamais été testé n’en est pas un. Rappelons aussi que le routage multi-région augmente le débit, pas la résilience : une panne de la région primaire touche tout le trafic qui y était routé.
Pour la finance, c’est une obligation. Le règlement DORA s’applique aux entités financières de l’UE depuis le 17 janvier 2025 (CSSF). Il leur impose un registre de tous les accords portant sur des services informatiques, et, pour les services qui soutiennent des fonctions critiques ou importantes, des stratégies de sortie documentées et testées (DORA, article 28). Avant de contracter, elles doivent aussi évaluer le risque de concentration, notamment quand les services ne sont pas facilement substituables ou quand plusieurs accords de ce type sont passés avec le même prestataire (DORA, article 29). Un assistant qui soutient une fonction critique et ne repose que sur un modèle, chez un fournisseur, entre dans ce cadre ; hors du secteur financier, la même grille reste une bonne discipline.
La résidence est un arbitrage, pas un absolu. Exiger un traitement dans l’UE pour tous les flux fait perdre des leviers anti-429 (Priority, Flex, parfois des modèles entiers ; annexe C). Exiger le mode global pour tous les flux peut violer les obligations de certains. La décision se prend flux par flux par le responsable habilité, après avis de la conformité et du DPO lorsque des données personnelles sont concernées ; la plateforme l’applique comme une contrainte de routage.
Les agents : le budget d’exécution comme règle d’entreprise
Avec un agent, l’unité qui compte n’est plus la requête mais l’exécution. Prenons une demande qui déclenche un agent principal, lequel délègue à trois agents spécialisés qui font chacun cinq appels au modèle : cela fait 16 appels pour une seule demande. Si chaque appel refusé est retenté deux fois, le pire cas monte à 48. Dix utilisateurs simultanés suffisent alors à envoyer plusieurs centaines d’appels en rafale sur le même quota, alors que le trafic « utilisateur » paraît modeste.
Ce n’est pas théorique. HiveMind décrit des agents de code lancés en parallèle sur la même API qui échouent alors que la capacité suffisait en séquentiel (arXiv 2604.17111). Les reprises non coordonnées aggravent la contention qu’elles cherchent à contourner.
Le contrôle doit donc porter sur l’exécution entière. Les valeurs ci-dessous sont des ordres de grandeur à ajuster, pas des recommandations mesurées.
| Contrôle | Exemple | Ce qu’il évite |
|---|---|---|
| Budget de tokens par exécution | 100 000 tokens par workflowWorkflowUn enchaînement d’étapes défini à l’avance. Certaines étapes peuvent être confiées à un modèle d’IA, mais l’ordre reste fixé.Voir le glossaire | Une boucle qui épuise le quota de tous |
| Profondeur de délégation | 5 niveaux au plus | Des agents qui se délèguent sans fin |
| Parallélisme | 4 sous-agentsSous-agentUn agent appelé par un agent principal pour une tâche précise, avec son propre contexte ; il rend un résultat, l’agent principal décide.Voir le glossaire simultanés | Une rafale qui sature le pool |
| Budget de reprises | 3 reprises cumulées par exécution | Des retries qui se multiplient à chaque niveau |
| Priorité métier | Un agent de service client passe avant un traitement documentaire | Qu’un traitement de fond bloque un usage critique |
| Budget monétaire | 2 € par exécution | Une dérive de coût invisible dans les quotas |
| Délai | Arrêt après 60 secondes | Une exécution qui monopolise la capacité |
Où appliquer ces bornes. La passerelle voit chaque appel, mais pas l’arbre d’exécution qui les relie. Les bornes par exécution vivent donc dans le runtime des agents. Pour que la passerelle puisse les vérifier ou les compléter, chaque appel doit porter un identifiant d’exécution propagé de bout en bout : c’est lui qui permet d’additionner les tokens d’une même demande, de couper une exécution qui dépasse son budget et de relier un 429 à l’agent qui l’a provoqué.
Dégrader plutôt qu’échouer. Quand le budget est atteint ou que le fournisseur refuse, un agent peut basculer vers un modèle plus léger, réduire sa profondeur, mettre une sous-tâche en file différée ou rendre une réponse partielle signalée comme telle. Ces choix se décident à l’avance, par classe de criticité, pas au moment de l’incident. Et la supervision doit suivre l’exécution métier, pas seulement le transport (annexe E, erreur n° 12).
Piloter : ce que la direction doit voir
Une politique d’allocation qui n’est pas mesurée n’existe que sur le papier. Six indicateurs suffisent pour qu’un comité sache si elle tient.
| Indicateur | Ce qu’il dit | Ce qu’il ne dit pas |
|---|---|---|
| Taux de refus par classe de criticité, et par origine (application, passerelle, fournisseur) | Si les usages critiques sont protégés | La cause d’un refus : c’est le rôle du diagnostic (annexe F) |
| Respect des objectifs de service par classe : disponibilité, latence | Si les engagements internes sont tenus | Si l’objectif était le bon |
| Capacité détenue face à la capacité consommée : alloué, réservé, consommé | Le gaspillage et la marge | Une saturation : un quota alloué à 100 % peut être peu utilisé |
| Dépense par métier et par usage, coût par exécution d’agent | Qui consomme quoi, et à quel prix | La valeur créée par cette dépense |
| Répartition du trafic par fournisseur, modèle et région | Le niveau de concentration | La capacité réelle de basculer : seul un test le prouve |
| Part du trafic qui contourne la passerelle | La couverture réelle de la politique | Ce que fait ce trafic |
Une grille de maturité. Elle sert à situer une organisation et à choisir la prochaine étape ; c’est une proposition de l’auteur, sans enquête qui la mesure.
| Niveau | Ce qu’on observe |
|---|---|
| 1. Subie | Chaque projet crée ses déploiements ; les 429 se découvrent en production, la facture après coup |
| 2. Visible | Consommation et refus mesurés par application et par origine ; inventaire des abonnements, comptes et clés |
| 3. Allouée | Classes de criticité, planchers et plafonds, budgets par application et par agent, appliqués par la passerelle |
| 4. Arbitrée | Décideurs nommés, réservations décidées sur dossier, résidence choisie flux par flux, revue régulière |
| 5. Résiliente | Un repli testé par usage critique, une stratégie de sortie, des objectifs de service suivis par la direction |
L’incident d’ouverture illustre les améliorations qu’une organisation peut engager en interne, sans rien demander à son fournisseur : rendre la consommation visible, fixer des priorités et appliquer des budgets, soit le passage du niveau 1 au niveau 3.
Les moyens : une plateforme qui applique la politique
Les règles qui précèdent ne valent que si la plateforme sait les appliquer, et un compteur devant un endpoint n’y suffit pas. Une plateforme qui résiste aux 429 enchaîne cinq fonctions : identifier et budgéter à la passerelle, admettre selon une estimation fidèle à celle du fournisseur, ordonner les flux par criticité, router vers le bon modèle, la bonne région ou le bon fournisseur, et observer chaque refus à son origine. Pour les agents, une sixième fonction vit dans le runtime : borner l’exécution entière.
Le 429 se traite avant le fournisseur, pas après
Un 429 du fournisseur remonte au routeur, qui décide : réessayer, déborder ou dégrader.
Qui contrôle quoi.
| Composant | Ce qu’il contrôle | Ce qu’il ne voit pas |
|---|---|---|
| Passerelle IA | Identité, budget par consommateur, toutes les routes, journal des refus | L’exécution complète d’un agent ; l’état du pool du fournisseur |
| Contrôle d’admission | Tokens pondérés comme chez le fournisseur (burndown, max_tokens), concurrence, budget monétaire | La criticité métier, si personne ne la déclare |
| Ordonnanceur | L’ordre de passage entre flux critiques, standard et différés | Ce qui se passe une fois la requête envoyée |
| Routeur | Modèle, région, fournisseur, débordement, dégradation | Les règles de résidence, sauf si elles sont codées comme contrainte |
| Runtime d’agents | Budget par exécution, profondeur, parallélisme, reprises, délai | Le trafic des autres applications |
| ObservabilitéObservabilitéVoir ce qui se passe à l’intérieur des agents : chaque exécution, ses sources, ses appels d’outils, ses erreurs et ses coûts.Voir le glossaire | 429 par origine, estimé contre facturé, retries, file d’attenteFile d’attente de raccordementLa liste des projets (centrales, stockage, gros consommateurs) qui attendent d’être raccordés au réseau de transport d’électricité.Voir le glossaire | Rien d’exploitable sans identifiant de requête et d’exécution propagé |
Le quota fournisseur fixe une enveloppe d’usage et des règles d’admission ; il ne dit rien de la répartition entre vos applications. C’est à vous de la construire. Une politique complète, par consommateur et par modèle, répond à dix questions :
| Élément | Question |
|---|---|
| Identité | Quelle identité authentifiée porte le quota ? |
| Environnement | Dev, recette et production partagent-ils le même quota fournisseur ? |
| Cible | Quel déploiement ou profil, dans quelle région ? |
| Requêtes | Combien d’appels par fenêtre ? |
| Tokens | Quel budget, pondéré comme le fournisseur le pondère ? |
| Concurrence | Combien d’appels simultanés au maximum ? |
| File d’attente | Combien d’appels en attente, et combien de temps au plus ? |
| Reprises | Combien de tentatives, sur quelle durée totale, pour quelles erreurs ? |
| Dégradation | Que se passe-t-il si le service de comptage tombe : on ouvre ou on ferme ? |
| Cohérence | La somme des budgets reste-t-elle sous le plafond fournisseur, avec une marge ? |
Les principes de mise en œuvre.
- 1. Un compteur partagé entre réplicas et entre passerelles.
- Un compteur local multiplie le budget par le nombre de réplicas (annexe E, erreur n° 4) ; il faut un service de comptage externe, souvent adossé à Redis.
- 2. Couvrir tous les chemins.
- Soit tout passe par la gateway, soit le service de comptage est aussi consulté par les appels directs. La clé de répartition doit intégrer le compte, la région source, le modèle et le mode d’inférence.
- 3. Borner la concurrence, pas seulement le débit.
- En streaming, les tokens ne sont connus qu’à la fin : un budget compté après coup ne garantit pas le non-dépassement. La concurrence bornée et, si nécessaire, la réservation préalable avec régularisation complètent le dispositif.
- 4. Retenter proprement.
- Respecter Retry-After et retry-after-ms avec la bonne unité ; sinon backoff exponentiel avec jitter. Borner le nombre et la durée totale des tentatives, en tenant compte des retries du SDK. Ne jamais rejouer une erreur déterministeDéterministeQui produit toujours le même résultat pour la même entrée. Un flux classique est déterministe ; un agent qui décide seul ne l’est pas.Voir le glossaire .
- 5. Exploiter le cache de prompt.
- Chez AWS, les lectures en cache ne comptent pas dans le quota de bedrock-runtime ; chez Microsoft, elles réduisent le dimensionnement PTU. Ailleurs, la documentation parle surtout de facturation : vérifiez par fournisseur, modèle et mode de déploiement.
- 6. Séparer les environnements, et au besoin les abonnements.
- Des déploiements distincts séparent déjà les compteurs : chez Microsoft, un quota de 240 000 TPM réparti en deux déploiements de 120 000 TPM donne deux limites indépendantes (Microsoft Learn, gérer le quota dans Foundry). Des abonnements ou des comptes distincts séparent en plus les enveloppes de quota et la gouvernance, et chacun apporte la sienne : un levier possible pour gagner du débit, chez Microsoft comme chez AWS, à condition de reporter en production les hausses obtenues en recette (AWS Builder Center, gérer les quotas Bedrock à grande échelle). Chez Google, multiplier les projets d’une même organisation ne multiplie pas son seuil Standard PayGo. Aucun de ces cloisonnements n’isole la capacité physique du fournisseur, et chaque abonnement de plus est un quota à suivre, que la passerelle doit savoir localiser.
Limites de cette analyse
- Les chiffres de capacité et de burndown changent à chaque modèle, de même que la disponibilité de Priority et Flex chez AWS. Ceux cités ici valent à la date indiquée en tête : relisez chaque fiche avant de bâtir une stratégie dessus.
- Les taux de 429. Les chiffres des forums sont des témoignages ; la seule mesure publique trouvée vient d’une passerelle (Requesty), sur son propre trafic. Aucun fournisseur ne publie son taux de refus.
- Les douze erreurs de terrain décrivent des schémas récurrents. Nous n’avons trouvé aucune enquête mesurant leur fréquence ; le seul chiffre proche vient de HiveMind : sur banc d’essai et sous forte contention, des agents non coordonnés échouent dans 72 à 100 % des cas, bien plus que dans le cas réel qui ouvre l’étude (3 agents sur 11).
- Les trois travaux de recherche cités sont des prépublications arXiv ; leurs fiches ne mentionnent pas d’acceptation par une conférence ou une revue.
- La capacité IA réelle des hyperscalersHyperscalerLes géants du cloud qui construisent et exploitent leurs propres data centers à très grande échelle : AWS, Microsoft, Google, Meta, Oracle.Voir le glossaire en Europe. Aucun des trois ne publie les puces installées par région ; la part de 5 % citée plus haut est un plancher, pas un chiffre exact, et ne mesure pas la capacité accessible par API. L’article compagnon détaille ce que l’on sait du parc européen.
- Les règles d’allocation des fournisseurs. La façon dont un fournisseur arbitre entre capacité réservée, trafic prioritaire et Standard n’est pas publique, pas plus que la part de calcul louée ou détenue par chaque laboratoire.
- Les bornes proposées pour les agents sont des ordres de grandeur d’illustration, pas des valeurs mesurées.
- Le cadre de gouvernance proposé (droits de décision, règles, indicateurs, grille de maturité) est celui de l’auteur. Il s’appuie sur les pratiques documentées par Palantir et la FinOps Foundation et sur le texte de DORA, mais aucune enquête n’en mesure l’effet. Il ne constitue pas un avis juridique sur l’application de DORA à une organisation donnée.
Et cette lecture peut être démentie. Si les fournisseurs reviennent à des quotas fixes et garantis, si les 429 de capacité deviennent rares sans capacité réservée, ou si l’écart entre Global et zone UE disparaît, alors le rationnement était conjoncturel, et une partie de cet article avec.
Conclusion : on ne gère pas un quota, on gère une allocation
En un an, AWS, Microsoft et Google ont fait du rate limiting un marché de la capacité GPU. La rareté est physique, sa répartition est commerciale : le débit garanti s’achète, la priorité se paie, la patience est récompensée, l’historique de dépense influence le seuil de priorité et la géographie le plafond.
Mais le marché n’est que la moitié du problème. L’autre moitié est chez soi : une capacité que personne ne possède, des abonnements ouverts au fil de l’eau, des réservations que personne ne suit, des agents qui transforment une demande en dizaines d’appels. La question n’est plus « combien de TPM ? » mais « qui décide de la répartition, selon quelles règles, à quel prix, avec quels risques, et comment le sait-on ? ».
Y répondre demande des décideurs nommés, une politique d’allocation écrite, un budget suivi, des risques évalués, et une plateforme qui admet, ordonne, route et observe pour appliquer tout cela. Tant que la capacité reste rare, le 429 sera un élément de conception et de gouvernance, pas une anomalie. Les organisations qui l’auront compris auront des applications plus fiables, une dépense plus prévisible et des choix plus faciles à défendre devant une direction financière, un DPO ou un régulateur.
Annexe A : le détail par fournisseur
AWS Bedrock : deux endpoints, deux comptabilités
bedrock-runtime (InvokeModel, Converse) applique des quotas par modèle et par région : un TPM mono-région, un TPM cross-region et un plafond journalier. Le TPM additionne entrée et sortie dans un seul compteur, partagé entre toutes les API qui appellent le même modèle. Deux routes, deux applications ou deux identités IAM dans le même compte consomment donc le même quota. Le RPM n’existe plus que pour certains modèles (AWS, quotas bedrock-runtime).
bedrock-mantle, qui sert les API compatibles OpenAI et Anthropic Messages, sépare un quota d’entrée et un quota de sortie, sans RPM. À l’arrivée, Bedrock additionne les tokens d’entrée et le max_tokens demandé ; s’il dépasse le quota d’entrée, le refus est immédiat. Si le quota de sortie s’épuise pendant la génération, la réponse est coupée (AWS, quotas bedrock-mantle).
Le burndown est le piège principal. Sur bedrock-runtime, un token de sortie consomme plusieurs tokens de quota selon le modèle : 5 pour les Claude 4.7 et antérieurs, 10 pour Claude Opus 5.5, Sonnet 5, Opus 5 et Fable 5.1, 15 pour les Claude 4.8, alors que la facture compte 1 pour 1. Formule officielle : entrée + écritures en cache + (sortie × taux de burndown) (AWS, comptage des tokens). Une somme brute entrée + sortie ne reproduit donc pas la consommation du quota.
Le taux varie d’un modèle à l’autre : sur bedrock-runtime, la fiche de GPT-5.6 Sol indique un burndown de 10, un token de sortie consommant 10 tokens de quota (fiche GPT-5.6 Sol).
Le cross-region est le levier de débit natif : un profil géographique (eu.) ou global (global.) route la requête vers une région de destination disponible, avec un quota distinct. Attention : l’endpoint d’entrée ne dit rien du lieu de traitement. Une requête qui entre par une région européenne avec un profil global. peut être traitée hors d’Europe. Et une seule région de destination bloquée par une SCP fait échouer la requête (AWS, inférence cross-region).
Les service tiers se choisissent par requête via service_tier (AWS, service tiers) :
- Reserved :
- TPM d’entrée et de sortie garantis sur 1 ou 3 mois, débordement automatique vers Standard, cible de 99,5 % de disponibilité.
- Priority :
- traitement prioritaire, facturé 75 % plus cher que Standard.
- Standard :
- le comportement par défaut.
- Flex :
- 50 % moins cher, dépriorisé en période de forte demande.
Priority, Standard et Flex partagent le même quota on-demand. Les hausses de quota vont en priorité aux clients qui consomment déjà leur allocation, et aucune n’est accordée sur un modèle en fin de vie.
Attention : ces niveaux n’existent pas pour tous les modèles. La prise en charge dépend du modèle, pas de la région, et se lit fiche par fiche. Au 23 octobre 2026, Claude Sonnet 5.5 n’ouvre que le niveau Standard (fiche Claude Sonnet 5.5) et GPT-5.6 Sol exclut Priority et Flex (fiche GPT-5.6 Sol), alors que Nova Pro et Grok 4.6 proposent les deux (Nova Pro, Grok 4.6). Sur ces quatre fiches, les leviers de priorité de Bedrock concernent des modèles secondaires plutôt que les modèles phares.
Microsoft Foundry : le quota comme budget à répartir
Chez Microsoft, le quota est un stock d’unités de capacité que vous distribuez vous-même entre vos déploiements. Chaque unité donne un nombre de TPM et de RPM qui dépend du modèle ; le RPM n’est pas réglable indépendamment (Microsoft, gestion du quota). Deux conséquences pratiques :
- Alloué n’est pas consommé.
- Un quota alloué à 100 % bloque la création de capacité, pas le trafic (voir l’erreur n° 1 en annexe E).
- Les pools ne sont pas interchangeables.
- Le quota d’un modèle en Global Standard ne s’ajoute pas à celui du même modèle en Data Zone. Une marge dans un type de déploiement n’est pas une réserve pour l’autre.
Spécificité Azure : les refus comptent aussi. Les requêtes rejetées s’ajoutent au compteur de la minute, ce qui rend dangereux les retries sans délai.
Le 429 « invisible » est documenté. Les déploiements Standard partagent un pool commun ; quand la demande approche la capacité, le service peut abaisser temporairement la limite effective d’un déploiement. Le signal est l’en-tête x-ratelimit-limit-tokens : s’il est inférieur au TPM configuré, un ajustement est en cours, qui se résorbe en général en quelques heures.
Les quota tiers automatisent la montée en charge. Sept paliers existent, du Free Tier au Tier 6. Le passage au palier supérieur est automatique quand l’usage bute sur la limite, en tenant compte de la relation commerciale et de l’historique de paiement. En pratique, certaines entreprises n’attendent pas le palier suivant : elles ouvrent des abonnements supplémentaires, chacun avec son propre quota (voir « Qui décide de quoi » et « Les moyens »). Depuis le 7 mai 2026, pour les modèles concernés, le quota bascule au niveau de l’abonnement : un pool unique pour toutes les régions en Global Standard, un pool par zone en Data Zone (Microsoft, quotas et limites).
Les options payantes :
- PTU :
- capacité dédiée facturée à l’heure. 429 immédiat dès 100 % d’utilisation, avec retry-after-ms ; Microsoft le présente comme un signal de régulation, pas comme une panne (Microsoft, démarrer avec les PTU).
- Spillover :
- le débordement d’un déploiement PTU saturé part vers un déploiement Standard de la même ressource.
- Priority processing :
- par déploiement ou par requête, en Global Standard et Data Zone US uniquement (Microsoft, Priority processing).
- Flex processing :
- 50 % moins cher, en Global Standard uniquement, sans retour automatique vers Standard (Microsoft, Flex processing).
Google Agent Platform (ex-Vertex AI) : un seuil de priorité, une capacité variable
Depuis Google Cloud Next, le 22 avril 2026, Vertex AI s’appelle Gemini Enterprise Agent Platform (Google, notes de version d’Agent Platform). L’API reste aiplatform.googleapis.com. Google est le fournisseur qui a le plus franchement abandonné le quota fixe par projet.
Dynamic Shared Quota et usage tiers. En Standard PayGo, la capacité d’un modèle est mutualisée entre tous les clients. Chaque organisation reçoit un seuil de débit prioritaire fixé par son palier, lui-même calculé sur sa dépense des 30 derniers jours. Ce seuil n’est pas une capacité réservée : en forte contention, des 429 restent possibles en dessous. Au-delà, le trafic peut déborder en best effort. Exemple de la doc : une organisation en Tier 3 bénéficie d’un seuil de 10 millions de TPM sur Gemini 2.5 Flash (Google, Dynamic Shared Quota).
Conséquence : en Standard PayGo, un 429 signale le plus souvent une contention temporaire plutôt qu’un quota atteint ; d’autres modèles et le Provisioned Throughput ont leurs propres limites. Dans un fil plus ancien des forums de Google, des clients payants rapportaient 10 à 15 % de 429 sur 24 heures, jusqu’à 45 % en pointe, sur Gemini 2.0 Flash, un modèle aujourd’hui dépassé (forum Google Cloud).
Les options de consommation forment une échelle claire (Google, options de consommation) :
- Provisioned Throughput :
- capacité réservée en GSU, seule option isolée du pool partagé.
- Priority PayGo :
- un en-tête suffit, facturé au tarif premium. Base au niveau organisation : 10 M TPM par modèle Pro, 50 M TPM par modèle Flash (Google, Priority PayGo).
- Standard PayGo :
- DSQ et usage tiers.
- Flex PayGo :
- environ 50 % moins cher, pour les traitements qui tolèrent latence et refus.
- Batch :
- asynchrone, délai de l’ordre de 24 heures.
Google recommande une approche hybride : capacité réservée pour le temps réel critique, Priority pour le trafic fluctuant, Standard pour le reste, Flex et Batch pour l’hors-ligne. Son premier levier anti-429 est l’endpoint global, qui répartit les requêtes sur plusieurs régions (Google Cloud, réduire les erreurs 429).
Annexe B : débit garanti, ce que le fournisseur doit absorber et comment l’auditer
Avec une capacité réservée, le fournisseur s’engage à absorber un débit. Mais chacun le mesure dans sa propre unité et convertit vos tokens selon son propre barème. Auditer, c’est recalculer votre consommation avec ce barème et la confronter aux métriques du fournisseur.
| Critère | AWS Bedrock (Reserved tier) | Microsoft Foundry (PTU) | Google Agent Platform (GSU) |
|---|---|---|---|
| Unité achetée | TPM d’entrée et TPM de sortie, réservés séparément | PTU, utilisable sur tout modèle supporté | GSU, débit en tokens par seconde propre à chaque modèle |
| Minimum | 100 000 TPM entrée et 10 000 TPM sortie | 15 PTU (Global, Data Zone), 25 à 50 (Regional) | Selon le modèle |
| Pondération de la sortie | Sortie réservée à part | 1 token de sortie = 8 d’entrée (gpt-5, gpt-5.2), 6 (gpt-5.5), 4 (gpt-4.1) | Burndown par modalité : 1 token texte de sortie = 4 sur gemini-2.0-flash |
| Cache de prompt | Les écritures en cache comptent dans le TPM réservé | Lectures en cache déduites (pondérées pour GPT-6) | Lectures en cache réduites |
| Fenêtre de contrôle | Par minute | Leaky bucket, 429 à 100 % d’utilisation | 120 s pour 1 GSU, 30 s pour 25 GSU, 5 s pour 250 GSU (gemini-2.5-flash) |
| Engagement | 1 ou 3 mois, prix fixe par 1 000 TPM | Horaire, ou réservation 1 mois ou 1 an | Commande ferme |
| Promesse de service | 99,5 % de disponibilité visée | Latence : 99 % des requêtes au-dessus de 50 tokens/s (gpt-5), 80 (gpt-5-mini) ; cible publiée, que Microsoft calcule en p50 sur 5 minutes | Isolation du pool partagé |
| Au-delà du réservé | Débordement vers Standard | Spillover vers Standard (optionnel) | Débordement vers Standard ou Priority |
Sources : AWS, service tiers ; Microsoft, dimensionnement PTU ; Google, calcul du PT ; Google, usage du PT.
Deux exemples tirés des docs. Chez Microsoft, 1 000 requêtes par minute de 200 tokens d’entrée et 20 de sortie sur gpt-5.2 donnent 360 000 TPM normalisés (200 000 + 8 × 20 000), soit 110 PTU ; avec 50 % de cache, 80 suffisent. Chez Google, 10 requêtes par seconde sur gemini-2.0-flash représentent 57 000 tokens ajustés par seconde, soit 17 GSU.
Les pièges du contrat.
- Réservation n’est pas capacité.
- Chez Microsoft, une réservation est une remise sur le compteur, pas une garantie de GPU : on crée d’abord le déploiement, on achète ensuite la réservation (Microsoft, provisioned throughput).
- La capacité non consommée est perdue.
- Dans l’exemple chiffré de Microsoft, qui repose sur un prix illustratif, PTU et paiement au token coûtent à peu près autant à pleine utilisation ; en dessous, le PTU revient plus cher par token. Microsoft précise que ce calcul ne garantit pas le coût réel : le seuil de rentabilité se recalcule pour le modèle, le contrat et la charge.
- La promesse de latence est une médiane.
- La cible Microsoft est calculée en p50 par fenêtre de 5 minutes. Elle ne couvre ni la queue de distribution ni le temps jusqu’au premier token.
Grille d’audit en cinq contrôles.
- 1.
- Recalculer la consommation normalisée à partir de vos logs et du barème publié, puis comparer au compteur du fournisseur : Provisioned-managed Utilization V2 (Azure), EstimatedTPMQuotaUsage (AWS), consumed_token_throughput face à dedicated_gsu_limit (Google).
- 2.
- Vérifier où le trafic a vraiment été servi : trafficType chez Google, service_tier dans la réponse chez Azure, dimension ResolvedServiceTier chez AWS.
- 3.
- Mesurer la latence promise : métrique Tokens per Second chez Azure, TimeToFirstToken chez AWS (AWS, mars 2026).
- 4.
- Suivre le taux d’utilisation payé, heure par heure, et réduire la réservation sous le seuil de rentabilité.
- 5.
- Distinguer disponibilité et performance dans le contrat. Un SLA de disponibilité ne couvre pas un débit dégradé.
Point d’attention : EstimatedTPMQuotaUsage intègre le burndown et les écritures en cache, mais pas la réservation initiale liée à max_tokens (AWS, métriques TTFT et quota). Un refus peut donc survenir alors que la métrique reste sous le quota.
Annexe C : résidence, les leviers perdus fournisseur par fournisseur
Le vrai prix de la résidence : moins de services, pas seulement moins de modèles. Les leviers anti-429 vivent surtout dans le mode Global.
| Levier | Microsoft Foundry | Google Agent Platform | AWS Bedrock |
|---|---|---|---|
| Priority | Global Standard ou Data Zone US uniquement ; ni Data Zone EU, ni régional | Endpoints global, us et eu en général ; certains modèles en global seulement | Selon le modèle, pas la région : absent sur Claude Sonnet 5.5 et GPT-5.6 Sol, présent sur Nova Pro et Grok 4.6 |
| Flex | Global Standard uniquement | Modèles en preview : endpoint global uniquement | Même règle : absent sur Claude Sonnet 5.5 et GPT-5.6 Sol |
| Batch | Global Batch (monde) ou Data Zone Batch (UE) | Indisponible via l’endpoint global | Batch inference, quotas propres |
| Capacité réservée | PTU Global, Data Zone ou Regional | Pour Claude : endpoints régionaux uniquement | Reserved tier ou Provisioned Throughput |
| Surcoût de la résidence | Pas de surcoût affiché, mais moins d’options | Claude en endpoint régional : +10 % | Profil global environ 10 % moins cher que les profils géographiques |
Sources : Microsoft, Priority ; Microsoft, Flex ; Google, Flex PayGo ; Anthropic, Claude sur Vertex.
Le cas Sweden Central. Azure compte une dizaine de régions européennes, mais Sweden Central concentre le catalogue et reste parfois la seule option, notamment pour les modèles affinés (Microsoft, modèles vendus par Azure). Microsoft n’explique pas pourquoi ; il met seulement en avant l’électricité abondante et décarbonée de la Suède. Tout concentrer sur cette région, c’est aussi créer un point de défaillance unique.
Le piège inverse existe chez AWS. Claude Sonnet 5.5 dispose d’un profil géographique eu. sur Bedrock ; GPT-5.6 Sol, non : sa fiche ne propose qu’un profil us. et un profil global.. Pour l’appeler depuis Francfort ou Paris sur bedrock-runtime, il faut passer par le profil global, sans garantie de traitement en Europe (fiche GPT-5.6 Sol). Avant de choisir un modèle, il faut donc vérifier non seulement où il est disponible, mais par quel type de profil.
Annexe D : ce que dit la recherche
Trois travaux récents éclairent directement l’architecture proposée. Ce sont des prépublications arXiv ; leurs fiches ne mentionnent pas encore d’acceptation par une conférence ou une revue.
- Les agents, côté client.
- HiveMind part d’un cas concret : 3 agents de code sur 11, lancés en parallèle sur la même API, ont échoué alors que la capacité suffisait en séquentiel. Le proxy proposé applique admission, backpressure, disjoncteur, budget de tokens et files prioritaires, soit l’essentiel de l’architecture décrite plus haut (arXiv 2604.17111).
- L’équité en latence, pas seulement en débit.
- Une équipe incluant Matei Zaharia et Scott Shenker montre que les politiques actuelles égalisent le débit des clients sans garantir la latence par token ; leur système FairInference borne cet écart (arXiv 2609.18112). C’est un argument pour des classes de criticité plutôt qu’un simple partage du débit.
- L’isolation dans les passerelles.
- KeyPooling montre que des passerelles qui mutualisent les clés fournisseur peuvent faire partager le cache de prompt entre clients (arXiv 2608.17485) : une passerelle doit répartir la capacité sans casser l’isolation.
Annexe E : douze erreurs à rechercher avant de demander plus de quota
Les docs des fournisseurs décrivent les niveaux 4 à 7. Mais quand on ouvre le capot d’une plateforme IA d’entreprise, plusieurs fragilités se trouvent aux niveaux 1 à 3, chez soi. En voici douze, regroupées par famille.
Mal lire les chiffres
- 1. Confondre allocation et consommation.
- Un quota alloué à 100 % dit qu’on ne peut plus créer de capacité, pas que le trafic sature. Une plateforme peut avoir plusieurs modèles presque entièrement alloués tout en affichant un taux de refus quasi nul. À l’inverse, une ressource de secours peut n’avoir aucun trafic visible pendant des jours : ce n’est ni une preuve d’inutilité, ni un feu vert pour la supprimer.
- 2. Chercher le goulot au mauvais endroit.
- On surveille le grand modèle de texte, et les refus arrivent ailleurs : sur un modèle d’OCR, d’image ou d’embeddingsEmbeddingsUne représentation d’un texte ou d’une image sous forme de nombres, qui permet de retrouver des contenus proches par le sens.Voir le glossaire , plafonné à quelques dizaines de requêtes par minute. Un lot de documents envoyé d’un coup suffit à le saturer. Le bon réflexe est une file d’attente et une concurrence bornée pour ces modèles annexes, pas une hausse générale des quotas.
- 3. Classer toutes les erreurs en rate limiting.
- Les 400, 408, 499, 500 et 503 ne sont pas des 429. Une erreur de paramètre ou de traduction de format est déterministe : la rejouer ne fait qu’ajouter du trafic.
Des compteurs qui ne comptent pas ce qu’on croit
- 4. Des compteurs par processus.
- Un middlewareMiddlewareUn composant qui s’intercale dans la boucle d’un agent (avant ou après le modèle, autour d’un outil) pour ajouter un contrôle sans modifier l’agent lui-même.Voir le glossaire qui stocke ses compteurs en mémoire donne à chaque pod son propre budget. Deux réplicas réglés à N requêtes par minute en acceptent 2N ; un redémarrage remet tout à zéro.
- 5. Des fenêtres fixes qui doublent les rafales.
- Un compteur remis à zéro à la minute laisse passer un plein quota juste avant la frontière, puis un autre juste après. On peut ainsi accepter près du double de la limite en quelques millisecondes. Les algorithmes à fenêtre glissante ou à seau de jetons évitent cet effet.
- 6. Une identité mal choisie.
- Une limite clée sur l’adresse IP voit souvent celle du proxy : tous les utilisateurs partagent alors le même compteur. Une limite clée sur un en-tête fourni par le client se contourne en changeant l’en-tête. La clé d’un quota doit être une identité authentifiée.
- 7. Un quota vérifié après coup.
- Beaucoup de quotas par utilisateur lisent la consommation passée avant d’autoriser un appel, sans réserver les tokens de l’appel en cours. Dix appels simultanés passent tous sous le seuil avant que le premier soit comptabilisé. Et si l’écriture du journal de consommation échoue en silence, la consommation est sous-estimée ensuite.
Des protections qui se retournent contre soi
- 8. Les sondes de santé dans le quota.
- Si le limiteur s’applique à tous les chemins, la route de santé peut recevoir un 429 quand le compteur est saturé. Selon la configuration, l’orchestrateurOrchestrationCoordonner plusieurs agents et outils pour mener un processus de bout en bout : qui fait quoi, dans quel ordre, avec quels contrôles.Voir le glossaire peut alors considérer le service comme malade. Les sondes techniques doivent sortir du quota métier.
- 9. Un 429 local muet.
- Un refus sans Retry-After ni code d’erreur distinct ne dit ni quand réessayer, ni si le refus vient de l’application, de la gateway ou du fournisseur.
- 10. Des retries implicites.
- Quand le code ne fixe ni nombre de tentatives, ni durée totale, ni plafond de sortie, ce sont les valeurs par défaut du SDK qui décident, et elles changent avec les versions. Un retry sur un flux déjà partiellement envoyé, ou sur une opération à effets de bord, peut dupliquer le travail.
Des chemins que personne ne voit
- 11. Des appels qui contournent la gateway.
- Il suffit d’un client configuré pour appeler directement l’endpoint privé du fournisseur, ou d’une route « native » qui transmet le corps sans le décoder, pour qu’une politique posée uniquement sur la gateway ne voie pas tout le trafic. Or tous ces chemins consomment le même quota fournisseur.
- 12. Une supervision qui mélange tout.
- Une alerte sur « plus de N erreurs 4xx en cinq minutes » au niveau du cluster ne dit ni quel modèle, ni quelle cause, ni quel niveau a refusé. Pire, une application qui transforme proprement un 429 en message d’indisponibilité dans un flux de streaming fait disparaître l’incident de la supervision HTTP : le statut initial reste 200.
Annexe F : diagnostiquer un 429, identifier le niveau avant d’agir
Un 429 n’est pas une cause, c’est un symptôme. Avant tout remède, il faut savoir quel niveau l’a émis.
| Ce qu’on observe | Niveau probable | Ce qu’il faut regarder | Remède |
|---|---|---|---|
| 429 sans en-tête fournisseur, message de votre application | 1 ou 2 | Logs applicatifs, clé du compteur | Corriger la clé, partager le compteur |
| 429 avec un en-tête ou un message de la gateway | 3 | Politique de la gateway, budget du consommateur | Revoir le budget, vérifier le partage des compteurs |
| 429 avec x-ratelimit-remaining-tokens à zéro | 4 | Estimation à l’admission, max_tokens, rafales | Baisser max_tokens là où il compte, lisser, puis seulement demander une hausse |
| 429 alors que les métriques de tokens sont basses | 4 | Taille des prompts, max_tokens, fenêtres courtes | Mesurer l’estimé, pas le facturé |
| x-ratelimit-limit-tokens inférieur au quota configuré | 7 | Ajustement temporaire du fournisseur | Retry avec délai, débordement, capacité réservée |
| 429 en rafales à heure fixe, tous clients confondus | 7 | Contention du pool partagé | Écarter d’abord les traitements planifiés et les rafales internes ; puis endpoint global ou zone, Priority, multi-fournisseur |
| 429 sur un déploiement réservé | 5 | Utilisation à 100 % | Spillover, redimensionnement |
| 429 sur un seul modèle annexe | 4 | Plafond en requêtes de ce modèle | File d’attente et concurrence bornée |
| 429 sans retry-after, code enforced_spend_limit_reached (API Anthropic en direct) | 4 | Plafond de dépense mensuel du palier | Ne pas retenter : passer au palier supérieur, ou attendre le 1er du mois suivant |
Ce qu’il faut toujours collecter : le message d’erreur exact, les en-têtes (Retry-After, retry-after-ms, x-ratelimit-*), l’identifiant de requête du fournisseur, le niveau de service effectivement appliqué et le nombre de tentatives déjà faites. Les métriques agrégées à la minute disent quand ; seuls ces éléments disent pourquoi.
Trois pièges de mesure. Ne pas additionner une série globale et ses sous-séries par modèle. Ne pas lire une absence de série comme une absence de trafic. Et se souvenir que les retries gonflent le nombre de refus : chez AWS, la métrique Invocations exclut les requêtes refusées, comptées à part.
Sources
- AWS : quotas bedrock-runtime
- AWS : quotas bedrock-mantle
- AWS : comptage des tokens et burndown
- AWS : service tiers
- AWS : inférence cross-region
- AWS : profils géographiques
- AWS : métriques TTFT et quota
- AWS Builder Center : gérer les quotas Bedrock à grande échelle
- AWS : European Sovereign Cloud
- Microsoft : quotas et limites
- Microsoft : gestion du quota
- Microsoft : limites de débit des LLM dans Dev Proxy
- Microsoft : types de déploiement
- Microsoft : provisioned throughput
- Microsoft : dimensionnement PTU
- Microsoft : Priority processing
- Microsoft : Flex processing
- Microsoft : politique APIM llm-token-limit
- Google : Dynamic Shared Quota
- Google : options de consommation
- Google : Priority PayGo
- Google : Flex PayGo
- Google : calcul du Provisioned Throughput
- Google : résidence des données
- Google Cloud : réduire les erreurs 429
- Google : notes de version d’Agent Platform
- LangChain : rate limiters
- Anthropic : Claude sur Vertex
- Claude Platform : limites de débit
- Rappler/Reuters, d’après le Financial Times : Google limite l’usage de Gemini par Meta
- Handelsblatt : Matt Garman
- Requesty : répartition des codes d’erreur (avril 2026)
- Forum Google AI : pic de facturation Gemini
- Forum Google Cloud : taux de 429 sur Gemini 2.0 Flash
- HiveMind (arXiv 2604.17111)
- FairInference (arXiv 2609.18112)
- KeyPooling (arXiv 2608.17485)
- Bruegel : Policy Brief 18/2026 sur le déficit de calcul IA européen
- Europe2031.ai : Compute Forecast
- AIE : Energy and AI (synthèse)
- Palantir : gestion de la capacité LLM
- Requesty : 429 Too Many Requests, causes et remèdes (mis à jour le 29 septembre 2026)
- TrueFoundry : limitation de débit dans une AI Gateway (mis à jour le 12 octobre 2026)
- Palo Alto Networks : Rate Limiting for LLM Applications and Agents
- FinOps Foundation : Navigating GenAI Capacity Options (mis à jour le 4 février 2026)
- FinOps Foundation : FinOps for AI
- DORA : article 28
- DORA : article 29
- CSSF : TIC et cyber-risque pour les entités DORA
Partager cet article
