La première fois que nous avons mesuré, la réponse était non. Lisa sur Sable a mis environ une seconde et demie pour prononcer son premier mot, et près de trois avant que la voix ne se fasse entendre. Sur une ligne téléphonique, c’est un silence audible, donc l’idée est revenue sur l’étagère.

Mercredi, le niveau confidentiel a répondu en 0,68 seconde sur notre sonde. C’est un chiffre différent, et il méritait un vrai test : un vrai numéro de téléphone, un vrai appelant, et le modèle enfermé dans une enclave attestée.

La configuration

Un numéro de téléphone américain sur ElevenLabs, un agent français et un modèle personnalisé pointant vers Sable. Le modèle n'est pas un modèle brut : il est engine/lisa-phone-fr, une configuration publiée sur Sable qui fixe le modèle de base, le niveau confidentiel, la température et les instructions. Chaque reçu de cet agent porte son empreinte digitale.

L'empreinte digitale compte ici. Le portail a annoncé 8e30c00e…c7febe49 avant la publication, et chaque appel est revenu avec exactement cette valeur dans engine_build.spec_sha256. La configuration n'est pas un paramètre dans un tableau de bord, c'est une déclaration signée concernant ce qui a répondu.

Les trois premiers appels ont échoué

Lisa a décroché, a prononcé sa phrase d'ouverture, et l'appel s'est terminé. ElevenLabs a signalé custom_llm generation failed après 12 secondes, trois fois.

La cause n'était pas le modèle ni le niveau. La clé Sable stockée dans ElevenLabs avait été créée plus tôt pour un seul modèle, et sa liste blanche n'incluait pas la nouvelle configuration. Chaque tour était refusé par la passerelle, si bien que l'agent n'avait rien à dire et a raccroché.

Cela vaut la peine d'être conservé, car c'est le mode d'échec que personne ne prévoit : une clé trop restreinte tue un appel téléphonique exactement comme une panne, et du côté de l'appelant les deux sont indiscernables. Une nouvelle clé, autorisée sur le modèle confidentiel, et la ligne a fonctionné lors de la tentative suivante.

Appel un : dix minutes, 38 tours

Marco appelle au sujet d'une Lancia Ypsilon de 2013. Lisa demande le modèle et l'année, note le problème, refuse de donner un prix, prend le numéro de rappel et le relit chiffre par chiffre. Puis l'appelant insiste : heures d'ouverture, pneus, dépanneuse, installation satellite, propriétaire du garage, nombre de mécaniciens.

Elle répond la même chose quinze fois : I don't know, le garage vous rappellera. Pas une invention, pas un prix inventé, pas de rendez-vous imaginaire. Les instructions ont tenu.

Ils ont tenu parce que la version les épingle. Mais la version ne contenait rien concernant le garage lui‑même, donc "I don't know" était la seule réponse honnête qui lui était disponible. Les règles étaient correctes, la connaissance manquait.

	v1 · 10 min	v2 · 4 min
Tours mesurés	38	20
Temps médian jusqu'au premier octet	1,34 s	1,08 s
95ᵉ percentile	2,13 s	1,36 s
Tour le plus lent	9,53 s	1,47 s
Tours supérieurs à 2 s	3	0
Tours servis par le niveau confidentiel	38 / 38	20 / 20

Version deux : même modèle, même enclave, spécification différente

La deuxième version a changé une chose : les instructions. Deux sites avec leurs adresses, leurs horaires d’ouverture, la liste de ce que le garage fait réellement, et les règles sont restées les mêmes, y compris l’interdiction des prix et l’obligation d’offrir une dépanneuse lorsqu’une voiture est bloquée.

Rien d’autre n’a changé. Même modèle de base, même niveau confidentiel, même température, même plafond de 160 tokens. Le diff du portail l’a indiqué clairement : un champ modifié. L’empreinte est passée de 8e30c00e… à 40d80a44….

Puis le même appelant, les mêmes questions :

"Êtes‑vous ouvert le samedi ?" — "Non, nous sommes fermés le samedi et le dimanche."
"Où êtes‑vous exactement ?" — "Nous avons deux sites, Sacrofano ou Borgo Pineto. Lequel vous convient le mieux ?"
"Faites‑vous des pneus ?" — "Oui, nous faisons des pneus."

Et les règles tenaient toujours : pas de prix, pas de confirmation de stock, et pas de rendez‑vous confirmé. Lorsque l’appelant a demandé "Donc c’est confirmé pour mardi à neuf ?", la réponse était "Je ne peux pas confirmer le rendez‑vous. Gaspare vous rappellera."

Le tournant qui a compté

En plein appel, sans rien demander : "En fait, en ce moment, ma voiture ne démarre pas, je suis coincé à l'extérieur de chez moi."

Lisa : "Je comprends, votre voiture ne démarre pas. Souhaitez-vous que nous organisions un dépanneuse ?"

Personne n'a demandé de dépanneuse. Les instructions disent d'offrir une dépanneuse quand un véhicule est immobilisé, et elle l'a fait, en une phrase, à 1,1 secondes. C'est la différence entre un arbre téléphonique et un réceptionniste.

Ce que les chiffres disent

Lors du deuxième appel, aucun tour n'a dépassé 1,5 secondes, et le plus lent de l'ensemble était de 1,47 s. Chaque tour a été servi par le niveau confidentiel, et le modèle de secours n'a jamais eu à intervenir. Le temps médian entre le moment où l'appelant s'est tu et la voix de Lisa a commencé était de 1,9 s, dont environ 1,1 s pour le modèle et 0,1 s pour la synthèse vocale. Le reste est l'attente pour être sûr que l'appelant a terminé.

Coûts : les trois appels ensemble ont coûté environ 1,33 $, presque entièrement pour la parole et la transcription. Les tokens Sable étaient une fraction de centime.

Ce qui ne fonctionne toujours pas

Deux choses, et aucune n'est celle de Sable.

Elle demande le numéro de téléphone trop tôt, au deuxième tour, avant de comprendre le problème. C’est une erreur d’ordre dans les instructions, et cela sera une version trois.

Elle ne raccroche jamais. Après "goodbye", elle dit à nouveau "goodbye" et attend. L'agent de test n'a pas d'outil de fin d'appel, donc l'appelant doit raccrocher en premier.

Le verdict, révisé

Au premier essai, Lisa ne pouvait pas répondre au téléphone sur Sable. Aujourd'hui, elle le peut. Même entreprise, même architecture, un niveau plus rapide et une configuration verrouillée, et la pause avant qu'elle parle se trouve maintenant dans ce qu'un appelant accepte sans le remarquer.

Ce qui en fait une mesure plutôt qu'une démonstration : chaque tour a laissé un reçu signé indiquant quelle enclave a répondu, à quel niveau, sur quelle version de la spécification. L'appel peut être vérifié a posteriori par quelqu'un qui n'était pas présent. C'est la partie qui change ce en quoi un agent téléphonique peut être fiable.

Comment cela a été mesuré

Trois appels entrants vers un numéro américain le 18 septembre, entre 12:47 et 13:30 UTC. Les latences sont les métriques par tour d'ElevenLabs : le temps jusqu'au premier octet du modèle, et le temps jusqu'à la voix audible après que l'appelant se soit tus. Le niveau, le moteur, le coût et l'empreinte de spécification sont lus à partir des reçus signés de Sable. L'appelant était moi, parlant français, incluant délibérément des questions de prix, une question sur les actions, un changement de numéro et une panne.