Vidu S1 — La vidéo IA qui vous parle, vous regarde, et ne s'arrête jamais

ShengShu Technology vient de lâcher une bombe au Global Digital Economy Conference 2026. Vidu S1 n'est pas un énième générateur de clips vidéo. C'est le premier modèle capable de générer un personnage numérique en streaming temps réel, contrôlable à la voix, pour une durée illimitée. Un changement de paradigme qui laisse Sora, Runway et Kling sur le carreau.

Le problème avec la vidéo IA actuelle

Vous connaissez la rengaine. Vous tapez un prompt. Vous attendez. Parfois trente secondes, parfois trois minutes — le temps d'aller vous faire un café. Vous recevez un clip de 5 à 16 secondes. Jolie image, mouvements parfois convaincants, souvent non. Et puis c'est fini. Si le personnage a tourné la tête dans le mauvais sens ou si le décor a fondu comme du beurre à la 8e seconde, vous recommencez. Un nouveau prompt. Une nouvelle attente.

C'est la boucle infernale du « one-shot » vidéo : Sora, Runway Gen-4, Kling, Veo, Pika — tous fonctionnent comme ça. Des photocopieuses de luxe. Vous leur donnez une idée, elles vous recrachent un bout de film figé. Pas de conversation possible. Pas de contrôle en cours de route. Pas d'interaction.

Vidu S1 casse ce moule. Radicalement.

Ce que fait Vidu S1 (et que personne d'autre ne fait)

Le principe est simple à expliquer, monstrueux à implémenter. Vous uploadez une seule image — votre tête, votre chien, votre personnage d'animé préféré. Vous choisissez une voix parmi 50+ disponibles (ou vous clonez la vôtre). Et vous lancez un appel vidéo.

Le personnage vous voit. Il entend votre voix. Il répond. En temps réel. Ses lèvres sont synchronisées avec sa parole. Ses expressions faciales changent. Ses sourcils se lèvent quand vous posez une question. Ses mains bougent quand il explique quelque chose. Et ça dure aussi longtemps que vous voulez — une minute, une heure, deux heures — sans perte de qualité visible.

Annoncé le 3 juillet 2026 à Singapour, Vidu S1 est commercialisable via une API propre : HTTP pour la gestion de session, AliRTC pour le transport audio/vidéo, WebSocket pour la signalisation. Traduction : n'importe quel développeur compétent peut intégrer un humain numérique interactif dans son application en une semaine.

Le démo public est déjà en ligne sur vidu.com/vidu-stream. Allez voir. On vous attend.

La technique sous le capot

Inutile de se mentir : la prouesse est d'abord architecturale. ShengShu a construit Vidu S1 sur une approche autorégressive + diffusion (AR + Diffusion), un mariage qui n'avait jamais été poussé aussi loin en production.

Concrètement ? Le modèle ne génère pas toute la vidéo d'un coup. Il prédit image par image, en flux continu, en se basant sur ce qui vient d'être généré ET sur les instructions vocales entrantes. Chaque frame est conditionnée par l'historique récent du personnage et par le signal audio de l'utilisateur.

Le pipeline d'entraînement se fait en trois étapes :

1. Stage 1 — Bidirectional Teacher : le modèle apprend à générer vidéo + audio de haute qualité avec un accès complet au contexte temporel. Pas de contrainte de temps réel ici, on cherche la qualité maximale. 2. Stage 2 — Causal Adaptation : on force le modèle à ne regarder que le passé. C'est le passage critique — le modèle doit apprendre à générer chaque frame sans savoir ce qui vient après. Pour éviter l'accumulation d'erreurs typique des rollouts autorégressifs, ShengShu utilise une stratégie hybride « Diffusion Forcing » : des états propres pour la supervision stable, des états bruités pour la robustesse aux petites erreurs. 3. Stage 3 — Distillation : on compresse le processus de débruitage en très peu d'étapes via Distribution Matching Distillation (DMD), stabilisé par Phased Consistency Models (PCM). C'est ce qui permet d'atteindre les 42 FPS.

L'inférence repose sur TwinCache, un système ingénieux de double cache KV :

- Un Noisy Cache extrait d'une étape intermédiaire de débruitage, qui préserve la dynamique temporelle grossière et empêche l'apparition d'artefacts haute fréquence. - Un Clean Cache obtenu après l'étape finale de débruitage, qui restaure les détails fins et maintient l'identité visuelle.

Le tout est ancré par un Persistent Reference Context : les tokens de la première frame et du premier état généré restent en mémoire en permanence. C'est l'ancre qui empêche le visage du personnage de dériver comme un drapeau au vent après dix minutes de conversation.

Côté matériel, les optimisations sont tout aussi agressives : TurboDiffusion (accélération 100-200x des modèles de diffusion vidéo), SageAttention + Sparse-Linear Attention pour réduire le coût des blocs transformers, quantification W8A8 en CUDA custom, fusion de noyaux Triton/CUDA, CUDA Graphs, parallélisme de contexte Ulysses.

Le tout tourne sur GPU grand public — un RTX 5090 est cité nommément dans le papier. Pas de cluster à six chiffres. Pas de baie de calcul réservée aux hyperscalers.

Les chiffres qui comptent

Lu comme ça, c'est sec. Alors reformulons : sur le benchmark HDTF qui mesure à quel point le personnage généré ressemble au personnage source, Vidu S1 écrase HeyGen de 11% et Kling de 4%. Sur la synchronisation labiale, il fait mieux que les deux. Et en « contrôlabilité du sujet » — c'est-à-dire la capacité à suivre des instructions comme « lève le pouce » ou « regarde à gauche » — Vidu S1 est préféré 100% du temps contre HeyGen et 60% du temps contre Kling.

Le verdict technique est sans appel. Ce n'est pas une amélioration incrémentale. C'est un saut de catégorie.

540p : le talon d'Achille

On va pas se mentir : 540p (960 × 540 pixels), c'est la définition d'un écran de smartphone en 2015. Pour un appel vidéo en visio, ça passe — Teams et Zoom encodent souvent plus bas que ça. Mais pour de la production cinéma, du streaming 4K, ou même du YouTube propre, c'est léger. Très léger.

ShengShu le sait. Le papier cite explicitement la 540p comme une résolution de « qualité visioconférence », pas de cinéma. Les rumeurs évoquent des travaux sur la 720p et la 1080p, mais aucune date. Le gap entre 540p temps réel et 1080p temps réel est un gouffre computationnel — à résolution doublée, le nombre de pixels quadruple, et le budget inférence explose.

Autre point noir honnêtement relevé par les testeurs internes (cité par Remio) : après plusieurs minutes de conversation continue, une dérive subtile peut apparaître dans la cohérence du personnage. Le phénomène est connu en génération autorégressive longue — l'accumulation d'erreurs microscopiques finit par altérer l'apparence. ShengShu affirme que son TwinCache mitige ce problème, mais admet qu'il n'a pas publié de benchmark indépendant sur la cohérence à très long horizon (30+ minutes). On attend de voir.

Dernière rugosité : le calcul nécessaire reste conséquent. Même optimisé, faire tourner ça en continu sur du GPU grand public n'est pas anodin. La démo utilise probablement des clusters de GPUs récents en backend, pas un seul RTX 5090 dans un boîtier sous le bureau. Tant que les chiffres de latence n'auront pas été publiés dans un environnement non contrôlé, gardons une pincée de sel.

D'où sort ShengShu ?

Petit rappel pour ceux qui dormaient. ShengShu Technology (生数科技) est une startup chinoise fondée en 2023 à Pékin, dans le district de Haidian. Son fondateur, Zhu Jun, est professeur à Tsinghua et figure majeure de la recherche en IA générative. C'est son équipe qui a introduit l'architecture U-ViT en septembre 2022 — une brique fondatrice qui a inspiré une génération de modèles de diffusion vidéo.

En avril 2024, ShengShu avait déjà fait parler d'elle avec Vidu, le premier modèle chinois de text-to-vidéo capable de générer des clips 1080p de 16 secondes en un clic — une réponse directe à Sora. Depuis, la boîte a enchaîné : Vidu Q1, Q2, Q3 pour le contrôle de mouvement et la cohérence multi-objets, Vidu Claw pour la génération publicitaire automatisée, et Motubrain, un « World Action Model » pour la robotique.

Côté financement, ShengShu a levé plus de 600 millions de RMB (environ 75 millions d'euros) en Série A+, co-menée par Zhongguancun Science City et Link-X Capital. Une mise solide, mais loin des méga-levées d'OpenAI ou d'Anthropic. Ce qui rend la prouesse technique encore plus remarquable.

Vidu S1 face au reste du monde

Comparer Vidu S1 à Sora, c'est comparer une visioconférence à un film de cinéma. Sora génère des clips de 20 secondes maximum — sublimes, cohérents, avec une physique bluffante. Mais c'est du offline. Pas d'interaction. Pas de voix. Pas de streaming. Vous lancez Sora comme vous lanceriez un rendu 3D : vous attendez le résultat.

Runway Gen-4, même topo. Qualité exceptionnelle, outils de montage pro, 1080p — mais génération par lots. Vous ne parlez pas à un personnage Runway. Vous le regardez.