Tencent Hunyuan publie Hy-Nomas, modèle open source de monde vidéo interactif

Tencent Hunyuan met en open source Hy-Nomas, un modèle qui génère un monde en vidéo segment par segment et que l'on pilote au fil de l'eau : par des prompts texte libres (ajouter un objet, changer de style, de scène ou d'action) ou par des mouvements de caméra, y compris au clavier dans la démo. Une mémoire du monde garde la cohérence sur de longues séquences, et l'inférence est distillée en 8 étapes pour tourner sur des GPU grand public selon Tencent. Le code (entraînement, inférence, démo web, annotation de données) et les poids sont publiés sous licence Apache 2.0 sur GitHub et Hugging Face, avec un fine-tuning LoRA pour des domaines spécialisés comme la robotique. Une démo en ligne est proposée ; le rapport technique est annoncé.

Voir la publication originale↗Tencent Hunyuan (GitHub officiel) · github.com