Нейромережі, які створюють оригінальні відео за текстовим описом, вже існують. І хоча поки вони не в змозі замінити кінематографістів або мультиплікаторів повністю, зрушення в цьому напрямку вже є. Disney Research і Rutgers розробили нейромережу, яка може створити грубе розкадрування і відео за текстовим сценарієм.
Як зазначається, система працює з природною мовою, що дозволить застосовувати її в ряді областей на зразок створення навчальних відеороликів. Також ці системи допоможуть сценаристам візуалізувати їхні ідеї. При цьому заявлено, що мета - не замінити письменників і художників, а зробити їх роботу більш ефективною і менш втомливою.
Розробники заявляють, що переклад тексту в анімацію є непростим завданням, оскільки дані на вході і виході не мають фіксованої структури. Тому більшість подібних систем не можуть обробляти складні пропозиції. Щоб обійти обмеження попередніх подібних програм, розробники побудували модульну нейронну мережу, що складається з декількох компонентів. У їх число входить модуль обробки природної мови, модуль розбору сценаріїв, а також модуль, що генерує анімацію.
Для початку система аналізує текст і переводить складні пропозиції в прості. Після цього створюється 3D-анімація. Для роботи використовується бібліотека з 52 анімованих блоків, список яких було розширено до 92 за рахунок додавання схожих елементів. Для створення анімації використовується ігровий рушій Unreal Engine, який спирається на попередньо завантажені об'єкти і моделі. З них система вибирає відповідні елементи і формує відеоролик.
Для навчання системи дослідники склали набір описів з 996 елементів, узятих з більш ніж 1000 сценаріїв з IMDB, SimplyScripts і ScriptORama5. Після цього були проведені якісні тести, в яких 22 учасникам довелося оцінити 20 анімацій. При цьому 68% сказали, що система створила цілком гідну анімацію на основі вхідних текстів.
Проте, команда визнала, що система не ідеальна. Її список дій і об'єктів не є вичерпним, і іноді лексичне спрощення не зіставляє дієслова з аналогічними анімаціями. Дослідники мають намір усунути ці недоліки в подальшій роботі.
