Аспирант Университета Суррея Дэн Рута создал нейронную сеть, способную озвучивать модификации для игр Bethesda Softworks. xVA-Synth — так называется проект Дэна — включает в себя 34 модели, обученных на 53 наборах данных.
В качестве наборов данных Рута использовал реплики персонажей из шести игр Bethesda: трех частей Fallout, начиная с Fallout 3, и трех частей The Elder Scrolls, начиная с The Elder Scrolls 3 Morrowind. Для обучения нейронной сети применялась только английская озвучка.
Работа над нейронной сетью, рассказывает Рута, заняла больше двух лет: первые эксперименты стартовали еще в 2018 году. Вот так выглядит озвучка, сгенерированная xVA-Synth версии 0.1.
На тот момент качество звука оставляло желать лучшего, модели требовались очень большие наборы данных, а управлять генератором было непросто. Повысить качество генератора удалось после перехода на модель FastPitch.
Актуальная версия нейросети генерирует достаточно правдоподобно звучащую озвучку. Чтобы моддерам было проще работать, Рута выложил отдельные приложения для генерации озвучки с голосами из Skyrim, Morrowind, Oblivion и трех частей Fallout.
🎤 «Как озвучить персонажа в Скайриме?» — Показываю. Урок от [Nibiros13]. А РаМа мне поможет. 😎
Предполагается, что xVA-Synth значительно упростит разработку сюжетных модификаций: сейчас моддерам приходится либо озвучивать их самостоятельно, либо искать актеров, либо обходиться субтитрами. Пока, впрочем, xVA-Synth используют для шуточных модов.
Самый известный из них — мод, где обитатели Скайрима хвалят главного героя, разгуливающего без одежды. Все хвалебные реплики были сгенерированы с помощью xVA-Synth и звучат довольно естественно.
В принципе, ничто не мешает использовать голоса из игр Bethesda для озвучки других проектов или переобучить модели на других наборах данных.
Источник: wtftime.ru
Нейросеть xVASynth решила проблему озвучки модификаций Skyrim и других игр Bethesda
Развитие серий TES и Fallout поставило перед создателями сюжетных модификаций непростую задачу. Если раньше один человек мог записать все реплики текстом, то новое поколение игр требует озвучку. Любой игрок резко ощутит переход из живой оригинальной среды с десятками голосов в немую зону фанатской поделки.
Справляются ли самые продвинутые фанаты с озвучкой? Они могут нарезать реплики из существующих игр или нанять актеров. Увы, интеграция такого материала в игру всегда оказывается неровной: обязательно либо налажают озвучальщики, либо напортачит звукарь. Любительская озвучка ранит уши неестественными интонациями, изоляцией голоса от окружающего мира и прочими огрехами, для исправления которых требуется слишком много усилий и средств.
Не могу подтвердить, что создатель xVASynth, Дэн Рута из университета Суррея, задумывался о тонкостях озвучки. Тем не менее, он использовал английские реплики из шести игр Bethesda для обучения нейросети. На достижение удовлетворительного результата и выпуска версии 1.0 ушло около 2 лет. Женские голоса получились замечательными, а вот мужские все еще страдают от искажений – фраза «Stop right there, criminal scum!» звучит удручающе бездушно.
Чтобы мододелам было проще жить, Дэн Рута выложил свою разработку в виде отдельных модулей для каждой игры: Morrowind, Oblivion, Skyrim, Fallout 3, Fallout: New Vegas и Fallout 4. Вероятно, некоторые талантливые разработчики смогут исправить недостатки генерации с помощью грамотного мастеринга, но пока что нейросеть используется только для мемов.
Прочитать техническое описание xVASynth можно в статье от разработчика. Сам инструмент мирно лежит на NexusMods.
Это не первая подобная разработка: например, есть шуточный сайт, позволяющий озвучить любой текст голосами известных актеров из игр и фильмов.
Источник: coop-land.ru
Озвучка ГГ и поворот головы
Вы можете написать сейчас и зарегистрироваться позже. Если у вас есть аккаунт, авторизуйтесь, чтобы опубликовать от имени своего аккаунта.
Примечание: Ваш пост требует одобрения модератора, прежде чем станет видимым.
Подписчики 0
Последние посетители 0 пользователей онлайн
Ни одного зарегистрированного пользователя не просматривает данную страницу
- IPS Theme by IPSFocus
- Язык
- Тема
- Политика конфиденциальности
- Обратная связь
- Уже зарегистрированы? Войти
- Регистрация
Сайт
Активность
Сборки
- Назад
- Сборки
- TES Oblivion
- TES Skyrim
- TES Skyrim SE
- Enderal: The Shards of Order
Fallout
The Sims
Моды
TES Oblivion
- Назад
- Моды Oblivion 18+
- Моды Oblivion
- Глобальные моды и аддоны Oblivion
TES Skyrim
- Назад
- Моды Skyrim 18+
- Моды Skyrim
- Глобальные моды и аддоны Skyrim
TES Skyrim SE
- Назад
- Моды Skyrim SE 18+
- Моды Skyrim SE
Fallout
The Sims
Другие сайты
- Создать.
Важная информация
By using this site, you agree to our Условия использования.
Источник: gamesource.org