Що таке Irodori-TTS? Можливості, застереження та інструкція з використання

Що це за програма для озвучування зі штучним інтелектом Irodori-TTS?

Багато хто з вас, напевно, цікавиться новою програмою для озвучування тексту зі штучним інтелектом під назвою «Irodori-TTS».

У цій статті ми у зрозумілій формі пояснимо характеристики, можливості, застереження та спосіб використання Irodori-TTS.

Крім того, для тих, кому налаштування здається складним, ми також представимо спосіб синтезу мовлення, який можна використовувати прямо зараз без необхідності встановлення.

Про що ви дізнаєтесь із цієї статті

1. Що це за програма Irodori-TTS?
2. Що можна робити з Irodori-TTS та на що звернути увагу
3. Як користуватися Irodori-TTS (від налаштування до регулювання звуку)
4. Рекомендований метод, коли складно налаштувати середовище

Що таке Irodori-TTS? Огляд японської програми для синтезу мовлення зі штучним інтелектом

Перш за все, ми коротко пояснимо особливості Irodori-TTS як програми для синтезу мовлення зі штучним інтелектом.

Irodori-TTS — це модель синтезу мовлення на основі ШІ, що працює локально

Irodori-TTS — це програма для синтезу мовлення зі штучним інтелектом, спеціалізована на японській мові.

Розробником є Aratako, а програма випущена безкоштовно як відкрите програмне забезпечення (ліцензія MIT).

Найбільшою особливістю є можливість «локальної роботи», де синтез мовлення повністю відбувається лише на вашому PC.

Оскільки вся обробка генерації звуку виконується на вашому локальному PC, текст і створені аудіодані не надсилаються на зовнішні сервери.

Після первинного налаштування ви можете генерувати голос без підключення до Інтернету, і немає обмежень на кількість генерацій.

Однак для налаштування потрібні інструменти для програмування, такі як Python та Git.

Також для швидкої роботи рекомендується високопродуктивний PC, оснащений GPU (відеокартою).

Що можна і чого не можна робити з Irodori-TTS

Далі ми пояснимо, що можна і чого не можна робити з Irodori-TTS.

Що можна робити з Irodori-TTS

Оскільки Irodori-TTS працює в локальному середовищі, ви можете генерувати голос необмежену кількість разів.

Навіть у середовищі без підключення до Інтернету після завершення первинного налаштування ви можете вільно створювати аудіо.

Існує кілька способів вказати, який голос створити, і за допомогою функції Caption ви можете створити бажану якість голосу лише за допомогою текстових інструкцій.

Крім того, можна відтворювати наявні голоси за допомогою клонування голосу (voice cloning) або додавати емоційні вирази за допомогою емодзі.

Оскільки це ліцензія MIT, згенерований голос також можна використовувати в комерційних цілях.

Застереження щодо Irodori-TTS

З іншого боку, є деякі застереження, про які варто знати перед використанням Irodori-TTS.

Аудіо, яке можна створити за один раз, обмежене приблизно 30 секундами

За одну генерацію можна озвучити лише близько 30 секунд.

Якщо ви хочете озвучити довгий текст, вам потрібно розділити його та генерувати кілька разів.

Важко отримати саме такий голос або манеру мовлення, як ви очікуєте

Хоча Irodori-TTS має високий ступінь свободи, у ній немає стандартних голосів (базових голосів).

Тому, якщо ви не вкажете Caption або референсне аудіо, стать та вік будуть змінюватися випадковим чином при кожній генерації.

Якщо ви хочете озвучувати одним і тим же голосом, необхідно завантажити референсне аудіо.

Крім того, немає функції ручного регулювання інтонації та наголосів.

Підтримується лише японська мова

Підтримується лише японська мова; іноземні мови, такі як англійська, не підтримуються.

Також зверніть увагу, що можуть виникати помилки в читанні кандзі.

Рекомендується потужний PC з GPU

Залежно від характеристик PC генерація голосу може зайняти час.

На PC без GPU генерація навіть короткого речення займає близько 1 хвилини.

З процесорами початкового рівня, такими як Celeron або N100, практичне використання здається складним.

Як використовувати Irodori-TTS (процес налаштування)

Тут ми коротко пояснимо, як використовувати Irodori-TTS.

Загальний процес налаштування виглядає наступним чином:

1. Встановлення необхідного програмного забезпечення
2. Створення робочої папки
3. Клонування Irodori-TTS з GitHub
4. Встановлення необхідних пакетів
5. Запуск Irodori-TTS
6. Завантаження моделі ШІ
7. Озвучування тексту

1. Встановлення необхідного софту для Irodori-TTS

Для налаштування Irodori-TTS потрібна попередня підготовка.

Спочатку встановіть ці три типи програм:

• Python 3.10 або вище: мова програмування
• Git: система керування версіями (необхідна для завантаження Irodori-TTS)
• uv: менеджер пакетів для Python

Щоб встановити Python, Git та uv, спочатку клацніть правою кнопкою миші на меню «Пуск» і виберіть «Термінал» (запускати від імені адміністратора не обов’язково).

Відкриється вікно терміналу (PowerShell).

Введіть і виконайте наступні команди в цьому вікні:

winget install --id Git.Git -e

winget install --id=astral-sh.uv -e

Тепер ви встановили все необхідне для налаштування Irodori-TTS.

※ Python керується за допомогою uv, тому він буде встановлений автоматично під час налаштування.

Після встановлення закрийте термінал (PowerShell) і відкрийте його знову (щоб оновити PATH).

2. Створення робочої папки

Далі створіть робочу папку.

Саме сюди буде встановлено Irodori-TTS.

Цього разу ми створили папку з назвою «irodori-tts» безпосередньо на диску C.

Створивши папку, перейдіть до неї в терміналі.

cd C:\irodori-tts

3. Клонування Irodori-TTS з GitHub

Введіть наступну команду в терміналі, щоб клонувати репозиторій Irodori-TTS з GitHub.

git clone https://github.com/Aratako/Irodori-TTS.git

Клонування репозиторію завершиться за кілька секунд.

Введіть наступну команду, щоб перейти до папки клонованого репозиторію.

cd Irodori-TTS

4. Встановлення необхідних пакетів

Введіть і виконайте наступну команду, щоб встановити пакети, необхідні для роботи Irodori-TTS.

uv sync

Це займе певний час, оскільки завантажується та встановлюється велика кількість пакетів.

Сам Python також буде встановлений тут.

Зачекайте, не закриваючи вікно терміналу під час завантаження та встановлення.

Рекомендується проводити налаштування в місці з хорошим Інтернет-з’єднанням, оскільки буде завантажено файли обсягом майже 3 GB.

5. Запуск Irodori-TTS

Після завершення завантаження та встановлення пакетів налаштування завершено.

Запустіть Irodori-TTS.

Введіть і виконайте наступну команду та трохи зачекайте до запуску.

uv run python gradio_app.py --server-name 0.0.0.0 --server-port 7860

Коли в терміналі з’явиться наступне повідомлення, запуск завершено.

Running on local URL: http://0.0.0.0:7860

Відкрийте веб-браузер і перейдіть за адресою http://localhost:7860.

Відкриється екран Irodori-TTS (WebUI).

6. Завантаження моделі ШІ

Натисніть «Load Model», щоб завантажити модель ШІ, яка буде використовуватися для озвучування тексту.

При першому використанні після натискання цієї кнопки почнеться завантаження моделі ШІ.

Коли в Model Status (місце, обведене червоним на наступному зображенні) з’явиться повідомлення про завершення, модель ШІ завантажена.

7. Озвучування тексту за допомогою Irodori-TTS

В Irodori-TTS ви можете давати інструкції щодо способу озвучування, включаючи емоційні вирази, але для початку спробуємо озвучити без інструкцій.

Прокрутіть вниз до поля введення тексту та введіть речення, яке хочете озвучити.

Цього разу ми спробуємо озвучити: «こんにちは、これはイロドリTTSで作成された音声です。」 (Привіт, це голос, створений за допомогою Іродорі-TTS).

(Оскільки написання «Irodori-TTS» латиницею не завжди озвучується правильно, ми написали це катаканою як «イロドリTTS»).

Натисніть кнопку «Generate», щоб розпочати генерацію голосу.

Irodori-TTS використовує CPU або GPU (відеокарту) вашого локального PC для генерації звуку.

Тому час генерації суттєво залежить від продуктивності вашого PC.

Цього разу ми генерували на ноутбуці без GPU, тому навіть для короткого речення генерація зайняла близько 1 хвилини.

Довідка: Тестова генерація проводилася в середовищі CPU: Ryzen 5 4650U, пам'ять: DDR4 32GB, Windows 11 Pro 24H2.

Після завершення генерації з’явиться осцилограма звуку, і ви зможете його відтворити.

Приклад озвучування «こんにちは、これはイロドリTTSで作成された音声です。»

Якщо після прослуховування все гаразд, натисніть кнопку завантаження (іконка стрілки вниз), щоб зберегти аудіофайл.

Аудіофайл зберігається у форматі WAV.

Тепер ви успішно синтезували голос за допомогою Irodori-TTS.

Як налаштувати голос в Irodori-TTS

В Irodori-TTS ви можете налаштовувати стать, емоції та інші вирази різними способами.

Вказання емоцій за допомогою емодзі

Клацніть «Emoji Palette» під полем введення тексту, щоб вибрати емодзі.

Кожному емодзі відповідає певний емоційний вираз:

• 😊 Весело, радісно
• 😭 Ридання, плач
• 😰 Поспіхом, збентежено
• ⏩ Швидке мовлення
• 📖 Нарація, монолог

Просто вставивши емодзі в поле введення тексту, ви можете озвучити його із вказаною емоцією.

Приклад озвучування «😊 こんにちは、これはイロドリTTSで作成された音声です。»

Приклад озвучування «📖 こんにちは、これはイロドリTTSで作成された音声です。»

Однак, лише вказавши емодзі, ви не можете конкретно визначити стать чи вік.

Завантаження референсного аудіо для озвучування тим самим голосом

В Irodori-TTS ви можете завантажити референсний аудіофайл і озвучити текст, орієнтуючись на цей голос.

Завантажте референсне аудіо в частину з написом «音声をここにドロップ - または - クリックしてアップロード» (Перетягніть аудіо сюди - або - клацніть для завантаження).

Це не тільки дозволяє озвучувати тим самим голосом, але й забезпечує чистішу якість звуку порівняно з випадком, коли нічого не вказано.

Також можливо безпосередньо налаштовувати стиль озвучування за допомогою функції Caption

В Irodori-TTS ви також можете безпосередньо текстом вказати, яким саме голосом потрібно озвучити текст.

Щоб скористатися функцією Caption, необхідно запустити версію «VoiceDesign版», і команда для запуску Irodori-TTS у терміналі зміниться.

uv run python gradio_app_voicedesign.py --server-name 0.0.0.0 --server-port 7861

Після виконання цієї команди запуститься інтерфейс версії VoiceDesign.

Оскільки версія VoiceDesign використовує іншу модель ШІ, ніж стандартна версія, при першому використанні необхідно натиснути «Load Model» і завантажити модель окремо від стандартної версії.

Обсяг моделі ШІ становить близько 2 GB, тому рекомендується завантажувати її в місці з хорошим Інтернет-з’єднанням.

В інтерфейсі версії VoiceDesign є текстове поле «Caption / Style Prompt (optional)».

Тут ви вводите реченням, яким голосом ви хочете озвучити текст:

• Озвучте спокійним жіночим голосом, м’яко та природно, з близькою дистанцією.
• Говоріть енергійним чоловічим голосом, бадьоро та чітко.
• Прочитайте низьким чоловічим голосом, монотонно, як диктор новин.

Таким чином можна вказати стиль озвучування.

Наприклад, при вказанні «落ち着いた女性の声で、近い距離感でやわらかく自然に読み上げてください。」 (Озвучте спокійним жіночим голосом, м’яко та природно, з близькою дистанцією), вийшло наступне аудіо.

Приклад із вказанням стилю через Caption

У цьому випадку також вдалося отримати чітке та легке для сприйняття озвучування.

Однак щодо функції Caption є застереження.

Функція Caption потребує значно більше часу для генерації звуку порівняно з іншими методами.

Цього разу при генерації на ноутбуці створення цього короткого речення зайняло близько 5 хвилин.

Для використання функції Caption рекомендується високопродуктивний PC з GPU.

Що станеться, якщо озвучити англійський текст?

Irodori-TTS — це програма для озвучування, яка підтримує лише японську мову.

Тож що станеться, якщо спробувати озвучити англійський текст?

Для перевірки введемо просте речення.

Приклад озвучування «Hello, this is a voice recording created using Irodori-TTS.»

Як бачите, Hello прозвучало як «Харо» з японською вимовою, а частина recording стала нерозбірливою, тому правильно озвучити текст не вдалося.

Якщо ви хочете озвучувати англійські тексти, рекомендується використовувати сервіси озвучування зі ШІ, які підтримують іноземні мови.

Рекомендований спосіб синтезу мовлення, коли «налаштування занадто складне»

Прочитавши до цього моменту, дехто з вас міг подумати, що налаштування Irodori-TTS виглядає дещо обтяжливим.

Якщо ви не звикли працювати з терміналом, навіть підготовка таких інструментів, як Python та Git, встановлення пакетів і завантаження моделей ШІ може зайняти багато часу.

Крім того, якщо у вас немає PC з GPU, одна операція синтезу мовлення займатиме занадто багато часу, що робить її складною для використання в таких цілях, як озвучування відео.

Довгі тексти потрібно розділяти на частини по 30 секунд і генерувати багато разів.

Для тих, хто хоче створювати голос із тексту без встановлення та налаштування, ми представимо сервіс синтезу мовлення зі ШІ, який можна використовувати у браузері.

«Ondoku» — голос ШІ, який можна використовувати без встановлення

Якщо ви хочете легко синтезувати мовлення за допомогою найсучаснішого ШІ, ми рекомендуємо сервіс «Ondoku».

«Ondoku» — це сервіс синтезу мовлення зі ШІ, де ви можете просто відкрити браузер і вставити текст, щоб створити голос.

Ви можете безкоштовно створити голос прямо зараз на PC, смартфоні або планшеті.

Генерація звуку відбувається в хмарі (на стороні сервера), тому не має значення, чи є у вашому PC відеокарта GPU.

Оскільки спочатку підготовлено кілька голосів (чоловічі, жіночі, дитячі тощо), ви можете почати озвучування одразу після вибору, без необхідності готувати референсне аудіо чи Caption.

Довгі тексти також можна озвучувати без змін.

Більше того, Ondoku підтримує англійську мову!

Він підтримує багато мов, включаючи французьку, іспанську, корейську, китайську тощо, тому його можна використовувати для озвучування не лише японською.

Крім того, ви можете спробувати ще більш природне озвучування за допомогою наступного покоління голосів ШІ (OndokuBeta).

Якщо ви шукаєте спосіб озвучити текст, чому б не спробувати «Ondoku», який можна використовувати безкоштовно та легко?

Порівняння відмінностей між Ondoku та Irodori-TTS

Наостанок порівняємо основні відмінності між Ondoku та Irodori-TTS.

При порівнянні можна зробити висновок: Ondoku підходить для простоти та негайного використання, а Irodori-TTS — для тих, хто має потужний PC і хоче детально налаштовувати голос.

Для тих, кому голос потрібен прямо зараз, кому потрібне озвучування кількома мовами або хто хоче використовувати сервіс на смартфоні чи планшеті, рекомендується Ondoku.

Він також підходить для тих, хто хоче озвучувати довгі тексти без змін, хто не хоче витрачати час на налаштування або чий PC не має GPU.

Оскільки ви можете генерувати високоякісний голос одразу після відкриття браузера, чому б не почати використовувати Ondoku безкоштовно прямо зараз?

Підсумок характеристик, налаштування та використання Irodori-TTS

У цій статті ми розповіли про Irodori-TTS — програму для синтезу мовлення зі штучним інтелектом, спеціалізовану на японській мові, що працює локально.

Irodori-TTS — це привабливий інструмент для тих, хто хоче приділити особливу увагу голосовому вираженню, наприклад, через дизайн голосу за допомогою Caption, клонування голосу або контроль емоцій через емодзі.

Однак метод налаштування та використання орієнтований на досвідчених користувачів, оскільки для налаштування потрібна підготовка середовища Python та Git.

Крім того, на PC без GPU генерація звуку займає багато часу.

Для тих, хто хоче «використовувати синтез мовлення легко та просто зараз», рекомендується «Ondoku», який працює прямо в браузері.

Чому б вам також не спробувати створити високоякісне озвучування за допомогою безкоштовного та простого у використанні синтезу мовлення зі ШІ?