Посібник користувача Omni Describer

Даруємо голос візуальному світу за допомогою ШІ.

Все почалося з моєї любові до кіно. Коли я зрозумів, скільки деталей у моїх улюблених сценах втрачається без хорошого аудіоопису, у мене виникла ідея: "А чи не міг би ШІ полегшити нам цю роботу?". Я мріяв про інструмент, який не просто генерував би описи, але й давав би користувачеві повний творчий контроль. Після місяців напруженої роботи, незліченних випробувань і подолання багатьох технічних перешкод я розробив Omni Describer як продукт цієї мрії.

Зміст

Що означає назва?

Слово "Omni" в назві походить з латини і означає "все" або "сукупність". Я обрав цю назву, бо не хотів, щоб інструмент служив лише одній меті. Так, Omni Describer насамперед спрямований на те, щоб зробити медіа доступними для незрячих та людей з вадами зору шляхом створення аудіоописів. Однак його призначення цим не обмежується.

Це також інструмент для дослідження. Кінокритик, студент, художник або будь-хто, хто цікавиться візуальними деталями, може використовувати такі функції, як "Дослідник сцен" або "Запитати більше", щоб зануритися у шари відео як ніколи раніше. Omni Describer — це вікно, щоб побачити світ "очима" ШІ та зрозуміти його по-іншому. Коротше кажучи, це "описувач для всього, для кожного".

Системні вимоги

Для найкращої продуктивності Omni Describer я рекомендую відповідати таким мінімальним системним вимогам:

Початок роботи: Налаштування ключів API

Omni Describer використовує хмарні сервіси штучного інтелекту для аналізу та озвучення описів. Тому перед початком роботи вам потрібно ввести власні ключі API.

  1. Відкрийте налаштування: Перейдіть до меню Файл і виберіть Налаштування... (або натисніть Ctrl + ,).
  2. Вкладка "Налаштування ШІ":
    • Ключ API Gemini: Обов'язковий для аналізу відео. Вставте свій ключ у поле "Ключ API Gemini:". Ви можете отримати безкоштовний ключ API у Google AI Studio.
    • Ключ API OpenAI (для TTS): Необхідний для високоякісного синтезу мовлення. Вставте свій ключ у це поле. Ви все ще можете використовувати вбудовані голоси Windows без цього ключа, але для найкращих результатів рекомендується OpenAI. Ви можете отримати ключ на платформі OpenAI.
  3. Зберегти: Натисніть Застосувати або OK, щоб зберегти налаштування. Тепер ви готові до роботи!
Будь ласка, зверніть увагу: Ваші ключі API зберігаються надійно на вашому комп'ютері у файлі налаштувань програми і ніколи не надсилаються нікуди, окрім як для підключення до відповідних сервісів ШІ.

Швидкий старт: Створення вашого першого опису

Готові почати? Просто виконайте ці прості кроки:

  1. Оберіть відео: Натисніть кнопку, наприклад, "Локальний відеофайл" у головному вікні або виберіть джерело відео з меню "Файл".
  2. Виберіть шаблон інструкції (необов'язково): У випадаючому меню перелічені готові інструкції, які керують ШІ. Для першої спроби "Стандартний опис" є чудовим початком.
  3. Запустіть обробку: Програма почне аналізувати ваше відео. Ви можете стежити за прогресом у "Журналі стану" внизу вікна. Це може зайняти кілька хвилин, залежно від тривалості відео.

Коли процес завершиться, відеоплеєр з описами відкриється автоматично, і ви зможете насолоджуватися вашим щойно описаним відео!

Основні функції

Відеоплеєр з описами

Це ваш особистий кінотеатр з описами. Поки відео відтворюється у звичайному режимі, ваша встановлена програма зчитування з екрана (наприклад, JAWS або NVDA) читатиме згенеровані аудіоописи в потрібні моменти.

Керування шаблонами інструкцій (промптами)

Інструкції (промпти) — це потужні вказівки, які визначають, на чому зосереджується ШІ. Змінюючи інструкцію, ви можете отримати описи в абсолютно різних стилях.

Запитати більше про сцену

Ви коли-небудь замислювалися, що тримає персонаж або що написано на вивісці на задньому плані? Ця функція дозволяє вам запитати все, що спаде на думку про сцену.

  1. Призупиніть відео в момент, який вас цікавить.
  2. Натисніть кнопку Запитати більше....
  3. Введіть своє запитання в поле "Ваше нове запитання:" (напр., "Якого кольору капелюх у жінки?" або "Що написано на стіні?").
  4. Виберіть, скільки секунд відео має проаналізувати ШІ, починаючи з поточної позиції курсора.
  5. Натисніть "Надіслати запитання". Відповідь ШІ з'явиться в області "Історія розмови".

Дослідник сцен

Дослідник сцен — це інтерактивний спосіб зрозуміти просторове розташування сцени. Він поміщає вас у віртуальну кімнату, якою ви можете переміщатися за допомогою клавіатури.

  1. Призупиніть відео на сцені, яку ви хочете детально дослідити.
  2. Натисніть кнопку Дослідити сцену..., а потім "Аналізувати сцену".

Тепер ви в Досліднику сцен. Використовуйте клавіатуру для дослідження:

Експорт вашої роботи

Коли ви задоволені своїми описами, ви можете експортувати їх з вікна плеєра в різних форматах:

Детальний огляд розширених налаштувань

Вікно налаштувань (Ctrl + ,) дає вам детальний контроль над поведінкою Omni Describer.

Вкладка "Налаштування ШІ"

Вкладка "Виведення аудіо"

Поради та хитрощі для найкращих результатів

Створення чудових аудіоописів — це мистецтво. Хоча ШІ є ефективним помічником у цьому мистецтві, ви отримаєте найкращі результати, якщо будете правильно його скеровувати.

Сила інструкцій: Ваші режисерські нотатки

Програма має набір основних правил, яких вона навчає ШІ (наприклад, не говорити поверх діалогів). Уявіть область Шаблон інструкції на головному екрані як місце, де ви залишаєте свої режисерські нотатки для конкретного відео. Хороша нотатка допомагає ШІ зосередитися на певному стилі чи деталі, тоді як розпливчаста може призвести до несподіваних результатів.

Коли (і як) використовувати інструкцію?

Здебільшого ШІ може давати чудові результати без спеціальної інструкції, покладаючись лише на свої основні правила. Я рекомендую використовувати цю функцію лише тоді, коли у вас є конкретна мета.

Порада №1: Інструкція "Зосередитись на іменах"
У відео з великою кількістю персонажів, де імена важливі, ШІ іноді може вагатися використовувати ім'я. Щоб пріоритезувати відстеження імен, ви можете створити власну інструкцію: Для цього відео твоїм найвищим пріоритетом є ідентифікація та використання правильних імен персонажів, як тільки вони будуть вимовлені в діалозі. Це важливіше, ніж бути надто лаконічним. Зосереджуючись на цьому, намагайся дотримуватися всіх інших системних правил якомога краще.
Порада №2: Інструкція "Описати атмосферу"
У візуально насичених фільмах, де атмосфера є ключовою, ви можете скерувати ШІ зосередитися на оточенні: Зосередься на описі обстановки, атмосфери та деталей оточення. Щоб створити багатий візуальний світ, згадай освітлення, кольори та загальний настрій сцени. Приділяй менше уваги незначним рухам персонажів, якщо вони не є критичними.

Чого слід уникати в інструкціях?

Для найкращих результатів важливо уникати інструкцій, які суперечать основним принципам роботи ШІ. Оскільки ШІ завжди намагається слідувати інструкціям, надання йому хибної вказівки може призвести до неправильного тлумачення відео.

Коротше кажучи: Використовуйте інструкції не для того, щоб змінювати фундаментальні правила хорошого аудіоопису, а щоб скерувати ШІ на конкретний фокус.

Часті запитання (FAQ)

П: Чи захищені мої ключі API?
В: Так. Ваші ключі зберігаються лише на вашому комп'ютері і ніколи нікому не передаються, окрім як для підключення до сервісів Google/OpenAI.

П: Чому генерація описів займає так багато часу?
В: Час залежить від тривалості вашого відео, швидкості вашого Інтернету (для завантаження відео до ШІ), обраної вами частоти кадрів та поточного навантаження на сервіси ШІ. Настійно рекомендується використовувати функцію "Увімкнути фрагментацію відео" для довгих відео.

П: Чому ШІ не описав те, що я бачив на екрані?
В: ШІ навчений віддавати перевагу тиші, аніж робити помилку або говорити поверх діалогу. Ви можете використовувати функцію "Запитати більше...", щоб дізнатися про конкретні моменти, або вибрати рівень деталізації "Детальний" у налаштуваннях.

Гарячі клавіші

Подяки, контакти та автори

Щиро дякую за використання Omni Describer! Ця програма є відображенням мого бажання зробити візуальні медіа доступнішими та приємнішими для всіх. Те, що користувачі, як ви, використовують цей інструмент і надають зворотний зв'язок, є найбільшою мотивацією для мене продовжувати його розробку.

Зворотний зв'язок та підтримка

У вас є запитання, повідомлення про помилку або ідея для нової функції? Я був би радий почути від вас! Найкращий спосіб зв'язатися зі мною — електронною поштою. Ваш відгук є безцінним для того, щоб зробити Omni Describer ще кращим.