Нейросеть Clips AI

Clips AI — это когда вам надоело вручную резать часовые подкасты на TikTok-ролики и хочется переложить эту муторную работу на код. Библиотека анализирует транскрипт видео и сама находит самые сочные моменты для клипов, а заодно меняет соотношение сторон с горизонтального на вертикальное.

Как работает автоматическое создание клипов

Алгоритм Clips AI разбирает транскрипт видео и ищет логически завершенные фрагменты — примерно как умный редактор, который знает, где начинается и заканчивается мысль. Для этого используется WhisperX, который не просто переводит речь в текст, но и отмечает временные метки каждого слова. Получается, что нейросеть понимает структуру разговора и может выделить самостоятельные смысловые блоки.

Особенно хорошо это работает с подкастами, интервью и лекциями — контентом, где есть четкая нарративная структура. Clips AI не режет видео случайно, а ищет естественные паузы и переходы между темами.

Умное изменение соотношения сторон видео

Когда клип найден, начинается магия с ресайзингом. Clips AI использует Pyannote для распознавания говорящих и автоматически фокусирует кадр на активном спикере. Если в кадре два человека, а говорит только один — алгоритм сам поймет, куда направить внимание зрителя.

Это решает главную проблему вертикального контента: как втиснуть горизонтальное видео в портретный формат, не превратив людей в муравьев. Clips AI просто следит за диалогом и двигает "камеру" за говорящим.

Установка и базовое использование

Для работы понадобится Python и несколько зависимостей. Сначала ставите саму библиотеку через pip, потом WhisperX для транскрипции и ffmpeg для работы с видео. После этого пишете буквально пять строчек кода: создаете объекты Transcriber и ClipFinder, скармливаете им путь к видеофайлу и получаете готовые временные метки для клипов.

Для ресайзинга нужен токен от Hugging Face — это бесплатно, просто требуется регистрация. Clips AI подключается к Pyannote через их API для определения говорящих, но никаких денег за это не берут.