Runway Gen-4: как писать промпты, которые модель понимает

Что умеет Runway Gen-4

Gen-4 — это специализированная I2V-модель: ей всегда нужно входное изображение, описание сцены строить не нужно — оно уже зафиксировано в кадре. Сильная сторона — кинематографические камерные движения и анимация статичных фото с тонкими физическими деталями (волосы на ветру, складки ткани, лёгкие жесты).

Gen-4 Turbo — облегчённый вариант 5 кредитов/сек вместо 12. Используется для прототипирования и быстрых итераций, дальше финальный рендер уже на полном Gen-4. Промпты для Turbo допускают чуть меньше деталей.

• Image-to-Video only — без референса генерация не запускается
• 720p нативно, апскейл до 4K на финальном этапе
• Длительность 5 или 10 секунд (выбор фиксированный)
• 12 кредитов/сек (Gen-4) или 5 кредитов/сек (Gen-4 Turbo)
• Не поддерживает негативные промпты и JSON-форматирование

Структура промпта

Поскольку визуал уже задан изображением, промпт описывает только движение. Базовая формула — [Камерное движение]: [субъект] [действие]. [Дополнительные детали движения].

Оптимальная длина — 10–30 слов. Короткий промпт (10–15 слов) часто работает лучше длинного — Runway официально пишет: «Clarity matters more than structure». Никаких приветствий, объяснений, JSON, команд в духе «add rain».

Активные глаголы в настоящем времени: «walks», «pulls back», «rotates slowly». Лучше одно чёткое камерное движение, чем несколько одновременных — Gen-4 плохо справляется с комбинацией zoom + pan + orbit в одной сцене.

Словарь камерных движений

Gen-4 хорошо понимает стандартный кинематографический лексикон, потому что он буквально взят из учебных данных. Базовые движения: dolly in/out, truck left/right, pan left/right, tilt up/down. Сложные: crane shot, arc shot, whip pan, crash zoom, push-in, pull-out. Стиль камеры: handheld, steadicam, gimbal, smooth tracking, static.

Задавай одно главное движение и опционально модификатор скорости — «slowly», «suddenly», «gradually». Это даёт контроль над темпом, не перегружая модель.

Turbo vs Gen-4: когда использовать что

Turbo стоит 5 кредитов/сек и быстрее — идеально для проб камерных движений, исследования вариаций, A/B-теста идей. Полный Gen-4 — финальный рендер, когда movement и тайминг уже подтверждены.

Практический пайплайн: 3–5 итераций на Turbo (40–50 кредитов на 10-секундный клип), затем один финальный рендер на Gen-4 (120 кредитов). Это в 2–3 раза экономнее, чем итерировать сразу на полной модели. Для production-кампаний с десятками клипов разница в бюджете существенная.

Типичные ошибки

1. 1. Запуск без входного изображения

   Gen-4 — это I2V-only модель, без референса генерация физически невозможна. Это не баг и не workaround — архитектура модели не содержит T2V-режима. Если нужен text-to-video на Runway, бери Gen-4.5. Перед запуском всегда проверяй, что в Generation Settings есть изображение.

2. 2. Описание сцены вместо движения

   Промпт «a woman in a red dress in a park, sunset, beautiful» бесполезен — вся эта информация уже на референсе. Промпт должен начинаться с глагола движения или с типа камерного хода. Сцена задана картинкой, твой промпт — это инструкция оператору, что снимать дальше.

3. 3. Негативные промпты

   «No clouds», «no blur», «without text» в Gen-4 могут произвести именно то, что просили исключить — модель видит «clouds», «blur», «text» и иногда генерирует их. Описывай только желаемое позитивно: вместо «no fast motion» пиши «slow, deliberate movement».

4. 4. Несколько камерных движений одновременно

   «Pan left while zooming in and rotating» Gen-4 переварит криво — получится дрейф камеры без чёткого направления. Выбирай одно главное движение (dolly in ИЛИ pan ИЛИ orbit) и опционально модификатор скорости. 5–10 секунд — не время для сложной раскадровки.

5. 5. JSON-форматирование и командный стиль

   Структуры вида `{"camera": "dolly", "subject": "woman"}` или команды «add rain», «remove the hat» Runway игнорирует — это не command-driven модель. Пиши естественным языком, полными предложениями: «Light rain begins to fall as the camera slowly pulls back.»

Примеры до/после

красивое видео с этим фото где девушка в красном платье стоит в парке и улыбается, добавь движение

Slow dolly-in toward the subject. The woman gently tilts her head and smiles softly. Subtle hair movement in the breeze. Smooth tracking, cinematic pacing.

сделай динамичное видео продукта с разных ракурсов

Slow orbital arc shot around the product, 180-degree sweep. Subtle product highlights catch the light as the camera moves. Smooth steadicam motion, no jitter.

оживи портрет, добавь эмоции, без размытия фона

Slight head turn to the left. The subject blinks once, then breaks into a soft smile. Static camera, shallow depth maintained on the eyes.