movie prompt のモデルごと制約バリデーション

[ystknsh]

概要

movie prompt で利用するモデルごとに異なる制約（必須パラメータ、対応機能等）をまとめ、実行前にバリデーションする仕組みが欲しい。

背景

• Kling v2.1: start_image が必須（image-to-video のみ）、text-to-video 不可
• 各モデルで対応する入力形式が異なり、実行時にエラーになって初めてわかる状況

提案

• モデルごとの制約情報を定義ファイルにまとめる
• mulmocast run 実行前にスクリプトのバリデーションを行い、非対応の組み合わせをエラー報告する

参考

Slack 2026-04-09T00:05:26

[isamu]

プロンプト有無 × モデル種別の組み合わせ整理

各モデルは以下の3種類のどれかに該当します：

モデル種別	例	入力要件
text-to-movie (T2V)	veo-3 系, veo-3.1 系, wan-2.2-t2v-fast	text prompt のみで生成可能
image-to-movie (I2V) 必須	kling v2.1, wan-2.2-i2v-fast	start_image が必須
両対応 (T2V + I2V)	veo-2, seedance, hailuo, pixverse	image ありでもなしでも可

プロンプト組み合わせと期待動作

beat 側で指定される可能性のあるプロンプトは3種類：

• text — ナレーション用テキスト（movieプロンプトがなければ流用可能）
• imagePrompt — 画像生成用プロンプト
• moviePrompt — 動画生成用プロンプト

パターン表

#	text	imagePrompt	moviePrompt	T2Vモデル	I2V必須モデル	両対応モデル
1	✅	—	✅	moviePromptでT2V生成	text or moviePromptで画像生成→I2V	moviePromptでT2V生成
2	—	—	✅	moviePromptでT2V生成	moviePromptで画像生成→I2V	moviePromptでT2V生成
3	✅	✅	✅	要検討: ① imagePrompt無視+T2V / ② 画像生成+I2V(if supported)	imagePromptで画像生成→moviePromptでI2V	imagePromptで画像生成→moviePromptでI2V（より精度が高い）
4	—	✅	✅	同上	imagePromptで画像生成→moviePromptでI2V	imagePromptで画像生成→moviePromptでI2V
5	✅	✅	—	imagePromptで画像生成（movieなし）	エラー: moviePrompt必須	imagePromptで画像生成（movieなし）
6	✅	—	—	画像/動画生成なし（静止画fallback）	エラー: moviePrompt必須	画像/動画生成なし

設計提案

モデル側の capability 定義（provider2agent.ts で拡張）

interface MovieModelCapability {
  supportsTextToVideo: boolean;   // T2V 可能か
  supportsImageToVideo: boolean;  // I2V 可能か
  requiresStartImage: boolean;    // start_image が必須か
}

解決ロジック (擬似コード)

function resolveMovieGenerationPlan(beat, model) {
  const cap = getCapability(model);
  const hasImage = !!beat.imagePrompt;
  const hasMovie = !!beat.moviePrompt;
  const hasText = !!beat.text;

  if (!hasMovie) {
    // movieなし: 静止画ワークフロー（既存通り）
    return { mode: "image-only" };
  }

  // movie必須モデル: 画像を必ず用意
  if (cap.requiresStartImage) {
    if (hasImage) {
      return { mode: "i2v", imagePrompt: beat.imagePrompt, moviePrompt: beat.moviePrompt };
    }
    // fallback: moviePrompt or text を使って画像生成
    return { mode: "i2v", imagePrompt: beat.moviePrompt ?? beat.text, moviePrompt: beat.moviePrompt };
  }

  // 両対応モデル: imagePromptがあればI2V優先（精度高）
  if (cap.supportsImageToVideo && hasImage) {
    return { mode: "i2v", imagePrompt: beat.imagePrompt, moviePrompt: beat.moviePrompt };
  }

  // T2V専用 or imagePromptなし
  if (cap.supportsTextToVideo) {
    if (hasImage) {
      GraphAILogger.warn(`Model ${model} does not use imagePrompt for T2V — ignoring`);
    }
    return { mode: "t2v", moviePrompt: beat.moviePrompt };
  }

  throw new Error(`Model ${model} requires start_image but no image prompt provided`);
}

議論が必要な点

1. パターン3, 4 (両対応モデル + imagePrompt + moviePrompt):

   • 案A: 常に imagePrompt を使って画像生成 → I2V（安定、一貫した見た目）
   • 案B: imagePrompt を無視して moviePrompt のみで T2V 生成（速い、APIコール1回）
   • 推奨: 案A（ユーザーが imagePrompt を明示指定している=画像起点で作りたい意図）

2. パターン2 (text なし, imagePrompt なし, moviePrompt あり) × I2V必須モデル:

   • moviePrompt を流用して画像生成するか、text を流用するか
   • 推奨: moviePrompt を流用（moviePrompt の内容がそのまま最初のフレームになる方が自然）

3. beat.text を画像/動画プロンプトに流用するか:

   • text はナレーション用であり、動画生成に適さない可能性がある
   • 推奨: 流用しない。imagePrompt/moviePrompt が未指定ならエラー（または静止画fallback）

バリデーションの実装箇所

• 事前チェック: createBeatValidator を拡張し、beat単位で「このモデルでこのプロンプト組み合わせは有効か」を事前に検証
• ランタイム判定: imagePreprocessAgent で最終的な生成プランを決定