TECHNOLOGY
作品のための制作技術
思いどおりのシーンをつくり修正するには、映像の内容とプロジェクトの文脈をあわせて扱える必要があります。
CutibはTacuの制作環境をもとに、映像を理解し制作者のリクエストを実行するAI技術を開発しています。
TACU
プロジェクトベースの映像制作
一つのカットを作り直すときも、人物と空間の参照要素、前後のカットと編集状態をあわせて扱う必要があります。Tacuはシナリオ・制作アセット・生成履歴・タイムラインを一つのプロジェクトでつなぎます。
制作者は選んだカットだけを再生成し、複数の結果を比較しながら既存の編集を続けられます。
-
制作情報をつなぐ構造 [ 01 ]
シナリオをシーンとカットに分け、キャラクター・衣装・場所・小道具の参照要素をあわせて管理します。どのシーンにどの要素と生成結果が結びついているかをプロジェクトの中で確認できます。
-
結果を比較しながら修正する作業 [ 02 ]
同じカットの複数の生成結果を比較し、編集に使うテイクを選びます。選んだカットを再生成しながら、他のカットと既存の編集を維持できます。
-
ポストプロダクションにつながる編集 [ 03 ]
タイムラインでカットの順序・長さと音響・字幕を調整します。完成映像を書き出すか、Premiere Pro・Final Cut Pro向けの編集パッケージで書き出してポストプロダクションを続けます。
RESEARCH
制作意図と映像の文脈を扱うAI
Cutibの映像AIは、シーンを理解し、制作者の意図を具体的な作業に落とし込むことに重点を置いています。
映像と音の関係を分析する技術と、プロジェクトの文脈に応じて制作ツールを実行する技術を開発しています。
TACU AGENT
制作意図を実行に移すAIエージェント
Tacu Agentは、制作者のリクエストをプロジェクトの文脈に合った作業へとつなぐ技術です。
リクエストが指すシーンと参照アセット、現在の編集状態をあわせて解釈し、必要なツールの実行と結果の反映をつなぐ仕組みを開発しています。
-
プロジェクトの文脈 [ 01 ]
リクエストが指すカットと制作要素、選んだ結果と編集状態をあわせて扱います。作業対象を正確に特定し、それまでの制作上の判断を次の実行に反映することが出発点です。
-
ツールの選択と実行 [ 02 ]
画像・映像・音声の生成と編集ツールの入力・出力、実行順序を区別します。自然言語のリクエストを、各ツールが実行できる具体的な作業として構成します。
-
実行記録と復旧 [ 03 ]
結果・コスト・実行記録を作業と結びつけます。中断した作業の再開、失敗時の処理、元に戻す・やり直しを扱うことが主な開発課題です。
OTACU
マルチモーダル映像理解
OTACUは、映像のシーンと行動、音をあわせて分析するマルチモーダル映像理解技術です。
出来事が起きた時間区間と視聴覚情報の関係を構造化し、生成映像の不一致を見つけて確認・修正に活用する技術を開発しています。
-
視聴覚イベントの関係 [ 01 ]
映像の中の対象と行動、音声・音楽・効果音の関係をあわせて扱います。画面の動きと聞こえる音がどの出来事に対応するかを解釈する課題です。
-
出来事が起こる区間 [ 02 ]
行動の変化と出来事の始まり・終わりを時間区間として表現します。出来事の説明の内容と時間の境界を分けて評価し、確認すべき位置を見つけるのに使える構造を目指しています。
-
生成映像の不一致 [ 03 ]
人物・物体の形状の崩れ、動きの物理的な不一致、リップシンクや音源の不一致などを扱います。エラーの種類を発生区間に結びつけ、その後の検品や部分修正に活用する方向です。
