テンセントがAIビデオ作成ツールを発表

「Follow-Your-Click」と呼ばれる新しいアニメーションツールが、Microsoft のオープンソース Web サイト GitHub に登場しました。このツールを使用すると、ユーザーは画像の一部をクリックしてアニメーションビデオに変換することで、短いアニメーションビデオを作成できます。

このプロジェクトは、テンセントのHunyuan Group、香港科技大学、中国の清華大学の共同プロジェクトである。

テンセントは4月にこのツールの完全なソースコードをリリースする予定だが、試用版はすでにGitHubで公開されている。

Follow-Your-Click は、画像内の特定のオブジェクトに焦点を合わせるのではなく、シーン全体を移動してしまう傾向がある、市場の他の画像からビデオへの変換モデルの問題を解決するために作成されました。

他の AI モデルでは、ユーザーが画像をどのようにどこに移動させたいかを詳細に説明する必要があります。

「私たちのフレームワークは、従来の方法よりもシンプルでありながらより正確なユーザー制御と、より優れた生成パフォーマンスを可能にします」と研究者らはarXivの投稿に書いている。

テキストからビデオを作成することは、OpenAIが2月15日にSoraを発表して以来、話題となっている。

テンセントは1月に、テキストから動画を作成できるオープンソースの動画編集・作成ツール「VideoCrafter2」をリリースした。これは、2023 年 10 月にリリースされた VideoCrafter1 の更新バージョンですが、2 秒のビデオに制限されています。

テンセントの中国のライバル企業もこの競争に加わった。アリババグループは最近、写真と音声プロンプトを歌ったり話したりする動画に変換するポートレート動画作成ツール「EMO」をリリースした。

同じ頃、ByteDance はテキストをビデオに変換するモデル MagicVideo-V2 をリリースしました。