AIdeaLab-VideoMoE-7B-A2B

AIdeaLab-VideoMoE

English

はじめに

この文章は、株式会社AIdeaLabが提案する、時空間分離型MoEのコンセプトモデル、AIdeaLab-VideoMoE (エーアイディアラボ・ビデオ・エムオーイー) のモデルカードです。 学習など技術的提携については弊社にお気軽にお問い合わせください(窓口)。

なお、VideoMoEは、経済産業省と国立研究開発法人新エネルギー・産業技術総合開 発機構 (NEDO) が実施する、国内の生成AIの開発力強化を目的としたプロジェクト「GENIAC（ Generative AI Accelerator Challenge）」の支援のもと、AIdeaLabが開発した基盤モデルを用いています。

使い方

ソースからインストールしてください。uvなどを使うことをおすすめします。

git clone https://github.com/AIdeaLab/ST-MoE-DiT.git
cd ST-MoE-DiT
pip install -e .

次にモデルをHugging Faceからダウンロードしてください。

hf download aidealab/AIdeaLab-VideoMoE-7B-A2B videomoe.safetensors --local-dir=. 

そして、動画を作るために推論コードを実行してください。

python infer.py

すると、動画が生成されるはずです。途中でModelscopeからその他のモデルをダウンロードしてきますので、しばらくお待ち下さい。

ライセンス

ライセンスはコードとモデルともにApache-2.0です。 商用として無料でご利用いただけます。 詳しくはApache-2.0で調べてください。

プロンプト

アニメ風の動画を出したい場合は、プロンプトに"Japanese anime style,"と入れると出やすくなります。 逆に実写風の動画を出したい場合はネガティブプロンプトに"Japanese anime style,"と入れると出やすくなります。

開発した場所と準拠法

KDDI社が提供するサーバーであり、場所は香川県になります。 したがって、このモデルの準拠法は日本法になります。

ギャラリー

以下の動画は、自由にお使いください。

<div align="center"> <video width="70%" controls> <source src="https://huggingface.co/aidealab/amaterass-mini-1/resolve/main/young_woman.mp4" type="video/mp4"> Your browser does not support the video tag. </video> </div> <div align="center"> <video width="70%" controls> <source src="https://huggingface.co/aidealab/amaterass-mini-1/resolve/main/woman.mp4" type="video/mp4"> Your browser does not support the video tag. </video> </div> <div align="center"> <video width="70%" controls> <source src="https://huggingface.co/aidealab/amaterass-mini-1/resolve/main/sunrise.mp4" type="video/mp4"> Your browser does not support the video tag. </video> </div> <div align="center"> <video width="70%" controls> <source src="https://huggingface.co/aidealab/amaterass-mini-1/resolve/main/ast.mp4" type="video/mp4"> Your browser does not support the video tag. </video> </div> <div align="center"> <video width="70%" controls> <source src="https://huggingface.co/aidealab/amaterass-mini-1/resolve/main/coast.mp4" type="video/mp4"> Your browser does not support the video tag. </video> </div> <div align="center"> <video width="70%" controls> <source src="https://huggingface.co/aidealab/amaterass-mini-1/resolve/main/shibuya.mp4" type="video/mp4"> Your browser does not support the video tag. </video> </div> <div align="center"> <video width="70%" controls> <source src="https://huggingface.co/aidealab/amaterass-mini-1/resolve/main/girl.mp4" type="video/mp4"> Your browser does not support the video tag. </video> </div>