AnimeGamer 是基于多模态大型语言模型（MLLM）构建的，可以生成动态动画镜头和角色状态更新，为用户提供无尽的动漫生活体验。它允许用户通过开放式语言指令与动漫角色互动，创建独特的冒险故事。该产品的主要优点包括：动态生成与角色交互的动画，能够在不同动漫之间创建交互，丰富的游戏状态预测等。
要设置推理环境，您可以运行以下命令：
git clone https://github.com/TencentARC/AnimeGamer.git
cd AnimeGamer
conda create -n animegamer python==3.10 -y
conda activate animegamer
pip install -r requirements.txt
请先下载AnimeGamer和Mistral-7B的存档，并保存在 文件夹下./checkpoints。然后下载 CogvideoX 的 3D-VAE：
cd checkpoints
wget https://cloud.tsinghua.edu.cn/f/fdba7608a49c463ba754/?dl=1
mv 'index.html?dl=1' vae.zip
unzip vae.zip
运行本地 gradio 演示：
python app.py
此 Gradio 演示专为低显存环境设计，其中 MLLM 和 VDM 解码器部署在两块 GPU 上（每块至少配备 24G 显存）。如果您希望部署在单块 GPU 上（至少配备 60G 显存），请设置LOW_VRAM_VERSION = False。
要生成动作感知的多模态表示并更新角色状态，您可以运行：
python inference_MLLM.py
要将表示解码为动画镜头，您可以运行：
python inference_Decoder.py
更改说明以./game_demo定制您的游戏。
我们参考了CogvideoX和SEED-X来构建我们的代码库。感谢他们出色的项目。
如果您发现这项工作有帮助，请考虑引用：
@article{cheng2025animegamer,
title={AnimeGamer: Infinite Anime Life Simulation with Next Game State Prediction},
author={Cheng, Junhao and Ge, Yuying and Ge, Yixiao and Liao, Jing and Shan, Ying},
journal={arXiv preprint arXiv:2504.01014},
year={2025}
}
