Generación de video corto animado realista combinando:
- SDXL para crear un keyframe de alta calidad (768×768)
- AnimateDiff (sobre base Realistic Vision v5.1) para generar movimiento sutil
- Exportación a video con movimiento realista (respiración, parpadeo, iluminación cinematográfica)
Proyecto híbrido pensado para tarjetas gráficas de gama media-alta con memoria limitada (~6 GB VRAM).
- Genera keyframe con Stable Diffusion XL si no existe
- Usa AnimateDiff v1-5 con modelo base realista
- Scheduler DPM++ 2M Karras optimizado
- Técnicas de bajo consumo de VRAM:
enable_model_cpu_offload()enable_vae_slicing()enable_forward_chunking()
- Resultado: video ~8–16 frames (0.6–1.3 segundos aprox. a 12 fps)
| Componente | Especificación |
|---|---|
| GPU | NVIDIA GeForce GTX 1060 6 GB |
| RAM del sistema | 96 GB |
| CPU | Intel Xeon E5-2650 v4 (12c/24t) |
| Sistema | Linux / Windows + PyTorch + CUDA |
Funciona (con paciencia) en tarjetas de 6 GB VRAM. Mejora notable con 8–12 GB.
Espacio de disco ocupado <20GB.
- Python 3.9–3.11 recomendado
- CUDA 11.8 o 12.x (12.1 muy estable en 2024–2025)
- ~10–12 GB de espacio en disco (modelos + caché)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121
pip install diffusers==0.29.0 # o la versión más reciente compatible
pip install accelerate transformers
pip install opencv-python pillow # para manejo de imágenes/video- Clona el repositorio
git clone https://github.com/aayes89/HIVCreator.git
cd HIVCreator
- Crea y activa entorno virtual (recomendado)
python -m venv venv
source venv/bin/activate # Linux/Mac
venv\Scripts\activate # Windows
- Instala las dependencias
- Modifica el prompt en el script
- Si quieres generación completa pasar al paso 4 directamente
- Si quieres generación de video a partir de imagen previa, cambiar nombre a keyframe.png
- Ejecuta el script
python SDAD.py
- Imagen generada con nombre keyframe.png y Video generado con nombre hybrid_output.mp4
- Modelos de Hugging Face (stabilityai, guoyww, SG161222, stable-diffusion)
- Licencia de cada checkpoint → revisar en su página oficial
