Download
- Se necesita una maquina virtual en este caso se utilizo Ubuntu 14.04 LTS y se utilizaron las maquinas que ofrece SciDB para almacenar los datos provenientes de MIMIC-III para en un futuro trabajo almacenar estos en base de datos de arreglos llamada SciDB, No se utilizo SciDB al final porque estaba causando demora en los analisis el usarlo, pero si la maquina virtual
Es una sistema de manejo de datos en forma de arreglos (Array DBMS), que permite almacenar gran cantidad de arreglos del tamaño de big data. para facilitar la instalacion, se utiliza una de las maquinas virtuales que ya se encuentran configuradas con SciDB por los desarrolladores de SciDB (Paradigm4) en google Drive: Version 15.12 y Version 16.9.
Si se descargara la totalidad de los datos que existen en MIMIC-III serian 3TB y el tamaño del disco con el que vienen esas maquinas es 20GB podemos cambiar el tamaño del disco con los siguientes comandos:
VBoxManage clonehd "source.vmdk" "cloned.vdi" --format vdi
VBoxManage modifyhd "cloned.vdi" --resize 51200
VBoxManage clonehd "cloned.vdi" "resized.vmdk" --format vmdk
y después con Gparted, se puede Crecer el tamaño del DD y incluso generar una partición SWAP
Como lenguaje principal en el desarrollo, se utiliza Python, debido a que existen 2 librerias escritas en este lenguaje:
Libreria que permite conectarse a las bases de datos de physionet y realizar analisis sobre los mismos
Libreria que permite conectarse a SciDB y realizar cargue de los datos.
Script que permite detectar los picos del QRS.
Librería con herramientas para mineria de datos y analisis de datos
sudo pip3 install sklearn
Librería que sirve de puente de Python a GNU Octave
sudo pip3 install oct2py
No es una librería, pero si son los scripts que permiten llenar la base de datos de MIMIC y hacer análisis sobre los mismos.
En el archivo LoadData.ipynb se ve un Jupyter que contiene la explicacion de los prerequisitos necesarios para la carga de datos y algunos ejemplos de como estos son subidos
En el archivo DataLoad.py esta el codigo que se encarga tanto de descargar la información de Physionet, como de subirla a SciDB.