-
Notifications
You must be signed in to change notification settings - Fork 0
Expand file tree
/
Copy pathETL.html
More file actions
194 lines (161 loc) · 8.13 KB
/
Copy pathETL.html
File metadata and controls
194 lines (161 loc) · 8.13 KB
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
<!DOCTYPE HTML>
<html>
<head>
<title>Organizacion y ETL</title>
<meta name="description" content="website description" />
<meta name="keywords" content="website keywords, website keywords" />
<meta http-equiv="content-type" content="text/html; charset=windows-1252" />
<link rel="stylesheet" type="text/css" href="style/style.css" title="style" />
<link rel="stylesheet" type="text/css" href="style/slicer.css" title="style" />
<script src="script.js" defer></script>
<script src="slicer-script.js" defer></script>
<script src="https://cdn.jsdelivr.net/npm/chart.js@latest/dist/Chart.min.js"></script>
<script src="https://cdnjs.cloudflare.com/ajax/libs/d3/3.5.3/d3.min.js"></script>
<script src="https://cdnjs.cloudflare.com/ajax/libs/topojson/1.6.9/topojson.min.js"></script>
<script src="https://datamaps.github.io/scripts/0.5.0/datamaps.world.min.js"></script>
</head>
<body>
<div id="main">
<div id="header">
<div id="logo">
<div id="logo_text">
<!-- class="logo_colour", allows you to change the colour of the text -->
<h1><a href="index.html">Proyecto<span class="logo_colour"> House Market</span></a></h1>
<h2>Proyecto grupal</h2>
</div>
</div>
<div id="menubar">
<ul id="menu">
<!-- put class="selected" in the li tag for the selected page - to highlight which page you're on -->
<li><a href="ETL.html">Introduccion y ETL</a></li>
<li><a href="index.html">Analisis</a></li>
<li><a href="Dashboard.html">Dashboard</a></li>
<li><a href="ML.html">Modelos de ML</a></li>
<li><a href="contacto.html">Sobre nosotros</a></li>
</ul>
</div>
</div>
<div id="content_header"></div>
<div id="site_content">
<div id="content">
<div class="box">
<h1>Objetivos especificos del trabajo y del grupo</h1>
<article>
<intro>
<p>
<ul>
<li>Comprender el mercado inmobiliario y establecer cuando invertir.</li>
<li>Desarrollar distintos analisis y predicciones que nos permitan detallar diferentes caracteristicas
como el periodo de recuperacion de la inversion, </li>
<li>Obtener conclusiones a partir de un Analisis respecto al trabajo realizado que nos permita crear un
storytelling</li>
</ul>
</p>
</intro>
<content>
<h1>Alcance: Que abarca el proyecto?</h1>
<p>
Presentar la informacion en un dashboard, realizar un storytelling para que el usuario comprenda donde
debe invertir y en que momento dentro del mercado inmobiliario.
</p>
</content>
</article>
</div>
<div class="box">
<h1>Fuera de alcance</h1>
<article>
<intro>
<p>
<ul>
<li>Cosas que no va a cubrir el proyecto?.</li>
<li>Desarrollar una aplicacion web, movil, o de escritorio. </li>
<li>Un servidor para alojar paginas web.</li>
</ul>
</p>
</intro>
<content>
<h1>Riesgos</h1>
<p>El procesamiento dejaria de funcionar o daria errores en los casos:
<ul>
<li>Los datos llegan de otra manera con columnas o tipos de datos diferentes.</li>
<li>Que surja alguna actualizacion de software que en un futuro impida el correcto funcionamiento. por ej:
power bi se actualiza todos los meses.</li>
</ul>
</p>
</content>
</article>
</div>
<!-- insert the page content here -->
<h1>Preparar los datos</h1>
<p>Para tener los datos disponibles en una base de datos primero es necesario procesar los mismos, teniendo en
cuenta la calidad. Para garantizar la misma decidimos revisar cada archivo y por esta razon tenemos varios
jupyter nootbook disponibles con el analis exploratorio de los datos.</p>
<button class="button" onclick="mostrarOcultarContenedor()">Jupyter nootbooks</button>
<div class="divgreen" id="miContenedor" style="display: none">
<h2>A continuacion:</h2>
<ul>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_Economics_Data.ipynb">EDA_Economics_Data.ipynb</a>
</li>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_House_Price_Parte_1.ipynb">EDA_House_Price_Parte_1.ipynb</a>
</li>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_House_Price_Parte_2.ipynb">EDA_House_Price_Parte_2.ipynb</a>
</li>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_House_Price_Parte_3.ipynb">EDA_House_Price_Parte_3.ipynb</a>
</li>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_House_Price_Parte_4.ipynb">EDA_House_Price_Parte_4.ipynb</a>
</li>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_House_Price_Parte_5.ipynb">EDA_House_Price_Parte_5.ipynb</a>
</li>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_House_Price_Parte_6.ipynb">EDA_House_Price_Parte_6.ipynb</a>
</li>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_Rent_Index.ipynb">EDA_Rent_Index.ipynb</a>
</li>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_US_HousingMarketFactors.ipynb">EDA_US_HousingMarketFactors.ipynb</a>
</li>
<li><a
href="https://github.com/bparedes21/Proyecto-Grupal/blob/main/EDA/EDA_Rent_Index.ipynb">EDA_Rent_Index.ipynb</a>
</li>
</ul>
</div>
<p>Al momento de efectuar el analisis exploratorio adoptamos la estrategia de automatizar la etapa de
procesamiento y evaluacion de los datos debido al gran numero de archivos a utilizar (53 archivos en 4
carpetas). Con esto conseguimos optimizar el tiempo y el costo del trabajo.
Los pasos de este analisis fueron:</p>
<ul>
<li>Explorar algunos registros de cada dataset, con el fin de conocer la distribucion y las variables
presentes.</li>
<li>Obtener informacion de los tipos de datos, cantidad de filas y columnas.</li>
</ul>
<p>Conseguir medidas estadisticas de los mismos, para conocer su comportamiento. Determinar cantidad de:</p>
<ul>
<li>Valores Faltantes</li>
<li>Registros Duplicados</li>
<li>Outliers</li>
</ul>
<button class="button1" onclick="mostrarOcultarContenedor1()">Conclusion</button>
<div class="divred" id="miContenedor1" style="display: none">
<h1>A continuacion:</h1>
<p>Se determino que los archivos contenidos en las carpetas Zillow House Price Data y Zillow Rent Index no
presentan informacion relevante, ya que lo que aportan esta contenido en los archivos time series de la
carpeta Zillow Economics Data, por lo que no sera utilizados.</p>
<p>Eliminar columnas con valores nulos >= 70%. </p>
<p>Aplicar filtro por RegionName y completar con una medida de tendencia central las columnas que presenten
0% < valores nulos < 70%</p>
</div>
<h2>Video deploy ETL-DB-DOCKER-HIVE</h2>
<iframe width="560" height="315" src="https://www.youtube.com/embed/z9z-gUA_OKQ/?controls=0"
title="YouTube video player" frameborder="0"
allow="accelerometer; autoplay; clipboard-write; encrypted-media; gyroscope; picture-in-picture"
allowfullscreen></iframe>
</div>
</body>
</html>