{"id":570516,"date":"2025-05-27T22:26:57","date_gmt":"2025-05-27T21:26:57","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=pycharm&p=570516"},"modified":"2025-09-15T09:41:08","modified_gmt":"2025-09-15T08:41:08","slug":"limpieza-de-datos-en-la-ciencia-de-datos","status":"publish","type":"pycharm","link":"https:\/\/blog.jetbrains.com\/es\/pycharm\/2025\/05\/limpieza-de-datos-en-la-ciencia-de-datos\/","title":{"rendered":"Limpieza de datos en la ciencia de datos"},"content":{"rendered":"

En esta serie de art\u00edculos del blog de Ciencia de datos, hemos hablado de d\u00f3nde obtener datos<\/a> y c\u00f3mo explorar esos datos utilizando pandas<\/a>, pero aunque esos datos son excelentes para el aprendizaje, no son similares a lo que denominaremos datos del mundo real<\/em>. Los datos para el aprendizaje a menudo ya se han limpiado y pulido para que pueda aprender r\u00e1pidamente sin necesidad de aventurarse al mundo de la limpieza de datos, pero los datos del mundo real tienen problemas y est\u00e1n desordenados. Los datos del mundo real requieren una limpieza previa para poder ofrecernos datos \u00fatiles, y ese es el tema de este art\u00edculo del blog.\u00a0<\/p>\n

Los problemas con los datos pueden provenir del comportamiento de los propios datos, de la forma en que se recopilaron o incluso de la forma en que se introdujeron. Pueden ocurrir errores y descuidos en cada etapa del recorrido.\u00a0<\/p>\n

Aqu\u00ed hablamos espec\u00edficamente de limpieza de datos y no de transformaci\u00f3n de datos. La limpieza de datos garantiza que las conclusiones que extraiga de sus datos puedan generalizarse a la poblaci\u00f3n que defina. Por el contrario, la transformaci\u00f3n de datos implica tareas como la conversi\u00f3n de formatos de datos, la normalizaci\u00f3n de datos y la agregaci\u00f3n de datos.\u00a0<\/p>\n

\u00bfPor qu\u00e9 es importante la limpieza de datos?<\/h2>\n

Lo primero que debemos entender sobre los conjuntos de datos es lo que representan. La mayor\u00eda de los conjuntos de datos son una muestra que representa a una poblaci\u00f3n m\u00e1s amplia y, al trabajar con esta muestra, podr\u00e1 extrapolar (o generalizar<\/em>) sus conclusiones a esta poblaci\u00f3n. Por ejemplo, hemos utilizado un conjunto de datos<\/a> en los dos art\u00edculos anteriores del blog. Este conjunto de datos trata a grandes rasgos sobre la venta de casas, pero solo cubre una peque\u00f1a zona geogr\u00e1fica, un periodo de tiempo peque\u00f1o y, potencialmente, no todas las casas de esa zona y ese periodo; es una muestra de una poblaci\u00f3n mayor.\u00a0<\/p>\n

Sus datos deben ser una muestra representativa de la poblaci\u00f3n en general; por ejemplo, todas las ventas de viviendas en esa zona durante un periodo definido. Para asegurarnos de que nuestros datos son una muestra representativa de la poblaci\u00f3n en general, primero debemos definir los l\u00edmites de nuestra poblaci\u00f3n.\u00a0<\/p>\n

Como podr\u00e1 imaginar, suele resultar poco pr\u00e1ctico trabajar con toda la poblaci\u00f3n, salvo quiz\u00e1 con los datos del censo, por lo que deber\u00e1 decidir d\u00f3nde establecer los l\u00edmites. Estos l\u00edmites pueden ser geogr\u00e1ficos, demogr\u00e1ficos, temporales, de acci\u00f3n (como los transaccionales) o espec\u00edficos del sector. Existen numerosas formas de definir su poblaci\u00f3n, pero para generalizar sus datos de forma fiable, debe definirla antes de limpiar los datos.<\/p>\n

En resumen, si planea utilizar sus datos para cualquier tipo de an\u00e1lisis o aprendizaje autom\u00e1tico<\/a>, debe dedicar tiempo a limpiarlos para asegurarse de poder confiar en sus conclusiones y generalizarlas al mundo real<\/em>. La limpieza de sus datos da como resultado an\u00e1lisis m\u00e1s precisos y, cuando se trata de aprendizaje autom\u00e1tico, tambi\u00e9n mejoras en el rendimiento.<\/p>\n

Si no limpia sus datos, se arriesga a problemas como no poder generalizar sus conclusiones a la poblaci\u00f3n en general de forma fiable, estad\u00edsticas de resumen inexactas y visualizaciones incorrectas. Si utiliza sus datos para entrenar modelos de aprendizaje autom\u00e1tico, esto tambi\u00e9n puede dar lugar a errores y predicciones inexactas.<\/p>\n


Pruebe PyCharm Professional gratis
<\/a><\/p>\n

Ejemplos de limpieza de datos<\/h2>\n

Vamos a echar un vistazo a cinco tareas que puede utilizar para limpiar sus datos. No se trata de una lista exhaustiva, pero es un buen punto de partida cuando lleguen a sus manos datos del mundo real.<\/p>\n

Deduplicaci\u00f3n de datos<\/h3>\n

Los duplicados son un problema, porque pueden distorsionar sus datos. Imagine que est\u00e1 trazando un histograma en el que utiliza la frecuencia de los precios de venta. Si tiene duplicados del mismo valor, obtendr\u00e1 un histograma que tendr\u00e1 un patr\u00f3n inexacto a causa de los precios que est\u00e1n duplicados.\u00a0<\/p>\n

Como nota al margen, cuando hablamos de que la duplicaci\u00f3n es un problema en los conjuntos de datos, nos referimos a la duplicaci\u00f3n de filas enteras, cada una de las cuales es una \u00fanica observaci\u00f3n. Habr\u00e1 valores duplicados en las columnas, y eso es lo que esperamos. Solo estamos hablando de observaciones duplicadas.\u00a0<\/p>\n

Afortunadamente para nosotros, existe un m\u00e9todo pandas<\/a> para detectar si hay duplicados en nuestros datos. Podemos utilizar el chat de JetBrains AI<\/a> si necesitamos un recordatorio con una petici\u00f3n como:<\/p>\n

Code to identify duplicate rows<\/em><\/p>\n

Este ser\u00eda el c\u00f3digo resultante:<\/p>\n

duplicate_rows = df[df.duplicated()]\nduplicate_rows<\/pre>\n
Este c\u00f3digo asume que su DataFrame se llama df<\/code>, <\/em>as\u00ed que aseg\u00farese de cambiarlo por el nombre de su DataFrame si no es as\u00ed.\u00a0<\/p>\n
No hay ning\u00fan dato duplicado en el conjunto de datos de Ames Housing<\/a> que hemos estado utilizando, pero si le apetece probarlo, eche un vistazo al conjunto de datos de la base de datos de comercio de fauna silvestre CITES<\/a> y vea si puede encontrar los duplicados utilizando el m\u00e9todo pandas anterior.<\/p>\n
Una vez que haya identificado los duplicados en su conjunto de datos, debe eliminarlos para evitar distorsionar los resultados. Para ello, puede obtener el c\u00f3digo con JetBrains AI de nuevo con una petici\u00f3n como:<\/p>\n
Code to drop duplicates from my dataframe\u00a0<\/em><\/p>\n
El c\u00f3digo resultante elimina los duplicados, restablece el \u00edndice de su DataFrame y, a continuaci\u00f3n, lo muestra como un nuevo DataFrame llamado df_cleaned:<\/p>\n
df_cleaned = df.drop_duplicates()\ndf_cleaned.reset_index(drop=True, inplace=True)\ndf_cleaned<\/pre>\n
Hay otras funciones de pandas que puede utilizar para una gesti\u00f3n de duplicados m\u00e1s avanzada<\/a>, pero esta es suficiente para empezar a deduplicar su conjunto de datos.<\/p>\n
Tratamiento de valores inveros\u00edmiles<\/h3>\n
Se pueden obtener valores inveros\u00edmiles cuando los datos se introducen incorrectamente o algo ha ido mal durante el proceso de recopilaci\u00f3n de datos. Para nuestro conjunto de datos Ames Housing<\/a>, un valor inveros\u00edmil podr\u00eda ser un SalePrice negativo, o un valor num\u00e9rico en Roof Style.<\/p>\n
La detecci\u00f3n de valores inveros\u00edmiles en su conjunto de datos se basa en un enfoque amplio que incluye examinar sus estad\u00edsticas resumidas<\/a>, comprobar las reglas de validaci\u00f3n de datos definidas por el recopilador para cada columna y anotar cualquier punto de datos que quede fuera de esta validaci\u00f3n, as\u00ed como usar visualizaciones para detectar patrones y cualquier cosa que parezca ser una anomal\u00eda.\u00a0<\/p>\n
Es importante ocuparse de los valores inveros\u00edmiles, ya que pueden a\u00f1adir ruido y causar problemas en su an\u00e1lisis. Sin embargo, la forma de tratarlos est\u00e1 en cierto modo abierta a la interpretaci\u00f3n. Si no tiene muchos valores inveros\u00edmiles en relaci\u00f3n con el tama\u00f1o de su conjunto de datos, puede eliminar los registros que los contengan. Por ejemplo, si ha identificado un valor inveros\u00edmil en la fila 214 de su conjunto de datos, puede utilizar la funci\u00f3n drop de pandas<\/a> para eliminar esa fila de su conjunto de datos.\u00a0<\/p>\n
Una vez m\u00e1s, podemos hacer que JetBrains AI genere el c\u00f3digo que necesitamos con una petici\u00f3n como:\u00a0<\/p>\n
Code that drops index 214 from <\/em>#df_cleaned<\/em><\/p>\n
Tenga en cuenta que en los notebooks de Jupyter de PyCharm<\/a> podemos poner el signo # antes de una palabra para indicar al JetBrains AI Assistant que estoamos proporcionando contexto adicional y, en este caso, que el DataFrame se llama df_cleaned<\/code>.<\/p>\n
El c\u00f3digo resultante eliminar\u00e1 esa observaci\u00f3n de su DataFrame, restablecer\u00e1 el \u00edndice y lo mostrar\u00e1:<\/p>\n
df_cleaned = df_cleaned.drop(index=214)\ndf_cleaned.reset_index(drop=True, inplace=True)\ndf_cleaned<\/pre>\n
Otra estrategia popular para tratar los valores inveros\u00edmiles es imputarlos, lo que significa que se sustituye el valor por otro diferente y veros\u00edmil basado en una estrategia definida. Una de las estrategias m\u00e1s comunes es utilizar el valor mediano en lugar del valor inveros\u00edmil. Dado que la mediana no se ve afectada por los valores at\u00edpicos, los cient\u00edficos de datos suelen elegirla para este fin, pero igualmente, la media o el valor de la moda de sus datos podr\u00edan ser m\u00e1s apropiados en algunas situaciones.\u00a0<\/p>\n
Como alternativa, si tiene conocimientos sobre el conjunto de datos y sobre c\u00f3mo se recopilaron, puede sustituir el valor inveros\u00edmil por otro que tenga m\u00e1s sentido. Si participa en el proceso de recopilaci\u00f3n de datos o lo conoce, esta opci\u00f3n puede ser para usted.\u00a0<\/p>\n
La forma en que decida tratar los valores inveros\u00edmiles depender\u00e1 de su prevalencia en el conjunto de datos, de c\u00f3mo se hayan recogido los datos y de c\u00f3mo pretenda definir su poblaci\u00f3n, as\u00ed como de otros factores como sus conocimientos del \u00e1mbito.\u00a0<\/p>\n
Formateo de datos<\/h3>\n
A menudo puede detectar problemas de formato con sus estad\u00edsticas de resumen<\/a> o con las primeras visualizaciones<\/a> que realice para hacerse una idea de la forma de sus datos. Algunos ejemplos de formato incoherente son los valores num\u00e9ricos que no se definen todos con el mismo decimal o las variaciones ortogr\u00e1ficas, como \u00abprimero\u00bb y \u00ab1\u00ba\u00bb. Un formateo incorrecto de los datos tambi\u00e9n puede afectar a la huella de memoria de sus datos.<\/p>\n
Cuando detecte problemas de formateo en su conjunto de datos, deber\u00e1 estandarizar los valores. Dependiendo del problema al que se enfrente, esto implica normalmente definir su propia norma y aplicar el cambio. De nuevo, la biblioteca pandas tiene algunas funciones \u00fatiles aqu\u00ed como la de redondear<\/a>. Si quisiera redondear la columna SalePrice a 2 decimales, podr\u00edamos pedir el c\u00f3digo a JetBrains AI:<\/p>\n
Code to round <\/em>#SalePrice<\/em> to two decimal places\u00a0<\/em><\/p>\n
El c\u00f3digo resultante realizar\u00e1 el redondeo y luego imprimir\u00e1 las 10 primeras filas para que pueda comprobarlo:<\/p>\n
df_cleaned['SalePrice'] = df_cleaned['SalePrice].round(2)\ndf_cleaned.head()<\/pre>\n
Otro ejemplo ser\u00eda el de una ortograf\u00eda incoherente: por ejemplo, una columna HouseStyle que tenga tanto “1Story” como “OneStory”, y usted sepa que significan lo mismo. Puede utilizar la siguiente petici\u00f3n para obtener el c\u00f3digo correspondiente:<\/p>\n
Code to change all instances of <\/em>#OneStory<\/em> to <\/em>#1Story<\/em> in <\/em>#HouseStyle<\/em>\u00a0<\/em><\/p>\n
El c\u00f3digo resultante hace exactamente eso: sustituye todas las instancias de \u00abOneStory\u00bb por \u00ab1Story\u00bb:<\/p>\n
df_cleaned[HouseStyle'] = df_cleaned['HouseStyle'].replace('OneStory', '1Story')<\/pre>\n
Abordar los valores at\u00edpicos<\/h3>\n
Los valores at\u00edpicos son muy comunes en los conjuntos de datos, pero la forma de abordarlos, si es que se abordan, depende mucho del contexto. Una de las formas m\u00e1s sencillas de detectar valores at\u00edpicos es con un diagrama de caja, que utiliza las bibliotecas seaborn<\/a> y matplotlib<\/a>. Ya habl\u00e9 de los diagramas de caja en mi anterior art\u00edculo del blog sobre la exploraci\u00f3n de datos con pandas<\/a>, por si necesita un repaso r\u00e1pido.\u00a0<\/p>\n
Nos fijaremos en SalePrice en nuestro conjunto de datos de Ames Housing<\/a> para este diagrama de caja. De nuevo, utilizar\u00e9 JetBrains IA para que genere el c\u00f3digo por m\u00ed con una petici\u00f3n como la siguiente:<\/p>\n
Code to create a box plot of <\/em>#SalePrice<\/em>\u00a0<\/em><\/p>\n
Aqu\u00ed est\u00e1 el c\u00f3digo resultante que debemos ejecutar:<\/p>\n
import seaborn as sns\nimport matplotlib.pyplot as plt\n\n# Create a box plot for SalePrice\nplt.figure(figsize=(10, 6))\nsns.boxplot(x=df_cleaned['SalePrice'])\nplt.title('Box Plot of SalePrice')\nplt.xlabel('SalePrice')\nplt.show()<\/pre>\n
El diagrama de caja nos indica que tenemos un sesgo positivo porque la l\u00ednea mediana vertical dentro de la caja azul est\u00e1 a la izquierda del centro. Un sesgo positivo nos dice que tenemos m\u00e1s precios de la vivienda en el extremo m\u00e1s barato de la escala, lo que no es sorprendente. El diagrama de caja tambi\u00e9n nos indica visualmente que tenemos muchos valores at\u00edpicos en el lado derecho. Se trata de un peque\u00f1o n\u00famero de casas mucho m\u00e1s caras que el precio de la mediana.<\/p>\n
\"\"<\/figure>\n
Puede aceptar estos valores at\u00edpicos ya que es bastante habitual que un peque\u00f1o n\u00famero de casas tenga un precio superior al de la mayor\u00eda. Sin embargo, todo esto depende de la poblaci\u00f3n a la que quiera poder generalizar y de las conclusiones que desee extraer de sus datos. Establecer l\u00edmites claros en torno a lo que forma parte de su poblaci\u00f3n y lo que no, le permitir\u00e1 tomar una decisi\u00f3n informada sobre si los valores at\u00edpicos en sus datos van a suponer un problema.\u00a0<\/p>\n
Por ejemplo, si su poblaci\u00f3n est\u00e1 formada por personas que no van a comprar mansiones caras, tal vez pueda eliminar estos valores at\u00edpicos. Si, por el contrario, la demograf\u00eda de su poblaci\u00f3n incluye a aquellos de los que cabe esperar razonablemente que compren estas casas caras, quiz\u00e1 quiera mantenerlas, ya que son relevantes para su poblaci\u00f3n.<\/p>\n
He hablado aqu\u00ed de los diagramas de caja como formas de detectar valores at\u00edpicos, pero otras opciones como los diagramas de dispersi\u00f3n y los histogramas pueden mostrarle r\u00e1pidamente si tiene valores at\u00edpicos en sus datos, para que pueda tomar una decisi\u00f3n informada sobre si necesita hacer algo al respecto.<\/p>\n
El tratamiento de los valores at\u00edpicos suele dividirse en dos categor\u00edas: eliminarlos o utilizar estad\u00edsticas de resumen menos propensas a los valores at\u00edpicos. En primer lugar, necesitamos saber exactamente de qu\u00e9 filas se trata.\u00a0<\/p>\n
Hasta ahora, solo hemos hablado de c\u00f3mo identificarlos visualmente. Hay diferentes formas de determinar qu\u00e9 observaciones son y no son valores at\u00edpicos. Un enfoque habitual es utilizar un m\u00e9todo denominado puntuaci\u00f3n Z modificada<\/em>. Antes de ver c\u00f3mo y por qu\u00e9 se modifica, la puntuaci\u00f3n Z se define de la siguiente manera:<\/p>\n
Puntuaci\u00f3n Z =<\/em> (valor del punto de datos<\/em> – media<\/em>) \/ desviaci\u00f3n t\u00edpica<\/em><\/p>\n
As\u00ed pues, la raz\u00f3n por la que modificamos la puntuaci\u00f3n Z para detectar valores at\u00edpicos es que tanto la media como la desviaci\u00f3n t\u00edpica son propensas a la influencia de valores at\u00edpicos seg\u00fan c\u00f3mo se calculan. La puntuaci\u00f3n Z modificada se define como:<\/p>\n
Puntuaci\u00f3n Z modificada =<\/em> (valor del punto de datos<\/em> \u2013 mediana<\/em>) \/ mediana de las desviaciones<\/em> absolutas<\/em><\/p>\n
Como aprendimos cuando hablamos de las estad\u00edsticas de resumen<\/a>, la mediana no se ve afectada por los valores at\u00edpicos. La mediana de las desviaciones absolutas<\/em> es el valor de la mediana<\/em> de las desviaciones absolutas del conjunto de datos con respecto a la mediana<\/em>. Por ejemplo, si su conjunto de datos contiene estos valores:<\/p>\n
1, 2, 2, 2, 3<\/strong>, 3, 3, 5,9<\/p>\n
Entonces su mediana<\/em> es 3 como valor en el centro del conjunto de datos. Las desviaciones de su valor de mediana de 3 son las siguientes en el orden presentado anteriormente:<\/p>\n
2, 1, 1, 1, 0, 0, 0, 2, 5<\/p>\n
Si las ordenamos en orden ascendente obtenemos lo siguiente:<\/p>\n
0, 0, 0, 1, 1<\/strong>, 1, 2, 2, 5<\/p>\n
Lo que significa que la mediana de las desviaciones absolutas<\/em> en este ejemplo ser\u00eda 1.<\/p>\n
\u00bfC\u00f3mo calculamos la puntuaci\u00f3n Z modificada de nuestro conjunto de datos para SalePrice? Pid\u00e1mosle a JetBrains AI lo siguiente:<\/p>\n
Given:<\/em><\/p>\n
Modified Z-score = (data point value \u2013 median) \/ median absolute deviation<\/em><\/p>\n
Calculate the Modified Z-score for <\/em>#SalePrice<\/em>\u00a0<\/em><\/p>\n
El resultado es este c\u00f3digo:<\/p>\n
import pandas as pd\nfrom scipy.stats import median_abs_deviation\n\n\n# Assuming 'data' is your DataFrame and it contains the 'SalePrice' column\n\n\n# Calculate the median for the SalePrice column\nmedian_sale_price = data['SalePrice'].median()\n\n\n# Calculate the Median Absolute Deviation (MAD) for the SalePrice column\nmad_sale_price = median_abs_deviation(data['SalePrice'], scale='normal')\n\n\n# Calculate the Modified Z-scores for the SalePrice column\ndata['Modified_Z_Score'] = (data['SalePrice'] - median_sale_price) \/ mad_sale_price\n\n\n# Display the first few rows with the Modified Z-scores\nprint(data[['SalePrice', 'Modified_Z_Score']].head())<\/pre>\n
Cuando instalamos los paquetes necesarios y ejecutamos este c\u00f3digo, podemos ver que ya hemos recorrido parte del camino, pero ahora tenemos que decidir qu\u00e9 es un valor at\u00edpico para nuestro SalePrice bas\u00e1ndonos en la puntuaci\u00f3n Z modificada. La concepci\u00f3n general aqu\u00ed es que un valor at\u00edpico es cualquier valor >=3 o <=-3. Sin embargo, conviene se\u00f1alar que, como la mayor\u00eda de las decisiones estad\u00edsticas, puede y debe adaptarse a su conjunto de datos. <=-3 however, it\u2019s worth noting that like most statistical decisions, it can and should be tailored to your dataset.\u00a0<\/p>\n
Pasemos otra petici\u00f3n a JetBrains AI para que podamos adaptar a\u00fan m\u00e1s nuestro resultado:<\/p>\n
Just list those that have a <\/em>#Modified_Z_Score<\/em> of 3 or above or -3 or below\u00a0<\/em><\/p>\n
Voy a tomar este fragmento de c\u00f3digo y a sustituirlo por las filas pertinentes de arriba:<\/p>\n
# Filter the rows where the Modified Z-score is 3 or above, or -3 or below\noutliers = data[(data['Modified_Z_Score'] >= 3) | (data['Modified_Z_Score'] <= -3)]\n\n\n# Print all the filtered rows, showing their index and SalePrice\noutliers = (outliers[['SalePrice', 'Modified_Z_Score']])\noutliers<\/pre>\n
He modificado este c\u00f3digo para guardar los valores at\u00edpicos en un nuevo DataFrame llamado valores at\u00edpicos e imprimirlos para poder verlos.\u00a0<\/p>\n
Nuestro siguiente paso ser\u00eda eliminar estos valores at\u00edpicos de nuestro DataFrame. Una vez m\u00e1s podemos utilizar JetBrains AI para generar el c\u00f3digo con una petici\u00f3n como:<\/p>\n
Create a new dataframe without the outliers\u00a0<\/em><\/p>\n
data_without_outliers = data.drop(index=outliers.index)\n\n\n# Display the new DataFrame without outliers\nprint(data_without_outliers)<\/pre>\n
Nuestro nuevo DataFrame, data_without_outliers, excluye aquellos valores en los que la variable SalePrice se considera un valor at\u00edpico.\u00a0<\/p>\n
Podemos actualizar nuestro c\u00f3digo de diagrama de caja para ver el nuevo DataFrame. Sigue mostrando nuestro sesgo positivo como cabr\u00eda esperar, pero se han eliminado los valores considerados at\u00edpicos:<\/p>\n
import seaborn as sns\nimport matplotlib.pyplot as plt\n\n\n# Create a box plot for SalePrice\nplt.figure(figsize=(10, 6))\nsns.boxplot(x=data_without_outliers['SalePrice'])\nplt.title('Box Plot of SalePrice')\nplt.xlabel('SalePrice')\nplt.show()<\/pre>\n
\"\"<\/figure>\n
Antes de terminar aqu\u00ed, echemos un vistazo a cu\u00e1ntas observaciones se han eliminado de nuestro DataFrame como porcentaje porque las consideramos valores at\u00edpicos en funci\u00f3n de SalePrice.<\/p>\n
Podemos utilizar una petici\u00f3n como esta:<\/p>\n
Calculate the percentage of observations removed between #data and #data_without_outliers<\/em><\/p>\n
# Calculate the number of observations in the original and filtered DataFrames\noriginal_count = len(data)\nfiltered_count = len(data_without_outliers)\n\n# Calculate the number of removed observations\nremoved_count = original_count - filtered_count\n\n# Calculate the percentage of observations removed\npercentage_removed = (removed_count \/ original_count) * 100\n\n# Display the percentage\nprint(f\"Percentage of observations removed: {percentage_removed:.2f}%\")<\/pre>\n
PyCharm nos indica que se han eliminado el 5,67\u00a0% de las observaciones.<\/p>\n
Como he dicho antes, si mantiene los valores at\u00edpicos, considere la posibilidad de utilizar valores de resumen menos propensos a verse afectados por los valores at\u00edpicos, como la mediana<\/em> y el rango intercuart\u00edlico<\/em>. Puede plantearse utilizar estas medidas para sacar conclusiones cuando trabaje con conjuntos de datos que sabe que contienen valores at\u00edpicos que no ha eliminado porque son relevantes para la poblaci\u00f3n que ha definido y las conclusiones que desea extraer.<\/p>\n
Valores omitidos<\/h3>\n
La forma m\u00e1s r\u00e1pida de detectar los valores que faltan en un conjunto de datos es con sus estad\u00edsticas de resumen. Como recordatorio, en su DataFrame, haga clic en Show Column Statistics<\/em> en el lado derecho y luego seleccione Compact<\/em>. Los valores que faltan en las columnas se muestran en rojo, como puede ver aqu\u00ed para \u00abLot Frontage\u00bb en nuestro conjunto de datos de Ames Housing<\/a>:<\/p>\n
<\/p>\n
Hay tres tipos de omisi\u00f3n que debemos tener en cuenta para nuestros datos:<\/p>\n