{"id":570518,"date":"2025-05-27T22:20:01","date_gmt":"2025-05-27T21:20:01","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=pycharm&p=570518"},"modified":"2025-09-15T09:40:26","modified_gmt":"2025-09-15T08:40:26","slug":"limpeza-de-dados-em-ciencia-de-dados","status":"publish","type":"pycharm","link":"https:\/\/blog.jetbrains.com\/pt-br\/pycharm\/2025\/05\/limpeza-de-dados-em-ciencia-de-dados\/","title":{"rendered":"Limpeza de dados em ci\u00eancia de dados"},"content":{"rendered":"

Nesta s\u00e9rie de postagens de blog sobre ci\u00eancia de dados, j\u00e1 falamos sobre de onde extrair dados<\/a> e como explorar esses dados usando o pandas<\/a>, mas embora esses dados sejam excelentes para o aprendizado, n\u00e3o s\u00e3o semelhantes \u00e0quilo que chamaremos de “dados do mundo real<\/em>“. Dados para aprendizado costumam j\u00e1 ter sido limpos e submetidos a uma curadoria para permitirem que voc\u00ea aprenda rapidamente, sem precisar se aventurar no mundo da limpeza de dados, mas dados do mundo real t\u00eam problemas e s\u00e3o desordenados. Dados do mundo real precisam ser limpos antes de poderem nos dar insights \u00fateis. Este \u00e9 o assunto desta postagem de blog.\u00a0<\/p>\n

Problemas com dados podem se originar do comportamento dos pr\u00f3prios dados, da maneira como eles foram reunidos ou at\u00e9 da maneira como eles foram introduzidos. Podem acontecer erros e descuidos em todas as etapas da jornada.\u00a0<\/p>\n

Aqui estamos falando especificamente da limpeza de dados e n\u00e3o da transforma\u00e7\u00e3o de dados. A limpeza de dados garante que as conclus\u00f5es \u00e0s quais voc\u00ea chegar a partir dos seus dados possam ser generalizadas para a popula\u00e7\u00e3o que voc\u00ea definir. J\u00e1 a transforma\u00e7\u00e3o de dados envolve tarefas como converter o formato dos dados, normaliz\u00e1-los e agreg\u00e1-los.\u00a0<\/p>\n

Por que a limpeza de dados \u00e9 importante?<\/h2>\n

A primeira coisa que precisamos entender a respeito de conjuntos de dados \u00e9 o que eles representam. A maioria dos conjuntos de dados \u00e9 uma amostra que representa uma popula\u00e7\u00e3o mais ampla. Ao trabalhar com essa amostra, voc\u00ea poder\u00e1 extrapolar (ou generalizar<\/em>) os seus achados para essa popula\u00e7\u00e3o. Por exemplo, usamos um conjunto de dados<\/a> nas duas postagens anteriores deste blog. Em linhas gerais, aquele conjunto de dados \u00e9 a respeito de vendas de casas, mas ele s\u00f3 cobre uma \u00e1rea geogr\u00e1fica pequena, um per\u00edodo limitado de tempo e n\u00e3o todas as casas em potencial naquela \u00e1rea e per\u00edodo. Ele \u00e9 uma amostra de uma popula\u00e7\u00e3o maior.\u00a0<\/p>\n

Seus dados precisam ser uma amostra representativa da popula\u00e7\u00e3o mais ampla \u2014 por exemplo, todas as vendas de casas naquela \u00e1rea durante um determinado per\u00edodo. Para garantir que nossos dados sejam uma amostra representativa da popula\u00e7\u00e3o mais ampla, precisamos primeiro definir os limites da nossa popula\u00e7\u00e3o.\u00a0<\/p>\n

Como voc\u00ea pode imaginar, geralmente n\u00e3o \u00e9 pr\u00e1tico trabalhar com a popula\u00e7\u00e3o inteira, exceto talvez no caso de dados de censos. Ent\u00e3o, voc\u00ea precisa decidir quais s\u00e3o os seus limites. Esses limites podem ser geogr\u00e1ficos, demogr\u00e1ficos, baseados no tempo ou em a\u00e7\u00f5es (tais como a\u00e7\u00f5es transacionais), ou espec\u00edficos de determinados setores da economia. H\u00e1 in\u00fameras maneiras de definir a sua popula\u00e7\u00e3o, mas para poder generalizar os seus dados de forma confi\u00e1vel, isso \u00e9 algo que voc\u00ea precisa fazer antes de limpar os seus dados.<\/p>\n

Em resumo, se voc\u00ea estiver planejando usar os seus dados para qualquer tipo de an\u00e1lise ou aprendizado de m\u00e1quina<\/a>, precisar\u00e1 de algum tempo para limpar os dados e assim garantir que voc\u00ea possa confiar nos seus insights e generaliz\u00e1-los para o mundo real<\/em>. Limpar os seus dados resulta em an\u00e1lises mais precisas e, no que diz respeito ao aprendizado de m\u00e1quina, tamb\u00e9m em melhorias de desempenho.<\/p>\n

Sem limpar os seus dados, voc\u00ea corre o risco de ter problemas, como n\u00e3o conseguir generalizar o seu aprendizado \u00e0 popula\u00e7\u00e3o mais ampla de forma confi\u00e1vel, estat\u00edsticas imprecisas de resumo e visualiza\u00e7\u00f5es incorretas. Se voc\u00ea estiver usando os seus dados para treinar modelos de aprendizado de m\u00e1quina, isso tamb\u00e9m pode levar a erros e a previs\u00f5es imprecisas.<\/p>\n

\n
\n Experimente o PyCharm Professional gratuitamente
\n <\/a>\n<\/p>\n

Exemplos de limpeza de dados<\/h2>\n

Vamos dar uma olhada em cinco tarefas que voc\u00ea pode usar para limpar os seus dados. Esta n\u00e3o \u00e9 uma lista completa, mas \u00e9 um bom lugar para come\u00e7ar quando voc\u00ea obtiver alguns dados do mundo real.<\/p>\n

Desduplica\u00e7\u00e3o de dados<\/h3>\n

A duplica\u00e7\u00e3o \u00e9 um problema, porque pode distorcer os seus dados. Imagine que voc\u00ea esteja tra\u00e7ando um histograma, no qual voc\u00ea esteja usando a frequ\u00eancia dos pre\u00e7os de venda. Se houver duplica\u00e7\u00f5es de um mesmo valor, voc\u00ea acabar\u00e1 obtendo um histograma com um padr\u00e3o impreciso, baseado em pre\u00e7os duplicados.\u00a0<\/p>\n

Incidentalmente, quando dizemos que a duplica\u00e7\u00e3o \u00e9 um problema em conjuntos de dados, estamos falando da duplica\u00e7\u00e3o de linhas inteiras, cada uma delas referente a uma \u00fanica observa\u00e7\u00e3o. Haver\u00e1 valores duplicados nas colunas e isso \u00e9 esperado. Estamos falando apenas de observa\u00e7\u00f5es duplicadas.\u00a0<\/p>\n

Felizmente para n\u00f3s, h\u00e1 um m\u00e9todo do pandas<\/a> que podemos usar para nos ajudar a detectar se h\u00e1 algum dado duplicado. Se precisarmos de um lembrete, podemos usar o chat do JetBrains AI<\/a>, com um prompt como este:<\/p>\n

Code to identify duplicate rows<\/em><\/p>\n

E este \u00e9 o c\u00f3digo resultante:<\/p>\n

duplicate_rows = df[df.duplicated()]\nduplicate_rows<\/pre>\n
Este c\u00f3digo presume que a sua dataframe tem o nome de df<\/code>. <\/em>Se ela tiver outro nome, certifique-se de mud\u00e1-lo.\u00a0<\/p>\n
N\u00e3o h\u00e1 dados duplicados no conjunto de dados da Ames Housing<\/a>, que estivemos usando, mas se voc\u00ea tiver vontade de experimentar o m\u00e9todo do pandas descrito acima, d\u00ea uma olhada no banco de dados do CITES Wildlife Trade<\/a> e veja se encontra dados duplicados usando esse m\u00e9todo.<\/p>\n
Depois de identificar duplica\u00e7\u00f5es no seu conjunto de dados, voc\u00ea precisa remov\u00ea-las, para evitar distorcer os seus resultados. Novamente, voc\u00ea pode obter o c\u00f3digo para isso atrav\u00e9s do JetBrains AI, com um prompt como este:<\/p>\n
Code to drop duplicates from my dataframe\u00a0<\/em><\/p>\n
O c\u00f3digo resultante elimina as duplica\u00e7\u00f5es, reinicializa o \u00edndice da sua dataframe e depois mostra-a como uma nova dataframe chamada df_cleaned:<\/p>\n
df_cleaned = df.drop_duplicates()\ndf_cleaned.reset_index(drop=True, inplace=True)\ndf_cleaned<\/pre>\n
H\u00e1 outras fun\u00e7\u00f5es do pandas que voc\u00ea pode usar para um gerenciamento avan\u00e7ado de dados duplicados<\/a>, mas isto basta para voc\u00ea come\u00e7ar a desduplicar o seu conjunto de dados.<\/p>\n
Como lidar com valores implaus\u00edveis<\/h3>\n
Podem ocorrer valores implaus\u00edveis quando os dados forem informados incorretamente ou algo der errado no processo de reuni-los. No caso do nosso conjunto de dados da Ames Housing<\/a>, um valor implaus\u00edvel poderia ser um pre\u00e7o de venda negativo ou um valor num\u00e9rico em “estilo do telhado”.<\/p>\n
Identificar valores implaus\u00edveis no seu conjunto de dados depende de uma abordagem ampla, que inclui dar uma olhada nas suas estat\u00edsticas de resumo<\/a>, verificar as regras de valida\u00e7\u00e3o de cada coluna, definidas pelo coletor dos dados, e observar quaisquer pontos de dados que caiam fora dessa valida\u00e7\u00e3o, al\u00e9m de usar visualiza\u00e7\u00f5es para identificar padr\u00f5es ou qualquer coisa que pare\u00e7a an\u00f4mala.\u00a0<\/p>\n
\u00c9 melhor voc\u00ea cuidar dos valores implaus\u00edveis, pois eles podem acrescentar ru\u00eddo e causar problemas com a sua an\u00e1lise. Por\u00e9m, a forma de lidar com eles \u00e9 um tanto aberta a interpreta\u00e7\u00f5es. Se n\u00e3o houver muitos valores implaus\u00edveis para o tamanho do seu conjunto de dados, talvez voc\u00ea queira remover os registros que os contiverem. Por exemplo, se voc\u00ea tiver identificado um valor implaus\u00edvel na linha 214 do seu conjunto de dados, poder\u00e1 usar a fun\u00e7\u00e3o “drop” do pandas<\/a> para remover essa linha.\u00a0<\/p>\n
Mais uma vez, o JetBrains AI pode gerar o c\u00f3digo necess\u00e1rio, com um prompt como este:\u00a0<\/p>\n
Code that drops index 214 from <\/em>#df_cleaned<\/em><\/p>\n
Observe que em notebooks do Jupyter no PyCharm<\/a>, \u00e9 poss\u00edvel usar o sinal “#” como prefixo para indicar ao JetBrains AI Assistant que est\u00e1 sendo fornecido contexto adicional \u2014 neste caso, que a dataframe tem o nome de df_cleaned<\/code>.<\/p>\n
O c\u00f3digo resultante remover\u00e1 aquele dado observado da sua dataframe, reinicializar\u00e1 o \u00edndice e o mostrar\u00e1:<\/p>\n
df_cleaned = df_cleaned.drop(index=214)\ndf_cleaned.reset_index(drop=True, inplace=True)\ndf_cleaned<\/pre>\n
Outra estrat\u00e9gia popular para lidar com valores implaus\u00edveis \u00e9 imput\u00e1-los, ou seja, substitu\u00ed-los por um valor diferente e plaus\u00edvel, com base em uma estrat\u00e9gia definida. Uma das estrat\u00e9gias mais comuns \u00e9 usar o valor da mediana no lugar do valor implaus\u00edvel. Como a mediana n\u00e3o \u00e9 afetada por valores at\u00edpicos, ela costuma ser escolhida para isso pelos cientistas de dados, mas da mesma forma, o valor da m\u00e9dia ou da moda dos seus dados pode ser mais apropriada em algumas situa\u00e7\u00f5es.\u00a0<\/p>\n
Como alternativa, se voc\u00ea tiver conhecimento espec\u00edfico sobre aquele conjunto de dados e a forma como os dados foram obtidos, poder\u00e1 substituir o valor implaus\u00edvel por outro mais significativo. Se voc\u00ea estiver envolvido no processo de coleta de dados ou souber como ele foi feito, talvez esta op\u00e7\u00e3o seja indicada para voc\u00ea.\u00a0<\/p>\n
A escolha de como lidar com valores implaus\u00edveis depender\u00e1 da preval\u00eancia deles no seu conjunto de dados, de como os dados foram coletados e de como voc\u00ea pretende definir a sua popula\u00e7\u00e3o, al\u00e9m de outros fatores, como o seu conhecimento espec\u00edfico.\u00a0<\/p>\n
Formata\u00e7\u00e3o dos dados<\/h3>\n
\u00c9 comum observar problemas de formata\u00e7\u00e3o atrav\u00e9s das suas estat\u00edsticas de resumo<\/a> ou de visualiza\u00e7\u00f5es<\/a> iniciais que voc\u00ea fa\u00e7a para ter uma ideia da forma dos seus dados. Valores num\u00e9ricos n\u00e3o definidos todos com o mesmo n\u00famero de casas decimais ou varia\u00e7\u00f5es de ortografia, como “primeiro” e “1\u00ba”, s\u00e3o exemplos de formata\u00e7\u00e3o inconsistente. Dados formatados incorretamente tamb\u00e9m podem ter implica\u00e7\u00f5es para o uso de mem\u00f3ria pelos seus dados.<\/p>\n
Ap\u00f3s identificar problemas de formata\u00e7\u00e3o no seu conjunto de dados, \u00e9 preciso padronizar os valores. Dependendo do problema que estiver havendo, normalmente isso envolve definir o seu pr\u00f3prio padr\u00e3o e aplicar as mudan\u00e7as. Mais uma vez, a biblioteca pandas tem algumas fun\u00e7\u00f5es \u00fateis para isso, como round<\/a>. Se voc\u00ea quiser arredondar a coluna “SalePrice” para duas casas decimais, pode pedir o c\u00f3digo ao JetBrains AI:<\/p>\n
Code to round <\/em>#SalePrice<\/em> to two decimal places\u00a0<\/em><\/p>\n
O c\u00f3digo resultante far\u00e1 o arredondamento e imprimir\u00e1 as primeiras 10 linhas para voc\u00ea verific\u00e1-las:<\/p>\n
df_cleaned['SalePrice'] = df_cleaned['SalePrice].round(2)\ndf_cleaned.head()<\/pre>\n
Outro exemplo: talvez haja casos de ortografia inconsistente \u2014 por exemplo, valores “1Story” e “OneStory” na coluna “HouseStyle” e voc\u00ea est\u00e1 certo de que eles significam a mesma coisa. Voc\u00ea pode usar este prompt para obter c\u00f3digo para isso:<\/p>\n
Code to change all instances of <\/em>#OneStory<\/em> to <\/em>#1Story<\/em> in <\/em>#HouseStyle<\/em>\u00a0<\/em><\/p>\n
O c\u00f3digo resultante faz exatamente isso e substitui todas as ocorr\u00eancias de “OneStory” por “1Story”:<\/p>\n
df_cleaned[HouseStyle'] = df_cleaned['HouseStyle'].replace('OneStory', '1Story')<\/pre>\n
Tratamento de valores at\u00edpicos<\/h3>\n
Valores at\u00edpicos s\u00e3o muito comuns em conjuntos de dados, mas a forma de trat\u00e1-los \u2014 se voc\u00ea for trat\u00e1-los \u2014 depende muito do contexto. Uma das maneiras mais f\u00e1ceis de identificar valores at\u00edpicos \u00e9 atrav\u00e9s de um diagrama de caixas, que usa as bibliotecas seaborn<\/a> e matplotlib<\/a>. Se voc\u00ea precisar de uma revis\u00e3o r\u00e1pida, j\u00e1 discuti diagramas de caixas em uma postagem anterior, sobre como explorar dados com o pandas<\/a>.\u00a0<\/p>\n
Para este diagrama de caixas, vamos usar “SalePrice” no nosso conjunto de dados de im\u00f3veis residenciais da Ames<\/a>. Novamente, vamos usar o JetBrains AI para gerar o c\u00f3digo, com um prompt como este:<\/p>\n
Code to create a box plot of <\/em>#SalePrice<\/em>\u00a0<\/em><\/p>\n
E este \u00e9 o c\u00f3digo resultante, que precisaremos executar:<\/p>\n
import seaborn as sns\nimport matplotlib.pyplot as plt\n\n# Create a box plot for SalePrice\nplt.figure(figsize=(10, 6))\nsns.boxplot(x=df_cleaned['SalePrice'])\nplt.title('Box Plot of SalePrice')\nplt.xlabel('SalePrice')\nplt.show()<\/pre>\n
O diagrama de caixas nos diz que h\u00e1 uma assimetria positiva, porque a linha vertical da mediana, dentro da caixa azul, est\u00e1 \u00e0 esquerda do centro. Uma assimetria positiva diz que h\u00e1 mais pre\u00e7os de casas na parte mais barata da escala, o que n\u00e3o surpreende. O diagrama de caixas tamb\u00e9m nos diz visualmente que h\u00e1 muitos valores at\u00edpicos no lado direito. \u00c9 um pequeno n\u00famero de casas muito mais caras que a mediana dos pre\u00e7os.<\/p>\n
\"\"<\/figure>\n
Talvez voc\u00ea queira aceitar esses valores at\u00edpicos, pois \u00e9 razo\u00e1vel esperar um pequeno n\u00famero de casas com pre\u00e7os maiores que os da maioria. Por\u00e9m, isso depende da popula\u00e7\u00e3o para a qual voc\u00ea quer poder generalizar os dados e das conclus\u00f5es \u00e0s quais voc\u00ea deseja chegar a partir dos seus dados. Colocando limites claros em torno do que faz ou n\u00e3o faz parte da sua popula\u00e7\u00e3o, voc\u00ea poder\u00e1 decidir de forma informada se os valores at\u00edpicos dos seus dados ser\u00e3o ou n\u00e3o um problema.\u00a0<\/p>\n
Por exemplo, se a sua popula\u00e7\u00e3o consistir de pessoas que n\u00e3o ir\u00e3o comprar mans\u00f5es caras, talvez voc\u00ea possa eliminar esses valores at\u00edpicos. Por outro lado, se os seus dados demogr\u00e1ficos inclu\u00edrem pessoas das quais se pode esperar com razo\u00e1vel certeza que comprem casas caras, talvez voc\u00ea queira manter esses valores, pois eles ser\u00e3o relevantes para a sua popula\u00e7\u00e3o.<\/p>\n
Falei aqui dos diagramas de caixas como uma maneira de identificar valores at\u00edpicos, mas h\u00e1 outras op\u00e7\u00f5es, como gr\u00e1ficos de dispers\u00e3o e histogramas, que podem rapidamente lhe mostrar se h\u00e1 valores at\u00edpicos nos seus dados, para que voc\u00ea possa tomar uma decis\u00e3o informada sobre se precisa fazer algo a respeito deles.<\/p>\n
Geralmente, o tratamento de valores at\u00edpicos cai em duas categorias \u2014 exclu\u00ed-los ou usar estat\u00edsticas de resumo menos propensas a eles. No primeiro caso, precisamos saber exatamente em que linhas est\u00e3o esses valores.\u00a0<\/p>\n
At\u00e9 agora, vimos discutindo apenas como identificar valores at\u00edpicos visualmente, mas h\u00e1 maneiras diferentes de determinar quais dados observados s\u00e3o at\u00edpicos ou n\u00e3o. Uma abordagem comum \u00e9 usar um m\u00e9todo chamado escore Z modificado<\/em>. Antes de olharmos como e por que o escore Z \u00e9 modificado, vamos defini-lo como:<\/p>\n
Escore Z =<\/em> (valor do ponto de dados<\/em> \u2013 m\u00e9dia<\/em>) \/ desvio-padr\u00e3o<\/em><\/p>\n
A raz\u00e3o pela qual modificamos o escore Z para detectarmos valores at\u00edpicos \u00e9 que tanto a m\u00e9dia quanto o desvio-padr\u00e3o s\u00e3o propensos a serem influenciados por valores at\u00edpicos, devido \u00e0 forma como s\u00e3o calculados. O escore Z modificado \u00e9 definido como:<\/p>\n
Escore Z modificado =<\/em> (valor do ponto de dados<\/em> \u2013 mediana<\/em>) \/ mediana dos desvios absolutos<\/em><\/p>\n
Como aprendemos ao falarmos das estat\u00edsticas de resumo<\/a>, a mediana n\u00e3o \u00e9 afetada por valores at\u00edpicos. A mediana dos desvios absolutos<\/em> \u00e9 o valor mediano<\/em> dos desvios absolutos da mediana<\/em> do conjunto de dados. Por exemplo, se o seu conjunto de dados contiver estes valores:<\/p>\n
1, 2, 2, 2, 3<\/strong>, 3, 3, 5,9<\/p>\n
ent\u00e3o a sua mediana<\/em> \u00e9 3, pois este \u00e9 o valor na metade do conjunto de dados. Os desvios do seu valor de 3 na mediana s\u00e3o os seguintes, na ordem apresentada acima:<\/p>\n
2, 1, 1, 1, 0, 0, 0, 2, 5<\/p>\n
Ao ordenarmos estes valores em ordem crescente, obtemos:<\/p>\n
0, 0, 0, 1, 1<\/strong>, 1, 2, 2, 5<\/p>\n
Isso significa que neste exemplo, a mediana dos desvios absolutos<\/em> \u00e9 1.<\/p>\n
Como calcular o escore Z modificado do nosso conjunto de dados para o pre\u00e7o de venda (SalePrice)? Vamos dar o seguinte prompt no JetBrains AI:<\/p>\n
Given:<\/em><\/p>\n
Modified Z-score = (data point value \u2013 median) \/ median absolute deviation<\/em><\/p>\n
Calculate the Modified Z-score for <\/em>#SalePrice<\/em>\u00a0<\/em><\/p>\n
Isso resulta no seguinte c\u00f3digo:<\/p>\n
import pandas as pd\nfrom scipy.stats import median_abs_deviation\n\n\n# Assuming 'data' is your DataFrame and it contains the 'SalePrice' column\n\n\n# Calculate the median for the SalePrice column\nmedian_sale_price = data['SalePrice'].median()\n\n\n# Calculate the Median Absolute Deviation (MAD) for the SalePrice column\nmad_sale_price = median_abs_deviation(data['SalePrice'], scale='normal')\n\n\n# Calculate the Modified Z-scores for the SalePrice column\ndata['Modified_Z_Score'] = (data['SalePrice'] - median_sale_price) \/ mad_sale_price\n\n\n# Display the first few rows with the Modified Z-scores\nprint(data[['SalePrice', 'Modified_Z_Score']].head())<\/pre>\n
Ao instalarmos os pacotes necess\u00e1rios e executarmos este c\u00f3digo, podemos ver que j\u00e1 fizemos parte do trabalho, mas agora precisamos decidir o que seria um valor at\u00edpico de SalePrice, com base no escore Z modificado. Aqui, o consenso geral \u00e9 de que qualquer valor \u2265 3 ou \u2264 \u22123 \u00e9 at\u00edpico, mas vale observar que, como a maioria das decis\u00f5es estat\u00edsticas, esta defini\u00e7\u00e3o pode e deve ser ajustada ao seu conjunto de dados. <=-3 however, it\u2019s worth noting that like most statistical decisions, it can and should be tailored to your dataset.\u00a0<\/p>\n
Vamos passar outro prompt para o JetBrains AI, para podermos refinar melhor nossa sa\u00edda:<\/p>\n
Just list those that have a <\/em>#Modified_Z_Score<\/em> of 3 or above or -3 or below\u00a0<\/em><\/p>\n
Vou substituir este trecho de c\u00f3digo pelas linhas relevantes acima:<\/p>\n
# Filter the rows where the Modified Z-score is 3 or above, or -3 or below\noutliers = data[(data['Modified_Z_Score'] >= 3) | (data['Modified_Z_Score'] <= -3)]\n\n\n# Print all the filtered rows, showing their index and SalePrice\noutliers = (outliers[['SalePrice', 'Modified_Z_Score']])\noutliers<\/pre>\n
Modifiquei este c\u00f3digo para salvar os valores at\u00edpicos em uma nova dataframe chamada “outliers” e imprimi-los para eu poder visualiz\u00e1-los.\u00a0<\/p>\n
Nossa pr\u00f3xima etapa ser\u00e1 remover esses valores at\u00edpicos da nossa dataframe. Mais uma vez, podemos usar o JetBrains AI para gerar o c\u00f3digo, com um prompt como este:<\/p>\n
Create a new dataframe without the outliers\u00a0<\/em><\/p>\n
data_without_outliers = data.drop(index=outliers.index)\n\n\n# Display the new DataFrame without outliers\nprint(data_without_outliers)<\/pre>\n
Nossa nova dataframe, data_without_outliers, exclui os valores nos quais a vari\u00e1vel SalePrice \u00e9 considerada at\u00edp\u00edca.\u00a0<\/p>\n
Podemos atualizar o c\u00f3digo do nosso diagrama de caixas para considerar a nova dataframe. O diagrama ainda mostra uma assimetria positiva, como esperado, mas os valores considerados at\u00edpicos foram removidos:<\/p>\n
import seaborn as sns\nimport matplotlib.pyplot as plt\n\n\n# Create a box plot for SalePrice\nplt.figure(figsize=(10, 6))\nsns.boxplot(x=data_without_outliers['SalePrice'])\nplt.title('Box Plot of SalePrice')\nplt.xlabel('SalePrice')\nplt.show()<\/pre>\n
\"\"<\/figure>\n
Antes de terminarmos, vamos dar uma olhada em que porcentagem dos dados observados foi removida da nossa dataframe, pois n\u00f3s os consideramos valores at\u00edpicos com base em “SalePrice”.<\/p>\n
Podemos usar um prompt como este:<\/p>\n
Calculate the percentage of observations removed between #data and #data_without_outliers<\/em><\/p>\n
# Calculate the number of observations in the original and filtered DataFrames\noriginal_count = len(data)\nfiltered_count = len(data_without_outliers)\n\n# Calculate the number of removed observations\nremoved_count = original_count - filtered_count\n\n# Calculate the percentage of observations removed\npercentage_removed = (removed_count \/ original_count) * 100\n\n# Display the percentage\nprint(f\"Percentage of observations removed: {percentage_removed:.2f}%\")<\/pre>\n
O PyCharm diz que 5,67% dos dados observados foram removidos.<\/p>\n
Como j\u00e1 mencionei antes, se voc\u00ea for manter os valores at\u00edpicos, considere usar valores de resumo menos propensos a serem afetados por eles, como a mediana<\/em> e o intervalo entre quartis<\/em>. Talvez voc\u00ea queira usar essas medidas para formar as suas conclus\u00f5es ao trabalhar com conjuntos de dados que voc\u00ea sabe conterem valores at\u00edpicos, n\u00e3o removidos porque eles s\u00e3o relevantes para a popula\u00e7\u00e3o que voc\u00ea definiu e as conclus\u00f5es que voc\u00ea pretende obter.<\/p>\n
Valores faltando<\/h3>\n
A maneira mais f\u00e1cil de identificar valores faltando no seu conjunto de dados \u00e9 atrav\u00e9s das suas estat\u00edsticas de resumo. Como lembrete, na sua dataframe, clique em Show Column Statistics<\/em> no lado direito e depois selecione Compact<\/em>. Os valores que estiverem faltando nas colunas ser\u00e3o mostrados em vermelho, como voc\u00ea pode ver no caso de “Lot Frontage” no conjunto de dados de im\u00f3veis residenciais da Ames<\/a>:<\/p>\n
<\/p>\n
H\u00e1 tr\u00eas tipos de faltas de dados a serem consideradas:<\/p>\n