{"id":589097,"date":"2025-08-04T08:45:06","date_gmt":"2025-08-04T07:45:06","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=pycharm&p=589097"},"modified":"2025-09-11T14:53:24","modified_gmt":"2025-09-11T13:53:24","slug":"nettoyage-des-donnees-en-science-des-donnees","status":"publish","type":"pycharm","link":"https:\/\/blog.jetbrains.com\/fr\/pycharm\/2025\/08\/nettoyage-des-donnees-en-science-des-donnees\/","title":{"rendered":"Nettoyage des donn\u00e9es en science des donn\u00e9es"},"content":{"rendered":"

Dans cette s\u00e9rie d’articles consacr\u00e9s \u00e0 la science des donn\u00e9es, nous avons parl\u00e9 de la source des donn\u00e9es<\/a> et vu comment explorer ces donn\u00e9es avec pandas<\/a>, mais s’il s’agit d’un excellent exercice, il ne refl\u00e8te pas tout \u00e0 fait ce qu’il convient d’appeler les donn\u00e9es r\u00e9elles<\/em>. Les donn\u00e9es utilis\u00e9es au cours des formations sont g\u00e9n\u00e9ralement nettoy\u00e9es et pr\u00e9par\u00e9es pour se concentrer sur l’apprentissage sans avoir \u00e0 se pencher sur le processus de nettoyage, mais les donn\u00e9es de production contiennent souvent des probl\u00e8mes et sont parfois mal organis\u00e9es. Ces donn\u00e9es doivent \u00eatre nettoy\u00e9es pour produire des informations exploitables, et c’est le sujet de cet article de blog.<\/p>\n

Les probl\u00e8mes de donn\u00e9es peuvent \u00eatre li\u00e9s au comportement des donn\u00e9es en tant que telles, \u00e0 la mani\u00e8re dont elles ont \u00e9t\u00e9 collect\u00e9es, ou m\u00eame \u00e0 la fa\u00e7on dont elles ont \u00e9t\u00e9 saisies. Des erreurs ou des oublis peuvent se produire \u00e0 tous les stades du parcours.<\/p>\n

Nous allons voir ici le nettoyage des donn\u00e9es et non pas leur transformation. Le nettoyage des donn\u00e9es permet de s’assurer que les conclusions que vous en tirez peuvent \u00eatre g\u00e9n\u00e9ralis\u00e9es \u00e0 la population que vous d\u00e9finissez. Par contraste, la transformation des donn\u00e9es implique notamment la conversion des formats, la normalisation et l’agr\u00e9gation.<\/p>\n

Pourquoi le nettoyage des donn\u00e9es est-il important ?<\/h2>\n

Il faut commencer par comprendre ce que repr\u00e9sentent les ensembles de donn\u00e9es. La plupart des ensembles de donn\u00e9es constituent un \u00e9chantillon repr\u00e9sentatif d’une population plus large et, en travaillant avec cet \u00e9chantillon, vous \u00eates en mesure d’extrapoler (ou de g\u00e9n\u00e9raliser<\/em>) vos conclusions au reste de la population. Par exemple, nous avons utilis\u00e9 un ensemble de donn\u00e9es<\/a> dans les deux articles pr\u00e9c\u00e9dents. Cet ensemble de donn\u00e9es porte essentiellement sur les ventes de maisons, mais il ne couvre qu’une petite zone g\u00e9ographique, une courte p\u00e9riode de temps et potentiellement pas toutes les maisons dans cette zone et cette p\u00e9riode. Il s’agit d’un \u00e9chantillon d’une population plus large.<\/p>\n

Vos donn\u00e9es doivent constituer un \u00e9chantillon repr\u00e9sentatif de l’ensemble de la population. Par exemple, toutes les ventes de maisons dans cette zone pendant une p\u00e9riode donn\u00e9e. Pour s’assurer que les donn\u00e9es constituent bien un \u00e9chantillon repr\u00e9sentatif de la population dans son ensemble, nous devons d’abord d\u00e9finir les limites de cette population.<\/p>\n

Comme vous le savez, il est souvent difficile de travailler avec l’ensemble de la population, \u00e0 l’exception peut-\u00eatre des donn\u00e9es de recensement, et vous devez donc poser des limites. Ces limites peuvent \u00eatre g\u00e9ographiques, d\u00e9mographiques, temporelles, bas\u00e9es sur des actions (notamment transactionnelles) ou propres \u00e0 un domaine. La population peut \u00eatre d\u00e9finie de nombreuses fa\u00e7ons, mais pour g\u00e9n\u00e9raliser vos donn\u00e9es de fa\u00e7on fiable, vous devez la d\u00e9finir avant de proc\u00e9der au nettoyage des donn\u00e9es.<\/p>\n

En r\u00e9sum\u00e9, si vous pr\u00e9voyez d’utiliser vos donn\u00e9es \u00e0 des fins d’analyse, quelle qu’elle soit, ou de machine learning<\/a>, vous devez prendre le temps de nettoyer les donn\u00e9es, afin d’obtenir des informations fiables et de les extrapoler au monde r\u00e9el<\/em>. Le nettoyage des donn\u00e9es permet de r\u00e9aliser des analyses plus pr\u00e9cises et, concernant le machine learning, des gains de performances.<\/p>\n

Si vous ne nettoyez pas les donn\u00e9es, vous risquez de ne pas pouvoir g\u00e9n\u00e9raliser de fa\u00e7on fiable vos conclusions au reste de la population, de produire des statistiques biais\u00e9es et des visualisations incorrectes. Si vous utilisez vos donn\u00e9es pour entra\u00eener des mod\u00e8les de machine learning, cela risque \u00e9galement d’entra\u00eener des erreurs et des pr\u00e9dictions incorrectes.<\/p>\n


Essayez PyCharm Professional gratuitement
<\/a><\/p>\n

Exemples de nettoyage des donn\u00e9es<\/h2>\n

Nous allons voir quelles sont les cinq t\u00e2ches \u00e0 ex\u00e9cuter pour nettoyer vos donn\u00e9es. Cette liste n’est pas exhaustive, mais elle constitue un excellent point de d\u00e9part pour aborder des donn\u00e9es r\u00e9elles.<\/p>\n

D\u00e9duplication des donn\u00e9es<\/h3>\n

Les doublons sont un probl\u00e8me parce qu’ils peuvent biaiser vos donn\u00e9es. Imaginez que vous tracez un histogramme repr\u00e9sentant la fr\u00e9quence des prix de vente. Les doublons de valeurs faussent l’histogramme repr\u00e9sentant la distribution des prix.<\/p>\n

Pour \u00eatre plus pr\u00e9cis, lorsque nous parlons de duplication dans les ensembles de donn\u00e9es, nous parlons de doublons de lignes de donn\u00e9es, chacune d’entre elles correspondant \u00e0 une observation unique. Les colonnes comportent aussi des doublons, ce qui est pr\u00e9visible. Nous parlons uniquement des doublons d’observations.<\/p>\n

Heureusement pour nous, une m\u00e9thode pandas<\/a> permet de d\u00e9tecter la pr\u00e9sence de doublons dans nos donn\u00e9es. Nous pouvons utiliser la fonction de chat de JetBrains AI<\/a> pour cr\u00e9er un rappel avec un prompt tel que :<\/p>\n

Code to identify duplicate rows<\/em><\/p>\n

Voici le code r\u00e9sultant :<\/p>\n

duplicate_rows = df[df.duplicated()]\nduplicate_rows<\/pre>\n
Ce code suppose que votre DataFrame s’appelle df<\/code> et il est donc important de le remplacer par le nom de votre DataFrame s’il est diff\u00e9rent.<\/p>\n
Il n’y a pas de doublons de donn\u00e9es dans l’ensemble de donn\u00e9es Ames Housing<\/a> que nous utilisons, mais si vous recherchez un exemple qui en comporte, utilisez l’ensemble de donn\u00e9es CITES Wildlife Trade Database<\/a> et voyez si vous pouvez trouver les doublons au moyen de la m\u00e9thode pandas ci-dessus.<\/p>\n
Une fois les doublons identifi\u00e9s, vous devez les \u00e9liminer pour ne pas fausser vos r\u00e9sultats. Vous pouvez \u00e9galement obtenir le code requis pour cela avec JetBrains AI en utilisant un prompt tel que :<\/p>\n
Code to drop duplicates from my dataframe\u00a0<\/em><\/p>\n
Le code r\u00e9sultant \u00e9limine les doublons, r\u00e9initialise l’index de votre DataFrame, puis l’affiche sous la forme d’un nouveau DataFrame appel\u00e9 df_cleaned :<\/p>\n
df_cleaned = df.drop_duplicates()\ndf_cleaned.reset_index(drop=True, inplace=True)\ndf_cleaned<\/pre>\n
Il existe d’autres fonctions pandas que vous pouvez utiliser pour une gestion de doublons plus avanc\u00e9e<\/a>, mais la fonction indiqu\u00e9e ci-dessus est suffisante pour amorcer la d\u00e9duplication de votre ensemble de donn\u00e9es.<\/p>\n
Gestion des valeurs non plausibles<\/h3>\n
Les valeurs non plausibles apparaissent g\u00e9n\u00e9ralement lorsque les donn\u00e9es sont saisies de fa\u00e7on incorrecte ou lorsque quelque chose ne se d\u00e9roule pas correctement pendant le processus de collecte de donn\u00e9es. Pour notre ensemble de donn\u00e9es Ames Housing<\/a>, une valeur non plausible peut prendre la forme d’une valeur n\u00e9gative pour SalePrice ou d’une valeur num\u00e9rique pour Roof Style.<\/p>\n
L’identification de valeurs non plausibles dans votre ensemble de donn\u00e9es repose sur une approche plus large qui inclut l’examen des statistiques de r\u00e9sum\u00e9<\/a>, afin de v\u00e9rifier les r\u00e8gles de validation des donn\u00e9es qui ont \u00e9t\u00e9 d\u00e9finies par le collecteur pour chaque colonne, et en notant les points de donn\u00e9es qui tombent en dehors de cette validation, ainsi qu’en utilisant des visualisations pour identifier des sch\u00e9mas et tout ce qui peut constituer une anomalie.<\/p>\n
Il est recommand\u00e9 de g\u00e9rer les valeurs non plausibles, car elles peuvent ajouter du bruit et cr\u00e9er des probl\u00e8mes au niveau de vos analyses. Toutefois, l’approche \u00e0 utiliser est sujette \u00e0 diff\u00e9rentes interpr\u00e9tations. Si vous n’avez pas beaucoup de valeurs non plausibles par rapport \u00e0 la taille de votre ensemble de donn\u00e9es, il est recommand\u00e9 de supprimer les enregistrements correspondants. Par exemple, si vous avez identifi\u00e9 une valeur non plausible \u00e0 la ligne 214 de votre ensemble de donn\u00e9es, vous pouvez utiliser la fonction drop de pandas<\/a> pour supprimer cette ligne de votre ensemble de donn\u00e9es.<\/p>\n
Ici aussi, JetBrains AI peut g\u00e9n\u00e9rer le code n\u00e9cessaire avec un prompt tel que :<\/p>\n
Code that drops index 214 from <\/em>#df_cleaned<\/em><\/p>\n
Il est \u00e0 noter que dans les notebooks Jupyter de PyCharm<\/a> je peux ajouter le pr\u00e9fixe # devant les mots pour indiquer \u00e0 l’AI Assistant de JetBrains que je fournis du contexte suppl\u00e9mentaire et, dans ce cas, que mon DataFrame s’appelle df_cleaned<\/code>.<\/p>\n
Le code de sortie supprime cette observation de votre DataFrame, r\u00e9initialise l’index et l’affiche :<\/p>\n
df_cleaned = df_cleaned.drop(index=214)\ndf_cleaned.reset_index(drop=True, inplace=True)\ndf_cleaned<\/pre>\n
Une autre strat\u00e9gie courante de traitement des valeurs non plausibles consiste \u00e0 les imputer, ce qui veut dire que vous les remplacez par une valeur plausible sur la base d’une strat\u00e9gie d\u00e9finie. L’une des strat\u00e9gies les plus communes consiste \u00e0 utiliser la valeur m\u00e9diane au lieu de la valeur non plausible. Dans la mesure o\u00f9 la valeur m\u00e9diane n’est pas affect\u00e9e par les valeurs aberrantes, elle est souvent retenue par les data scientists \u00e0 cet effet, tout comme la moyenne ou la valeur de mode de vos donn\u00e9es peut \u00eatre plus pertinente dans certaines situations.<\/p>\n
D’autre part, si vous connaissez le domaine relatif \u00e0 l’ensemble de donn\u00e9es et la fa\u00e7on dont les donn\u00e9es ont \u00e9t\u00e9 r\u00e9unies, vous pouvez remplacer la valeur non plausible par une valeur qui est plus significative. Si vous participez \u00e0 ce processus de collecte de donn\u00e9es ou le connaissez, cette option peut \u00eatre faite pour vous.<\/p>\n
Le choix du traitement des valeurs non plausibles d\u00e9pend de leur pr\u00e9dominance dans votre ensemble de donn\u00e9es, de la fa\u00e7on dont les donn\u00e9es sont collect\u00e9es et de comment vous envisagez de d\u00e9finir votre population, ainsi que d’autres facteurs, tels que votre connaissance du domaine \u00e9tudi\u00e9.<\/p>\n
Formatage des donn\u00e9es<\/h3>\n
Vous pouvez identifier les probl\u00e8mes de formatage avec vos statistiques r\u00e9sum\u00e9es<\/a> ou des visualisations<\/a> anticip\u00e9es pour avoir une id\u00e9e de la qualit\u00e9 de vos donn\u00e9es. Le formatage incoh\u00e9rent peut se manifester sous forme de valeurs num\u00e9riques qui ne sont pas toutes d\u00e9finies sur la m\u00eame d\u00e9cimale ou des variations typographiques, telles que \u00ab premier \u00bb et \u00ab 1er \u00bb. Le formatage incorrect des donn\u00e9es peut \u00e9galement avoir des implications sur l’empreinte m\u00e9moire de vos donn\u00e9es.<\/p>\n
Lorsque vous identifiez des probl\u00e8mes de formatage dans votre ensemble de donn\u00e9es, vous devez standardiser les valeurs. Selon le probl\u00e8me en cause, cela implique la d\u00e9finition de vos propres r\u00e9f\u00e9rences et l’application du changement. Encore une fois, la biblioth\u00e8que pandas dispose de fonctions utiles, telles que round<\/a>. Par exemple, pour arrondir la colonne SalePrice \u00e0 2 chiffres apr\u00e8s la virgule, il est possible de demander le code suivant \u00e0 JetBrains AI :<\/p>\n
Code to round <\/em>#SalePrice<\/em> to two decimal places\u00a0<\/em><\/p>\n
Le code r\u00e9sultant arrondit la valeur et imprime les 10 premi\u00e8res lignes pour vous permettre de les v\u00e9rifier :<\/p>\n
df_cleaned['SalePrice'] = df_cleaned['SalePrice].round(2)\ndf_cleaned.head()<\/pre>\n
Pour prendre un autre exemple, vous pouvez \u00eatre confront\u00e9 \u00e0 des variantes orthographiques, avec une colonne HouseStyle qui contiendrait \u00e0 la fois \u00ab 1Story \u00bb et \u00ab OneStory \u00bb, alors que vous savez que les deux sont identiques. Vous pouvez utiliser le prompt suivant pour obtenir le code faisant cela :<\/p>\n
Code to change all instances of <\/em>#OneStory<\/em> to <\/em>#1Story<\/em> in <\/em>#HouseStyle<\/em>\u00a0<\/em><\/p>\n
Le code r\u00e9sultant fait ce qui lui est demand\u00e9 et remplace toutes les instances de OneStory par 1Story :<\/p>\n
df_cleaned[HouseStyle'] = df_cleaned['HouseStyle'].replace('OneStory', '1Story')<\/pre>\n
Traitement des valeurs aberrantes<\/h3>\n
Les valeurs aberrantes sont tr\u00e8s courantes dans les ensembles de donn\u00e9es, mais leur traitement, s’il y en a un, d\u00e9pend essentiellement du contexte. L’une des solutions les plus simples pour identifier les valeurs anormales consiste \u00e0 utiliser un diagramme en bo\u00eete qui utilise les biblioth\u00e8ques seaborn<\/a> et matplotlib<\/a>. J’ai parl\u00e9 plus en d\u00e9tail des diagrammes en bo\u00eete dans mon article pr\u00e9c\u00e9dent sur l’exploration des donn\u00e9es avec les pandas<\/a> si vous avez besoin d’un rappel rapide.<\/p>\n
Nous allons examiner SalePrice dans notre ensemble de donn\u00e9es immobili\u00e8res Ames<\/a> pour ce diagramme en bo\u00eete. \u00c0 nouveau, je vais utiliser JetBrains AI pour g\u00e9n\u00e9rer du code avec un prompt tel que :<\/p>\n
Code to create a box plot of <\/em>#SalePrice<\/em>\u00a0<\/em><\/p>\n
Voici le code r\u00e9sultant que nous devons ex\u00e9cuter :<\/p>\n
import seaborn as sns\nimport matplotlib.pyplot as plt\n\n# Create a box plot for SalePrice\nplt.figure(figsize=(10, 6))\nsns.boxplot(x=df_cleaned['SalePrice'])\nplt.title('Box Plot of SalePrice')\nplt.xlabel('SalePrice')\nplt.show()<\/pre>\n
Le diagramme en bo\u00eete nous dit que nous avons une inclinaison positive, car la ligne m\u00e9diane de la bo\u00eete bleue est \u00e0 gauche du centre. Une inclinaison positive nous dit que la distribution du prix des maisons tend \u00e0 refl\u00e9ter majoritairement les prix les plus faibles, ce qui n’est pas surprenant. Le diagramme en bo\u00eete nous donne un indicateur visuel du nombre \u00e9lev\u00e9 de valeurs aberrantes dans la partie droite. Il s’agit dans cet exemple du petit nombre de propri\u00e9t\u00e9s qui sont tr\u00e8s au-dessus du prix m\u00e9dian.<\/p>\n
\"\"<\/figure>\n
Vous pouvez accepter ces valeurs aberrantes, dans la mesure o\u00f9 il est tout \u00e0 fait logique qu’un petit nombre de propri\u00e9t\u00e9s soit plus cher que la majorit\u00e9. Cependant, tout d\u00e9pend de la population \u00e0 g\u00e9n\u00e9raliser et des conclusions \u00e0 tirer de vos donn\u00e9es. Une d\u00e9finition claire du p\u00e9rim\u00e8tre de la population permet de d\u00e9terminer sur la base de donn\u00e9es fiables si les valeurs aberrantes de vos donn\u00e9es vont poser probl\u00e8me.<\/p>\n
Par exemple, si votre population comporte des gens qui ne peuvent pas acheter des villas de luxe, il peut \u00eatre judicieux de supprimer ces valeurs aberrantes. Par contre, si elle inclut des gens qui en ont les moyens, il est pr\u00e9f\u00e9rable de les conserver.<\/p>\n
Nous avons vu dans cet article que les diagrammes en bo\u00eete permettent d’identifier les valeurs aberrantes, mais d’autres options, telles que les nuages de points et les histogrammes, permettent aussi de visualiser rapidement ce type de valeur et de prendre une d\u00e9cision en cons\u00e9quence.<\/p>\n
Le traitement des valeurs aberrantes tombe g\u00e9n\u00e9ralement dans deux cat\u00e9gories, \u00e0 savoir leur suppression ou l’utilisation de statistiques moins sensibles \u00e0 ce type de valeur. Dans le premier cas, nous devons savoir exactement dans quelles lignes elles se trouvent.<\/p>\n
Jusqu’\u00e0 pr\u00e9sent, nous avons uniquement parl\u00e9 de l’identification visuelle. Il existe diff\u00e9rentes fa\u00e7ons de d\u00e9terminer quelles observations sont des valeurs aberrantes. L’approche la plus commune est une m\u00e9thode appel\u00e9e score Z modifi\u00e9<\/em>. Avant de voir comment et pourquoi il est modifi\u00e9, le score Z est d\u00e9fini ainsi :<\/p>\n
Score Z =<\/em> (valeur du point de donn\u00e9es<\/em> \u2013 moyenne<\/em>) \/ \u00e9cart type<\/em><\/p>\n
Nous modifions ensuite le score Z parce que la moyenne et l’\u00e9cart type sont influenc\u00e9s par les valeurs aberrantes en raison de leur mode de calcul. Le score Z modifi\u00e9 est d\u00e9fini sous la forme :<\/p>\n
Score Z modifi\u00e9 =<\/em> (valeur du point de donn\u00e9es<\/em> \u2013 m\u00e9diane<\/em>) \/ \u00e9cart absolu<\/em> m\u00e9dian<\/em><\/p>\n
Comme nous l’avons vu dans la section statistiques r\u00e9sum\u00e9es<\/a>, la m\u00e9diane n’est pas impact\u00e9e par les valeurs aberrantes. L’\u00e9cart absolu m\u00e9dian<\/em> correspond \u00e0 la valeur m\u00e9diane<\/em> des \u00e9carts absolus de l’ensemble de donn\u00e9es par rapport \u00e0 la m\u00e9diane<\/em>. Par exemple, si votre ensemble de donn\u00e9es contient les valeurs suivantes :<\/p>\n
1, 2, 2, 2, 3<\/strong>, 3, 3, 5,9<\/p>\n
La m\u00e9diane<\/em> est \u00e9gale \u00e0 3, car il s’agit de la valeur au milieu de l’ensemble de donn\u00e9es. Les \u00e9carts par rapport \u00e0 la m\u00e9diane de 3 sont les suivants dans l’ordre pr\u00e9sent\u00e9 ci-dessus :<\/p>\n
2, 1, 1, 1, 0, 0, 0, 2, 5<\/p>\n
En triant ces valeurs par ordre croissant, nous obtenons :<\/p>\n
0, 0, 0, 1, 1<\/strong>, 1, 2, 2, 5<\/p>\n
Cela signifie que l’\u00e9cart absolu m\u00e9dian<\/em> serait 1 dans cet exemple.<\/p>\n
Comment calculer le score Z modifi\u00e9 pour notre ensemble de donn\u00e9es pour SalePrice\u00a0? Soumettons ce prompt \u00e0 JetBrains AI :<\/p>\n
Given:<\/em><\/p>\n
Modified Z-score = (data point value \u2013 median) \/ median absolute deviation<\/em><\/p>\n
Calculate the Modified Z-score for <\/em>#SalePrice<\/em>\u00a0<\/em><\/p>\n
Cela produit le code suivant :<\/p>\n
import pandas as pd\nfrom scipy.stats import median_abs_deviation\n\n\n# Assuming 'data' is your DataFrame and it contains the 'SalePrice' column\n\n\n# Calculate the median for the SalePrice column\nmedian_sale_price = data['SalePrice'].median()\n\n\n# Calculate the Median Absolute Deviation (MAD) for the SalePrice column\nmad_sale_price = median_abs_deviation(data['SalePrice'], scale='normal')\n\n\n# Calculate the Modified Z-scores for the SalePrice column\ndata['Modified_Z_Score'] = (data['SalePrice'] - median_sale_price) \/ mad_sale_price\n\n\n# Display the first few rows with the Modified Z-scores\nprint(data[['SalePrice', 'Modified_Z_Score']].head())<\/pre>\n
Lorsque nous installons les paquets n\u00e9cessaires et ex\u00e9cutons ce code, nous pouvons voir que nous avons progress\u00e9, mais maintenant nous devons \u00e9tablir ce qu’est une valeur aberrante pour SalePrice en fonction du score Z modifi\u00e9. \u00c0 premi\u00e8re vue, une valeur aberrante est ici tout nombre >=3 ou <=-3. Il faut toutefois noter que, comme pour la plupart des d\u00e9cisions statistiques, elle peut et doit \u00eatre adapt\u00e9e \u00e0 votre jeu de donn\u00e9es. <=-3 however, it\u2019s worth noting that like most statistical decisions, it can and should be tailored to your dataset.<\/p>\n
Nous allons soumettre un autre prompt \u00e0 JetBrains AI pour obtenir un r\u00e9sultat plus pertinent :<\/p>\n
Just list those that have a <\/em>#Modified_Z_Score<\/em> of 3 or above or -3 or below\u00a0<\/em><\/p>\n
Je vais prendre cet extrait de code et utiliser les lignes ci-dessus qui m’int\u00e9ressent :<\/p>\n
# Filter the rows where the Modified Z-score is 3 or above, or -3 or below\noutliers = data[(data['Modified_Z_Score'] >= 3) | (data['Modified_Z_Score'] <= -3)]\n\n\n# Print all the filtered rows, showing their index and SalePrice\noutliers = (outliers[['SalePrice', 'Modified_Z_Score']])\noutliers<\/pre>\n
J’ai modifi\u00e9 ce code pour enregistrer les valeurs dans un nouveau DataFrame appel\u00e9 \u00ab outliers \u00bb et je les ai imprim\u00e9es pour les lire.<\/p>\n
L’\u00e9tape suivante consiste \u00e0 retirer ces valeurs aberrantes du DataFrame. Encore une fois, il est possible d’utiliser JetBrains AI pour g\u00e9n\u00e9rer du code avec un prompt tel que :<\/p>\n
Create a new dataframe without the outliers\u00a0<\/em><\/p>\n
data_without_outliers = data.drop(index=outliers.index)\n\n\n# Display the new DataFrame without outliers\nprint(data_without_outliers)<\/pre>\n
Le nouveau DataFrame, data_without_outliers, exclut ces valeurs lorsque la variable SalePrice est consid\u00e9r\u00e9e comme une valeur aberrante.<\/p>\n
Il est alors possible de mettre \u00e0 jour le code du diagramme en bo\u00eete pour examiner le nouveau DataFrame. Il affiche toujours l’inclinaison positive, comme cela est pr\u00e9visible, mais les valeurs consid\u00e9r\u00e9es comme aberrantes ont \u00e9t\u00e9 supprim\u00e9es :<\/p>\n
import seaborn as sns\nimport matplotlib.pyplot as plt\n\n\n# Create a box plot for SalePrice\nplt.figure(figsize=(10, 6))\nsns.boxplot(x=data_without_outliers['SalePrice'])\nplt.title('Box Plot of SalePrice')\nplt.xlabel('SalePrice')\nplt.show()<\/pre>\n
\"\"<\/figure>\n
Avant de conclure pour cette partie, voyons quel pourcentage d’observations a \u00e9t\u00e9 retir\u00e9 de notre DataFrame parce qu’elles sont consid\u00e9r\u00e9es comme des valeurs aberrantes par rapport \u00e0 SalePrice.<\/p>\n
Nous pouvons utiliser un prompt tel que :<\/p>\n
Calculate the percentage of observations removed between #data and #data_without_outliers<\/em><\/p>\n
# Calculate the number of observations in the original and filtered DataFrames\noriginal_count = len(data)\nfiltered_count = len(data_without_outliers)\n\n# Calculate the number of removed observations\nremoved_count = original_count - filtered_count\n\n# Calculate the percentage of observations removed\npercentage_removed = (removed_count \/ original_count) * 100\n\n# Display the percentage\nprint(f\"Percentage of observations removed: {percentage_removed:.2f}%\")<\/pre>\n
PyCharm indique que 5,67 % des observations ont \u00e9t\u00e9 supprim\u00e9es.<\/p>\n
Comme indiqu\u00e9 plus haut, si vous conservez vos valeurs aberrantes, envisagez d’utiliser des valeurs r\u00e9sum\u00e9es qui sont moins susceptibles d’\u00eatre affect\u00e9es, telles que la m\u00e9diane<\/em> et l’\u00e9cart interquartile<\/em>. Vous pouvez envisager d’utiliser ces mesures pour formuler vos conclusions lorsque vous travaillez sur des ensembles de donn\u00e9es que vous savez contenir des valeurs extr\u00eames pertinentes pour la population que vous avez d\u00e9finie et vos conclusions.<\/p>\n
Valeurs manquantes<\/h3>\n
Le moyen le plus rapide d’identifier les valeurs manquantes de votre ensemble de donn\u00e9es consiste \u00e0 utiliser vos statistiques r\u00e9sum\u00e9es. Pour rappel, dans votre DataFrame, cliquez sur Show Column Statistics<\/em> dans la partie droite et s\u00e9lectionnez Compact<\/em>. Les valeurs manquantes dans les colonnes s’affichent en rouge, comme vous pouvez le voir ici, pour Lot Frontage, dans notre ensemble de donn\u00e9es Ames Housing<\/a> :<\/p>\n
<\/p>\n
Trois types de donn\u00e9es manquantes sont \u00e0 prendre en compte pour nos donn\u00e9es :<\/p>\n