{"id":570787,"date":"2025-05-28T05:31:32","date_gmt":"2025-05-28T04:31:32","guid":{"rendered":"https:\/\/blog.jetbrains.com\/?post_type=pycharm&p=570787"},"modified":"2025-09-15T09:38:17","modified_gmt":"2025-09-15T08:38:17","slug":"datenbereinigung-im-bereich-data-science","status":"publish","type":"pycharm","link":"https:\/\/blog.jetbrains.com\/de\/pycharm\/2025\/05\/datenbereinigung-im-bereich-data-science\/","title":{"rendered":"Datenbereinigung im Bereich Data Science"},"content":{"rendered":"

In dieser Serie von Blogbeitr\u00e4gen zum Thema Data Science haben wir dar\u00fcber gesprochen, wo man Daten am besten erhebt<\/a> und wie man diese Daten mit Pandas erkundet<\/a>. Sie sind zwar hervorragend zum Lernen geeignet, aber nicht vergleichbar mit dem, was wir im Folgenden als \u201ereale Daten\u201c<\/em> definieren werden. Daten, die f\u00fcr Lernzwecke bereitgestellt werden, wurden h\u00e4ufig bereits bereinigt und sorgf\u00e4ltig kuratiert, sodass sie sofort f\u00fcr den Lernprozess genutzt werden k\u00f6nnen, ohne dass man sich mit den Herausforderungen der Datenbereinigung auseinandersetzen muss. Im Gegensatz dazu sind reale Daten oft problembehaftet und unordentlich. Daten aus der realen Welt m\u00fcssen bereinigt werden, bevor sie uns n\u00fctzliche Erkenntnisse liefern k\u00f6nnen \u2013 das ist das Thema dieses Blogbeitrags.<\/p>\n

Datenprobleme k\u00f6nnen durch das Verhalten der Daten selbst, die Art der Datenerhebung oder sogar die Art der Dateneingabe verursacht werden. Fehler und Vers\u00e4umnisse k\u00f6nnen bei jedem Schritt auftreten.<\/p>\n

Wir sprechen hier konkret von Datenbereinigung und nicht von Datentransformation. Die Datenbereinigung stellt sicher, dass die Schlussfolgerungen, die Sie aus Ihren Daten ziehen, f\u00fcr die von Ihnen definierte Population generalisiert werden k\u00f6nnen. Im Gegensatz dazu umfasst die Datentransformation Aufgaben wie die Konvertierung von Datenformaten, die Normalisierung von Daten sowie die Aggregation von Daten.<\/p>\n

Warum ist Datenbereinigung wichtig?<\/h2>\n

Das Wichtigste, was wir \u00fcber Datens\u00e4tze wissen sollten, ist die Bedeutung dessen, was sie repr\u00e4sentieren. Bei den meisten Datens\u00e4tzen handelt es sich um eine Stichprobe, die eine gr\u00f6\u00dfere Population repr\u00e4sentiert. Wenn Sie mit dieser Stichprobe arbeiten, k\u00f6nnen Sie Ihre Ergebnisse auf diese Population extrapolieren (oder generalisieren<\/em>). Zum Beispiel haben wir in den letzten beiden Blogbeitr\u00e4gen einen speziellen Datensatz<\/a> verwendet. Dieser Datensatz bezieht sich im Gro\u00dfen und Ganzen auf Hausverk\u00e4ufe, deckt aber nur ein kleines geografisches Gebiet, einen beschr\u00e4nkten Zeitraum und m\u00f6glicherweise nicht alle H\u00e4user in diesem Gebiet sowie Zeitraum ab; es handelt sich somit um eine Stichprobe einer gr\u00f6\u00dferen Population.<\/p>\n

Ihre Daten m\u00fcssen eine repr\u00e4sentative Stichprobe der breiteren Population darstellen, z.\u00a0B. alle Hausverk\u00e4ufe in diesem Gebiet \u00fcber einen bestimmten Zeitraum. Um sicherzustellen, dass unsere Daten diese Voraussetzung erf\u00fcllen, m\u00fcssen wir zun\u00e4chst die Grenzen unserer Population festlegen.<\/p>\n

Wie Sie sich m\u00f6glicherweise vorstellen k\u00f6nnen, ist es h\u00e4ufig unpraktisch, die gesamte Population in Ihre Analysen einzubeziehen \u2013 au\u00dfer vielleicht bei Volksz\u00e4hlungsdaten. Daher ist es wichtig, dass Sie Ihre Grenzen klar definieren. Diese Grenzen k\u00f6nnen geografisch, demografisch, zeitlich, aktionsbezogen (z. B. transaktionsbezogen) oder branchenspezifisch sein. Es gibt zahlreiche Ans\u00e4tze, Ihre Population zu definieren. Um jedoch eine zuverl\u00e4ssige Generalisierung Ihrer Daten zu gew\u00e4hrleisten, ist es notwendig, dies vor der Bereinigung Ihrer Daten zu tun.<\/p>\n

Zusammenfassend l\u00e4sst sich sagen, dass Sie, wenn Sie Ihre Daten f\u00fcr irgendeine Art von Analyse oder maschinelles Lernen<\/a> verwenden m\u00f6chten, Zeit f\u00fcr die Datenbereinigung aufwenden m\u00fcssen, um sicherzustellen, dass Sie sich auf Ihre Erkenntnisse verlassen und diese f\u00fcr die reale Welt<\/em> generalisieren k\u00f6nnen. Die Bereinigung Ihrer Daten f\u00fchrt zu einer genaueren Analyse und in Bezug auf maschinelles Lernen auch zu einer Leistungssteigerung.<\/p>\n

Wenn Sie Ihre Daten nicht bereinigen, riskieren Sie, dass Sie Ihre Erkenntnisse nicht zuverl\u00e4ssig f\u00fcr die breitere Population generalisieren k\u00f6nnen und dass Sie ungenaue zusammenfassende Statistiken sowie falsche Visualisierungen erhalten. Wenn Sie Ihre Daten zum Trainieren von Modellen f\u00fcr maschinelles Lernen verwenden, kann dies ebenfalls zu Fehlern und ungenauen Vorhersagen f\u00fchren.<\/p>\n

\n
\nTesten Sie PyCharm Professional kostenlos
\n<\/a><\/p>\n

Beispiele f\u00fcr Datenbereinigung<\/h2>\n

Lassen Sie uns einen n\u00e4heren Blick auf f\u00fcnf Aufgaben werfen, die Ihnen dabei helfen, Ihre Daten zu bereinigen. Diese Liste ist zwar nicht abschlie\u00dfend, bietet jedoch einen hervorragenden Ausgangspunkt, um erste Einblicke in reale Daten zu gewinnen.<\/p>\n

Deduplizieren von Daten<\/h3>\n

Duplikate sind ein Problem, da sie Ihre Daten verzerren. Stellen Sie sich vor, Sie zeichnen ein Histogramm, in dem Sie die H\u00e4ufigkeit der Verkaufspreise verwenden. Wenn Sie mehrere Duplikate desselben Wertes verarbeiten, wird Ihr Histogramm ein verzerrtes Muster zeigen. Dies liegt an den doppelten Preisen.<\/p>\n

Nebenbei bemerkt: Wenn wir davon sprechen, dass die Duplizierung von Datens\u00e4tzen ein Problem darstellt, meinen wir damit die Duplizierung ganzer Zeilen, von denen jede eine einzelne Beobachtung darstellt. Es wird identische Werte in den Spalten geben und das erwarten wir auch. Wir beziehen uns hier ausschlie\u00dflich auf doppelte Beobachtungen.<\/p>\n

Zum Gl\u00fcck gibt es eine pandas-Methode<\/a>, mit der wir feststellen k\u00f6nnen, ob in unseren Daten Duplikate pr\u00e4sent sind. Wir k\u00f6nnen den JetBrains AI<\/a>-Chat verwenden, falls wir eine Auffrischung unserer Programmierkenntnisse ben\u00f6tigen. Ein entsprechender Beispiel-Prompt w\u00e4re etwa:<\/p>\n

Code f\u00fcr die Identifizierung doppelter Zeilen<\/em><\/p>\n

Hier ist das Ergebnis:<\/p>\n

duplicate_rows = df[df.duplicated()]\nduplicate_rows<\/pre>\n
Dieser Code geht davon aus, dass Ihr DataFrame df<\/code> <\/em>hei\u00dft. \u00c4ndern Sie den Namen entsprechend, sofern dies nicht der Fall ist.<\/p>\n
In dem von uns verwendeten Ames-Housing-Datensatz<\/a> gibt es keine doppelten Daten, aber wenn Sie es ausprobieren m\u00f6chten, werfen Sie doch einen Blick auf den Datensatz der CITES Wildlife Trade Database<\/a> und pr\u00fcfen Sie, ob Sie die Duplikate mit der obigen pandas-Methode finden k\u00f6nnen.<\/p>\n
Sobald Sie Duplikate in Ihrem Datensatz identifiziert haben, m\u00fcssen Sie diese entfernen, um eine Verzerrung Ihrer Ergebnisse zu vermeiden. Den Code hierf\u00fcr erhalten Sie mit JetBrains AI wiederum mit einem Prompt wie folgendem:<\/p>\n
Code zum Entfernen von Duplikaten aus meinem DataFrame\u00a0<\/em><\/p>\n
Der resultierende Code l\u00f6scht die Duplikate, setzt den Index Ihres DataFrame zur\u00fcck und zeigt ihn dann als neuen DataFrame namens df_cleaned an:<\/p>\n
df_cleaned = df.drop_duplicates()\ndf_cleaned.reset_index(drop=True, inplace=True)\ndf_cleaned<\/pre>\n
Es gibt noch weitere pandas-Funktionen, die Sie f\u00fcr die erweiterte Verwaltung von Duplikaten<\/a> verwenden k\u00f6nnen, aber der hier dargelegte Ansatz ist ausreichend, um mit der Deduplizierung Ihres Datensatzes zu beginnen.<\/p>\n
Umgang mit unplausiblen Werten<\/h3>\n
Unplausible Werte k\u00f6nnen auftreten, wenn Daten falsch eingegeben wurden oder bei der Datenerhebung etwas schiefgelaufen ist. F\u00fcr unseren Ames-Housing-Datensatz<\/a> k\u00f6nnte ein unplausibler Wert etwa ein negativer SalePrice oder ein numerischer Wert f\u00fcr Roof Style sein.<\/p>\n
Die Identifizierung unplausibler Werte in Ihrem Datensatz erfolgt durch einen umfassenden Ansatz. Dieser beinhaltet die Analyse Ihrer zusammenfassenden Statistiken<\/a>, die \u00dcberpr\u00fcfung der von den Datenerhebern definierten Datenvalidierungsregeln f\u00fcr jede einzelne Spalte sowie das Festhalten aller Datenpunkte, die au\u00dferhalb dieser Vorgaben liegen. Dar\u00fcber hinaus verwenden wir Visualisierungen, um Muster zu erkennen und alles, was nach einer Anomalie aussieht, aufzusp\u00fcren.<\/p>\n
Sie sollten sich mit unplausiblen Werten befassen, da sie Ablenkungen verursachen und Probleme bei Ihrer Analyse hervorrufen k\u00f6nnen. Wie Sie mit ihnen umgehen, ist jedoch recht flexibel. Falls Sie im Verh\u00e4ltnis zur Gr\u00f6\u00dfe Ihres Datensatzes nur wenige unplausible Werte haben, k\u00f6nnen Sie die Eintr\u00e4ge, die selbige enthalten, einfach entfernen. Wenn Sie zum Beispiel einen unplausiblen Wert in Zeile 214 Ihres Datensatzes identifiziert haben, k\u00f6nnen Sie die drop-Funktion von pandas<\/a> verwenden, um diese Zeile aus Ihrem Datensatz zu l\u00f6schen.<\/p>\n
Auch hier k\u00f6nnen wir JetBrains AI mit einem Prompt wie diesem dazu bringen, den ben\u00f6tigten Code zu generieren:<\/p>\n
Code that drops index 214 from <\/em>#df_cleaned<\/em><\/p>\n
Beachten Sie, dass man in PyCharm-Jupyter-Notebooks<\/a> Worten das Zeichen # voranstellen kann, um JetBrains AI Assistant zu verdeutlichen, dass man zus\u00e4tzlichen Kontext bereitstellt. In diesem Fall wird klargestellt, dass der DataFrame df_cleaned<\/code> hei\u00dft.<\/p>\n
Der resultierende Code entfernt diese Beobachtung aus Ihrem DataFrame, setzt den Index zur\u00fcck und zeigt den DataFrame an:<\/p>\n
df_cleaned = df_cleaned.drop(index=214)\ndf_cleaned.reset_index(drop=True, inplace=True)\ndf_cleaned<\/pre>\n
Eine weitere beliebte Strategie f\u00fcr den Umgang mit unplausiblen Werten ist Imputation, d.\u00a0h. Sie ersetzen den Wert durch einen anderen, plausiblen Wert auf der Grundlage einer festgelegten Strategie. Einer der g\u00e4ngigsten Ans\u00e4tze ist die Verwendung des Medianwertes anstelle des unplausiblen Wertes. Da der Median nicht von Ausrei\u00dfern beeinflusst wird, wird er h\u00e4ufig von Datenwissenschaftlern bevorzugt. Dennoch kann in bestimmten Situationen auch der Mittelwert oder der Moduswert Ihrer Daten eine geeignetere Wahl darstellen.<\/p>\n
Wenn Sie \u00fcber fundiertes Fachwissen hinsichtlich des Datensatzes und der Methodik der Datenerhebung verf\u00fcgen, sind Sie in der Lage, den unplausiblen Wert durch eine aussagekr\u00e4ftigere Alternative zu ersetzen. Falls Sie an der Datenerhebung beteiligt oder dar\u00fcber informiert sind, k\u00f6nnte diese Option m\u00f6glicherweise f\u00fcr Sie von Interesse sein.<\/p>\n
Der Umgang mit unplausiblen Werten in Ihrem Datensatz h\u00e4ngt von verschiedenen Aspekten ab. Dazu z\u00e4hlen die H\u00e4ufigkeit dieser Werte, die Methode der Datenerhebung und Ihre spezifische Definition der Population. Auch Ihr Fachwissen spielt eine entscheidende Rolle bei der Bewertung dieser Daten.<\/p>\n
Formatierung von Daten<\/h3>\n
Sie k\u00f6nnen Formatierungsprobleme oft mit Ihren zusammenfassenden Statistiken<\/a> oder fr\u00fchen Visualisierungen<\/a> erkennen, die Sie durchf\u00fchren, um einen Eindruck des Zustands Ihrer Daten zu erhalten. Einige Beispiele f\u00fcr eine inkonsistente Formatierung sind numerische Werte, die nicht alle mit derselben Dezimalstelle definiert sind, oder Abweichungen in der Schreibweise, z. B. \u201efirst\u201c und \u201e1st\u201c. Eine fehlerhafte Datenformatierung kann sich auch auf den Speicherbedarf Ihrer Daten auswirken.<\/p>\n
Sobald Sie Formatierungsprobleme in Ihrem Datensatz entdeckt haben, m\u00fcssen Sie die Werte standardisieren. Je nach Problem, mit dem Sie konfrontiert sind, bedeutet dies normalerweise, dass Sie Ihren eigenen Standard definieren und die \u00c4nderung anwenden. Auch hier bietet die pandas-Bibliothek einige n\u00fctzliche Funktionen wie round<\/a>. Wenn Sie die Spalte SalePrice auf 2 Dezimalstellen runden m\u00f6chten, k\u00f6nnten wir JetBrains AI nach dem Code hierf\u00fcr fragen:<\/p>\n
Code to round <\/em>#SalePrice<\/em> to two decimal places\u00a0<\/em><\/p>\n
Der resultierende Code f\u00fchrt die Rundung durch und zeigt dann die ersten 10 Zeilen an, damit Sie diese \u00fcberpr\u00fcfen k\u00f6nnen:<\/p>\n
df_cleaned['SalePrice'] = df_cleaned['SalePrice].round(2)\ndf_cleaned.head()<\/pre>\n
Ein weiteres Beispiel: Sie haben eine inkonsistente Schreibweise erkannt \u2013 etwa in der Spalte HouseStyle, die sowohl \u201e1Story\u201c als auch \u201eOneStory\u201c beinhaltet. Sie sind sich sicher, dass beide dasselbe bedeuten. Sie k\u00f6nnen den folgenden Prompt verwenden, um den entsprechenden Code zur Angleichung zu erhalten:<\/p>\n
Code to change all instances of <\/em>#OneStory<\/em> to <\/em>#1Story<\/em> in <\/em>#HouseStyle<\/em>\u00a0<\/em><\/p>\n
Der resultierende Code tut genau das und ersetzt alle Instanzen von OneStory durch 1Story:<\/p>\n
df_cleaned[HouseStyle'] = df_cleaned['HouseStyle'].replace('OneStory', '1Story')<\/pre>\n
Umgang mit Ausrei\u00dfern<\/h3>\n
Ausrei\u00dfer kommen in Datens\u00e4tzen sehr h\u00e4ufig vor, aber wie Sie mit ihnen umgehen \u2013 wenn \u00fcberhaupt \u2013 ist sehr kontextabh\u00e4ngig. Eine der einfachsten M\u00f6glichkeiten, Ausrei\u00dfer zu erkennen, ist ein Boxplot, der die Bibliotheken seaborn<\/a> und matplotlib<\/a> verwendet. Im letzten Blogbeitrag \u00fcber die Erkundung von Daten mit pandas<\/a> wurden Boxplots besprochen, falls Sie Ihre Kenntnisse eben auffrischen m\u00f6chten.<\/p>\n
Wir betrachten f\u00fcr diesen Boxplot den SalePrice in unserem Ames-Housing-Datensatz<\/a>. Auch hier kommt JetBrains AI zum Einsatz, um den Code mit einem Prompt wie diesem zu generieren:<\/p>\n
Code to create a box plot of <\/em>#SalePrice<\/em>\u00a0<\/em><\/p>\n
Hier ist der resultierende Code, den wir ausf\u00fchren m\u00fcssen:<\/p>\n
import seaborn as sns\nimport matplotlib.pyplot as plt\n\n# Create a box plot for SalePrice\nplt.figure(figsize=(10, 6))\nsns.boxplot(x=df_cleaned['SalePrice'])\nplt.title('Box Plot of SalePrice')\nplt.xlabel('SalePrice')\nplt.show()<\/pre>\n
Der Boxplot zeigt uns, dass wir eine positive Verzerrung haben, weil die vertikale Medianlinie innerhalb der blauen Box links von der Mitte liegt. Eine positive Verzerrung verr\u00e4t uns, dass wir mehr Hauspreise am niedrigeren Ende der Skala haben, was nicht \u00fcberraschend ist. Der Boxplot vermittelt uns zudem visuell, dass wir viele Ausrei\u00dfer auf der rechten Seite haben. Das ist eine kleine Anzahl von H\u00e4usern, die viel teurer sind als der Medianpreis.<\/p>\n
\"\"<\/figure>\n
Sie k\u00f6nnen diese Ausrei\u00dfer akzeptieren, denn es ist recht typisch, dass eine kleine Anzahl von H\u00e4usern einen h\u00f6heren Preis hat als die Mehrheit. Dies h\u00e4ngt jedoch von der Population ab, f\u00fcr die Sie generalisieren m\u00f6chten, und von den Schlussfolgerungen, die Sie aus Ihren Daten ziehen wollen. Wenn Sie klar abgrenzen, was zu Ihrer Population geh\u00f6rt und was nicht, k\u00f6nnen Sie eine fundierte Entscheidung dar\u00fcber treffen, ob Ausrei\u00dfer in Ihren Daten zu einem Problem werden.<\/p>\n
Wenn Ihre Population zum Beispiel aus Menschen besteht, die keine teuren Villen kaufen, dann k\u00f6nnen Sie diese Ausrei\u00dfer unter Umst\u00e4nden l\u00f6schen. Sollte Ihre Populationsdemografie jedoch Personen einschlie\u00dfen, von denen man annehmen kann, dass sie in der Lage sind, diese kostspieligen H\u00e4user zu erwerben, empfiehlt es sich, diese Informationen beizubehalten, da sie f\u00fcr Ihre Population relevant sind.<\/p>\n
Hier wurden Boxplots als effektives Werkzeug zur Identifizierung von Ausrei\u00dfern vorgestellt. Dar\u00fcber hinaus bieten auch andere Visualisierungen, z. B. Streudiagramme und Histogramme, eine schnelle M\u00f6glichkeit, um festzustellen, ob in Ihren Daten Ausrei\u00dfer vorhanden sind. Diese Informationen erm\u00f6glichen es Ihnen, fundierte Entscheidungen dar\u00fcber zu treffen, ob und welche Ma\u00dfnahmen erforderlich sind.<\/p>\n
Die Behandlung von Ausrei\u00dfern l\u00e4sst sich normalerweise in zwei Hauptkategorien einteilen: das Entfernen dieser Werte oder die Anwendung von zusammenfassenden Statistiken, die weniger empfindlich auf Ausrei\u00dfer reagieren. Zun\u00e4chst einmal m\u00fcssen wir genau wissen, um welche Zeilen es sich handelt.<\/p>\n
Bis jetzt haben wir nur dar\u00fcber gesprochen, wie man Ausrei\u00dfer visuell identifizieren kann. Es existieren verschiedene Ans\u00e4tze, um festzustellen, welche Beobachtungen als Ausrei\u00dfer betrachtet werden k\u00f6nnen und welche nicht. Ein g\u00e4ngiger Ansatz ist die Methode des modifizierten Z-Scores<\/em>. Bevor wir uns ansehen, wie und warum er ver\u00e4ndert wird, hier die Definition des Z-Scores:<\/p>\n
Z-Score =<\/em> (Datenpunktwert<\/em> \u2013 Mittelwert<\/em>) \/ Standardabweichung<\/em><\/p>\n
Der Grund, warum wir den Z-Score f\u00fcr die Erkennung von Ausrei\u00dfern \u00e4ndern, ist, dass sowohl der Mittelwert als auch die Standardabweichung aufgrund ihrer Berechnungsweise anf\u00e4llig f\u00fcr Ausrei\u00dfer sind. Der modifizierte Z-Score ist definiert als:<\/p>\n
Modifizierter Z-Score =<\/em> (Datenpunktwert<\/em> \u2013 Medianwert<\/em>) \/ Median-<\/em>Absolutabweichung<\/em><\/p>\n
Wie wir in Bezug auf zusammenfassende Statistiken<\/a> gelernt haben, wird der Median nicht von Ausrei\u00dfern beeinflusst. Die Median-Absolutabweichung<\/em> ist der Medianwert<\/em> der absoluten Abweichungen des Datensatzes vom Median<\/em>. Nehmen wir zum Beispiel an, Ihr Datensatz enth\u00e4lt folgende Werte:<\/p>\n
1, 2, 2, 2, 3<\/strong>, 3, 3, 5,9<\/p>\n
Dann ist Ihr Median<\/em> 3 als Wert in der Mitte des Datensatzes. Die Abweichungen von Ihrem Medianwert von 3 in der oben dargestellten Reihenfolge gestalten sich wie folgt:<\/p>\n
2, 1, 1, 1, 0, 0, 0, 2, 5<\/p>\n
Wenn wir diese Abweichungen in aufsteigender Reihenfolge sortieren, erhalten wir:<\/p>\n
0, 0, 0, 1, 1<\/strong>, 1, 2, 2, 5<\/p>\n
Das bedeutet, dass die Median-Absolutabweichung<\/em> in diesem Beispiel 1 w\u00e4re.<\/p>\n
Wie berechnen wir den modifizierten Z-Score f\u00fcr unseren Datensatz f\u00fcr SalePrice? Geben wir JetBrains AI diesen Prompt:<\/p>\n
Gegeben:<\/em><\/p>\n
Modified Z-score = (data point value \u2013 median) \/ median absolute deviation<\/em><\/p>\n
Calculate the Modified Z-score for <\/em>#SalePrice<\/em>\u00a0<\/em><\/p>\n
Das Ergebnis ist folgender Code:<\/p>\n
import pandas as pd\nfrom scipy.stats import median_abs_deviation\n\n\n# Assuming 'data' is your DataFrame and it contains the 'SalePrice' column\n\n\n# Calculate the median for the SalePrice column\nmedian_sale_price = data['SalePrice'].median()\n\n\n# Calculate the Median Absolute Deviation (MAD) for the SalePrice column\nmad_sale_price = median_abs_deviation(data['SalePrice'], scale='normal')\n\n\n# Calculate the Modified Z-scores for the SalePrice column\ndata['Modified_Z_Score'] = (data['SalePrice'] - median_sale_price) \/ mad_sale_price\n\n\n# Display the first few rows with the Modified Z-scores\nprint(data[['SalePrice', 'Modified_Z_Score']].head())<\/pre>\n
Wenn wir die erforderlichen Pakete installieren und diesen Code ausf\u00fchren, k\u00f6nnen wir sehen, dass wir fast fertig sind. Jetzt m\u00fcssen wir entscheiden, was ein Ausrei\u00dfer f\u00fcr unseren SalePrice auf der Grundlage des modifizierten Z-Scores ist. Die allgemeine Meinung hier ist, dass ein Ausl\u00f6ser alles >=3 ist oder <=-3 however, it\u2019s worth noting that like most statistical decisions, it can and should be tailored to your dataset.<\/p>\n
Lassen Sie uns einen weiteren Prompt an JetBrains AI \u00fcbermitteln, damit wir unsere Ausgabe noch mehr anpassen k\u00f6nnen:<\/p>\n
Just list those that have a <\/em>#Modified_Z_Score<\/em> of 3 or above or -3 or below\u00a0<\/em><\/p>\n
Nehmen wir diesen Codeschnipsel und ersetzen wir ihn durch die entsprechenden Zeilen oben:<\/p>\n
# Filter the rows where the Modified Z-score is 3 or above, or -3 or below\noutliers = data[(data['Modified_Z_Score'] >= 3) | (data['Modified_Z_Score'] <= -3)]\n\n\n# Print all the filtered rows, showing their index and SalePrice\noutliers = (outliers[['SalePrice', 'Modified_Z_Score']])\noutliers<\/pre>\n
Der Code wurde ge\u00e4ndert, um die Ausrei\u00dfer in einem neuen DataFrame namens \u201eoutliers\u201c zu speichern und sie auszugeben. So k\u00f6nnen wir sie uns ansehen.<\/p>\n
Unser n\u00e4chster Schritt w\u00e4re, diese Ausrei\u00dfer aus unserem DataFrame zu entfernen. Auch hier k\u00f6nnen wir JetBrains AI verwenden, um den Code mit einem Prompt wie folgendem zu generieren:<\/p>\n
Create a new dataframe without the outliers\u00a0<\/em><\/p>\n
data_without_outliers = data.drop(index=outliers.index)\n\n\n# Display the new DataFrame without outliers\nprint(data_without_outliers)<\/pre>\n
Unser neuer DataFrame \u201edata_without_outliers\u201c schlie\u00dft die Werte aus, bei denen die Variable SalePrice als Ausrei\u00dfer gilt.<\/p>\n
Wir k\u00f6nnen unseren Boxplot-Code aktualisieren, um den neuen DataFrame anzusehen. Der Boxplot zeigt wie erwartet weiterhin unsere positive Verzerrung. Allerdings wurden die Werte, die als Ausrei\u00dfer klassifiziert sind, entfernt:<\/p>\n
import seaborn as sns\nimport matplotlib.pyplot as plt\n\n\n# Create a box plot for SalePrice\nplt.figure(figsize=(10, 6))\nsns.boxplot(x=data_without_outliers['SalePrice'])\nplt.title('Box Plot of SalePrice')\nplt.xlabel('SalePrice')\nplt.show()<\/pre>\n
\"\"<\/figure>\n
Bevor wir hier zum Schluss kommen, lassen Sie uns einen Blick darauf werfen, wie viele Beobachtungen in Prozent aus unserem DataFrame entfernt wurden, weil wir sie auf der Grundlage des SalePrice als Ausrei\u00dfer betrachtet haben.<\/p>\n
Wir k\u00f6nnen dazu einen Prompt wie den folgenden verwenden:<\/p>\n
Calculate the percentage of observations removed between #data and #data_without_outliers<\/em><\/p>\n
# Calculate the number of observations in the original and filtered DataFrames\noriginal_count = len(data)\nfiltered_count = len(data_without_outliers)\n\n# Calculate the number of removed observations\nremoved_count = original_count - filtered_count\n\n# Calculate the percentage of observations removed\npercentage_removed = (removed_count \/ original_count) * 100\n\n# Display the percentage\nprint(f\"Percentage of observations removed: {percentage_removed:.2f}%\")<\/pre>\n
PyCharm teilt uns mit, dass 5,67 % der Beobachtungen entfernt wurden.<\/p>\n
Wie bereits erw\u00e4hnt, sollten Sie, wenn Sie Ihre Ausrei\u00dfer behalten m\u00f6chten, Zusammenfassungswerte verwenden, die weniger anf\u00e4llig f\u00fcr Ausrei\u00dfer sind, z.\u00a0B. Median<\/em> und Interquartilsbereich<\/em>. Sie k\u00f6nnen diese Messungen nutzen, um Ihre Schlussfolgerungen zu ziehen, insbesondere wenn Sie mit Datens\u00e4tzen arbeiten, die Ausrei\u00dfer enthalten, welche Sie nicht ausgeschlossen haben, da diese f\u00fcr die von Ihnen definierte Population und die gew\u00fcnschten Erkenntnisse von Bedeutung sind.<\/p>\n
Fehlende Werte<\/h3>\n
Der schnellste Weg, um fehlende Werte in Ihrem Datensatz zu erkennen, ist Ihre zusammenfassende Statistik. Zur Erinnerung: Klicken Sie in Ihrem DataFrame auf Spaltenstatistik anzeigen<\/em> auf der rechten Seite und w\u00e4hlen Sie dann Kompakt<\/em> aus. Fehlende Werte in den Spalten werden in Rot angezeigt, wie Sie hier f\u00fcr \u201eLot Frontage\u201c in unserem Ames-Housing-Datensatz<\/a> sehen k\u00f6nnen:<\/p>\n
<\/p>\n
Es gibt drei Arten fehlender Daten, die wir ber\u00fccksichtigen m\u00fcssen:<\/p>\n