Jenseits der Genauigkeit: Verständnis der Leistungsmetriken von Regressionsmodellen | von Harshita Sharma | INSAID | Juni 2023

0
27


Dabei spielen Regressionsmodelle eine entscheidende Rolle Analysieren Und vorhersagen numerische Ergebnisse in verschiedenen Bereichen, von Finanzen über Gesundheitswesen bis hin zu Advertising and marketing.

Während die Genauigkeit eine Momentaufnahme korrekter Vorhersagen liefert (am besten für Klassifizierungsmodelle), ist sie nicht in der Lage, diese zu erfassen Nuancen Das kann über Erfolg oder Misserfolg eines Regressionsmodells entscheiden. Zum Beispiel ein genaues Modell kann einen voreingenommenen Pattern aufweisenDies führt zu problematischen Vorhersagen für bestimmte Teilmengen von Daten.

Darüber hinaus reicht die Genauigkeit allein nicht aus Ausmaß der Fehler oder der Zuverlässigkeit von Vorhersagen. Um die Leistung des Modells wirklich zu erfassen und seine Praktikabilität einzuschätzen, müssen wir uns in den Bereich von vorwagen Maßgeschneiderte Leistungsmetriken für Regressionsmodelle.

Eine der grundlegenden Leistungsmetriken für Regressionsmodelle ist der mittlere quadratische Fehler (Imply Squared Error, MSE). Es misst die durchschnittliche quadrierte Differenz zwischen den vorhergesagten und den tatsächlichen Werten.

Dabei ist yi die abhängige Variable (ursprüngliche Werte) und ŷi der vorhergesagte Wert

Durch Quadrieren der Differenzen wird die MSE bestraft große Fehler härterund bietet eine umfassende Bewertung der Gesamtleistung des Modells.

A untere MSE bedeutet bessere Modellleistungwas darauf hinweist, dass die Vorhersagen des Modells näher an den wahren Werten liegen.

Während MSE wertvolle Einblicke in die Leistung des Modells liefert, wird es in quadratischen Einheiten gemessen schwierig, intuitiv zu interpretieren.

Der RMSE hingegen ist der Quadratwurzel des MSEwas zu dem führt gleiche Maßeinheit wie die abhängige Variable. Dies ermöglicht einfachere Interpretation Und Verständnis des durchschnittlicher Vorhersagefehler im Originalmaßstab der Daten. Wenn die abhängige Variable beispielsweise in gemessen wird GreenbackDie RMSE wird auch dabei sein Greenbackwas es intuitiver macht.

Wie die MSE, a niedrigerer RMSE zeigt a an genauer Modell.

Der MAE quantifiziert den Durchschnitt absolute Differenz zwischen vorhergesagten und tatsächlichen Werten. Es liefert ein Maß für die typische Größe der Vorhersagefehlerwobei die Richtung (dh Überschätzung oder Unterschätzung) der Fehler außer Acht gelassen wird.

Die Interpretation des MAE-Werts hängt von der Skala und dem Kontext der abhängigen Variablen ab. Da der MAE im gemessen wird dieselben Einheiten wie die abhängige Variablees ist leicht im Originalmaßstab interpretierbar der Daten. A niedrigere MAE zeigt an bessere VorhersagegenauigkeitDies deutet darauf hin, dass die Vorhersagen im Durchschnitt weniger von den tatsächlichen Werten abweichen.

Das MAE ist besonders nützlich, wenn Sie es möchten den typischen absoluten Fehler oder die typische Abweichung in den Vorhersagen verstehen. Es ist weniger sensitiv Zu Ausreißer im Vergleich zum mittleren quadratischen Fehler (MSE) und dem mittleren quadratischen Fehler (RMSE), was ihn zu einem macht robuste Wahl bei Vorliegen extremer Werte.

Sie sind weit verbreitete Leistungsmetriken in der Regressionsanalyse, die Folgendes liefern Einblicke in die Güte der Anpassung eines Regressionsmodells, dh wie viel besser ist eine bestimmte Linie von der Mittellinie. Sie helfen bei der Bewertung wie intestine die unabhängigen Variablen die Variation der abhängigen Variablen erklären.

Betrachten wir ein einfaches Beispiel um das Konzept des R-Quadrats und des angepassten R-Quadrats zu verstehen.

Angenommen, Sie sind ein Datenwissenschaftler, der für a arbeitet Immobilienunternehmen. Ihre Aufgabe ist es, ein Regressionsmodell zu entwickeln Hauspreise vorhersagen basierend auf verschiedenen Merkmale wie die Anzahl der Schlafzimmer, die Quadratmeterzahl und die Lage.

Sie sammeln einen Datensatz von 100 Häusern, zu denen Sie Informationen haben unabhängige Variablen (Anzahl der Schlafzimmer, Quadratmeterzahl, Standort) und das entsprechende abhängige Variable (Hauspreis).

Nachdem Sie das Regressionsmodell erstellt haben, erhalten Sie ein R-Quadrat-Wert von 0,80. Das bedeutet, dass 80 % der Schwankungen der Immobilienpreise können durch die unabhängigen Variablen im Modell erklärt werden. Mit anderen Worten: Die von Ihnen in das Modell einbezogenen Merkmale können 80 % der beobachteten Schwankungen der Immobilienpreise erklären.

Je besser die lineare Regression (rechts) im Vergleich zum einfachen Durchschnitt (linkes Diagramm) an die Daten angepasst ist, desto besser näher der Wert des R-Quadrats an 1 liegt. Die Bereiche der blaue Quadrate repräsentieren die quadrierte Residuen in Bezug auf die lineare Regression. Die Bereiche der rote Quadrate repräsentieren die quadrierte Residuen in Bezug auf den Durchschnittswert.

Es ist jedoch wichtig halten die Anzahl der im Modell verwendeten unabhängigen Variablen. Der Drawback mit R-Quadrat-Wert ist das, auch wenn Sie addieren irrelevante unabhängige Merkmale was nichts mit dem abhängigen Wert des R-Quadrats zu tun hat steigt immer noch. Nehmen wir in unserem Beispiel an, dass wir eine Merkmalsgewichtung einschließen, die nichts mit der Vorhersage des Werts eines Hauses zu tun hat. Der R-Quadrat-Wert erhöht sich, wenn ein weiteres Merkmal hinzugefügt wird. Das nennt man Überschätzung.

Zu Berücksichtigen Sie die mögliche Überschätzung der Erklärungskraft des Modells aufgrund der Einbeziehung unnötiger Variablen berechnen wir die Bereinigtes R-Quadrat. Nehmen wir an, die Stichprobengröße beträgt 100 Häuser, und wir haben fünf unabhängige Variablen.

Bei der Berechnung stellen wir fest, dass die Das angepasste R-Quadrat beträgt 0,75. Dieser angepasste Wert berücksichtigt die Anzahl der unabhängigen Variablen und die Stichprobengröße. A höher Bereinigtes R-Quadrat weist auf eine bessere Passform hin, angesichts der Komplexität des Modells. In diesem Fall deutet es darauf hin, dass die Fünf Variablen erklären zusammen 75 % der Schwankungen der Immobilienpreise und berücksichtigen dabei die Anzahl der Prädiktoren und die Stichprobengröße.

Der Unterschied zwischen R-Quadrat und angepasstem R-Quadrat liegt in der Strafe für die Aufnahme unnötiger Variablen. R-Quadrat dürfen steigen, wenn weitere Variablen hinzugefügt werdenauch wenn sie nur geringe Auswirkungen auf die abhängige Variable haben. Bereinigtes R-Quadratandererseits, gleicht dies aus, indem es den Zusatz bestraft solcher Variablen, was ein genaueres Maß dafür liefert Anpassungsgüte des Modells.

Wenn es um die Regressionsmodellierung geht, wird deutlich, dass die Bewertung der Modellleistung eine erfordert umfangreicher Ansatz.

Jede Metrik enthüllt eine einzigartiger Aspekt der Leistung eines Modellse, was es uns ermöglicht, Vorhersagefehler, Modellanpassung und Komplexität zu bewerten. Diese Metriken gleichen die Einschränkungen der Genauigkeit aus und gewinnen ein tieferes Verständnis für die Fähigkeiten unserer Modelle und passen die Regressionsmodelle wie angegossen an. Ich möchte Sie dringend dazu ermutigen, mit diesen Metriken zu experimentieren und herumzuspielen, um ein tieferes Verständnis der zugrunde liegenden Konzepte zu erlangen.



Source link

HINTERLASSEN SIE EINE ANTWORT

Please enter your comment!
Please enter your name here