Techniken zur Merkmalsauswahl und Dimensionsreduzierung | von Muhammad Dawood | Juni 2023

Im Bereich des maschinellen Lernens und der Datenanalyse spielen Techniken zur Merkmalsauswahl und Dimensionsreduktion eine entscheidende Rolle. Ziel dieser Techniken ist es, die Leistung von Modellen zu verbessern, indem relevante Merkmale ausgewählt und die Anzahl der Dimensionen im Datensatz reduziert werden. In diesem Artikel werden wir verschiedene Methoden zur Merkmalsauswahl und Dimensionsreduzierung untersuchen und ihre Bedeutung für die Verbesserung der Effizienz und Effektivität der Datenanalyse diskutieren. Wir werden auch Codierungsbeispiele bereitstellen, um zu demonstrieren, wie diese Techniken in die Praxis umgesetzt werden können.

Bei der Characteristic-Auswahl wird eine Teilmenge relevanter Options aus einer größeren Menge von Options in einem Datensatz ausgewählt. Ziel ist es, die informativsten und diskriminierendsten Merkmale zu identifizieren, die wesentlich zur Vorhersagekraft des Modells beitragen. Durch die Auswahl der richtigen Funktionen können wir die Genauigkeit des Modells verbessern, Überanpassungen reduzieren und die Interpretierbarkeit verbessern.

Die Merkmalsauswahl bietet mehrere Vorteile bei der Datenanalyse:

• Verbesserte Modellleistung: Indem wir nur die relevanten Merkmale auswählen, können wir die Aufmerksamkeit des Modells auf die informativsten Aspekte der Daten richten, was zu einer besseren Vorhersageleistung führt.
• Reduzierte Überanpassung: Hochdimensionale Datensätze mit zahlreichen irrelevanten Merkmalen können zu einer Überanpassung führen, bei der das Modell Rauschen oder falsche Muster lernt. Durch die Funktionsauswahl wird dieses Downside gemildert, indem irrelevante Funktionen eliminiert werden.
• Verbesserte Interpretierbarkeit: Ein reduzierter Funktionsumfang erleichtert die Interpretation und das Verständnis der zugrunde liegenden Faktoren, die die Vorhersagen des Modells beeinflussen.

Es gibt drei Haupttypen von Characteristic-Auswahltechniken:

Filtermethoden ordnen Options basierend auf statistischen Metriken oder heuristischen Maßen. Diese Methoden bewerten die Relevanz jedes Merkmals unabhängig vom Lernalgorithmus. Zu den beliebten Filtermethoden gehören:

• Korrelationsbasierte Merkmalsauswahl (CFS): Bewertet die Korrelation zwischen Options und der Zielvariablen.
• Informationsgewinn: Misst die Verringerung der Entropie oder Verunreinigung nach Einbeziehung eines bestimmten Options.

Wrapper-Methoden bewerten Teilmengen von Funktionen, indem sie ein bestimmtes Modell für maschinelles Lernen trainieren und testen. Sie bewerten die Leistung des Modells mit verschiedenen Funktionsteilmengen, um die optimale Funktionsmenge zu ermitteln. Beispiele für Wrapper-Methoden sind:

• Eliminierung rekursiver Merkmale (RFE): Beginnt mit allen Funktionen und eliminiert rekursiv die unwichtigsten.
• Genetische Algorithmen (GA): Verwendet einen evolutionären Algorithmus, um nach einer optimalen Funktionsteilmenge zu suchen.

Eingebettete Methoden integrieren die Funktionsauswahl in den Modelltrainingsprozess selbst. Das Modell wählt automatisch die relevantesten Merkmale aus und lernt dabei die Muster in den Daten. Gängige eingebettete Methoden sind:

• L1-Regularisierung (Lasso): Führt einen Strafterm in die Verlustfunktion ein und fördert so die Sparsamkeit der Merkmalsgewichte.
• Wichtigkeit baumbasierter Merkmale: Analysiert die Bedeutung von Options basierend auf ihrem Beitrag zum Entscheidungsbaummodell.

Unter Dimensionsreduktion versteht man Techniken, die einen hochdimensionalen Datensatz in eine niedrigerdimensionale Darstellung umwandeln und dabei seine wesentliche Struktur und Eigenschaften beibehalten. Ziel ist es, die Rechenkomplexität zu reduzieren, die Visualisierung zu verbessern und redundante oder verrauschte Funktionen zu eliminieren.

Die Reduzierung der Dimensionalität bietet mehrere Vorteile:

• Verbesserte Recheneffizienz: Die Reduzierung der Anzahl der Dimensionen vereinfacht die Datendarstellung und beschleunigt den Trainings- und Inferenzprozess.
• Erweiterte Visualisierung: Durch die Reduzierung des Datensatzes auf zwei oder drei Dimensionen können wir die Daten effektiver visualisieren und untersuchen.
• Rauschen und Ausreißerentfernung: Techniken zur Dimensionsreduzierung können dabei helfen, verrauschte Merkmale oder Ausreißer herauszufiltern, die sich negativ auf die Leistung des Modells auswirken können.

Lassen Sie uns drei weit verbreitete Techniken zur Dimensionsreduktion untersuchen:

PCA ist eine lineare Dimensionsreduktionsmethode, die einen neuen Satz orthogonaler Achsen, sogenannte Hauptkomponenten, in den Daten identifiziert. Diese Komponenten erfassen die maximale Varianz im Datensatz. PCA wird häufig zur Visualisierung hochdimensionaler Daten und deren Komprimierung ohne nennenswerten Informationsverlust eingesetzt.

LDA ist eine überwachte Dimensionsreduktionstechnik, die häufig bei Klassifizierungsaufgaben verwendet wird. Ziel ist es, die Trennbarkeit zwischen verschiedenen Klassen zu maximieren, indem eine Projektion gefunden wird, die die Streuung zwischen den Klassen maximiert und die Streuung innerhalb der Klasse minimiert.

t-SNE ist eine nichtlineare Dimensionsreduktionstechnik, die für ihre Fähigkeit bekannt ist, die lokale Struktur der Daten zu bewahren. Dies ist besonders nützlich für die Visualisierung komplexer Datensätze in zwei oder drei Dimensionen, bei denen die Nähe von Punkten ihre Ähnlichkeit widerspiegelt.

Während sowohl die Merkmalsauswahl als auch die Dimensionsreduktion darauf abzielen, die Anzahl der Merkmale zu reduzieren, unterscheiden sie sich in ihrem Ansatz:

• Merkmalsauswahl: Wählt eine Teilmenge relevanter Options aus und behält dabei den ursprünglichen Characteristic-Raum bei. Der Schwerpunkt liegt auf der Identifizierung der aussagekräftigsten Merkmale für die Modellierung.
• Dimensionsreduktion: Projiziert die Daten auf einen niedrigerdimensionalen Raum, indem der Merkmalsraum transformiert wird. Das Ziel besteht darin, eine komprimierte Darstellung zu erstellen, die das Wesentliche der Originaldaten erfasst.

Um Techniken zur Merkmalsauswahl und Dimensionsreduzierung im Iris-Datensatz mithilfe von Seaborn zu implementieren, müssen wir den Datensatz zunächst mithilfe der integrierten Funktion von Seaborn laden load_dataset Funktion. Hier ist ein Beispiel, wie Sie das tun können:

import seaborn as sns
from sklearn.feature_selection import SelectKBest, chi2
from sklearn.decomposition import PCA
# Load the Iris dataset from seaborn
iris_data = sns.load_dataset('iris')
X = iris_data.drop('species', axis=1)
y = iris_data['species']
# 1. Characteristic Choice with SelectKBest and chi2
# Apply characteristic choice
selector = SelectKBest(score_func=chi2, ok=2)
X_new = selector.fit_transform(X, y)
# Print the chosen options
selected_features = selector.get_support(indices=True)
print("Chosen options:", selected_features)
# 2. Dimensionality Discount with PCA
# Apply PCA for dimensionality discount
pca = PCA(n_components=2)
X_pca = pca.fit_transform(X)
# Print the defined variance ratio
print("Defined variance ratio:", pca.explained_variance_ratio_)
# Print the reworked information after dimensionality discount
print("Reworked information after PCA:")
print(X_pca)

Im obigen Code importieren wir Seaborn sns und laden Sie den Iris-Datensatz mit load_dataset('iris'). Anschließend trennen wir die Options (X) und die Zielvariable (y).

Als nächstes wenden wir zwei Techniken an:

1. Funktionsauswahl: Wir verwenden die SelectKBest Klasse mit dem chi2 Rating-Funktion, um die beiden besten Options aus dem Datensatz auszuwählen. Der fit_transform Die Methode wird verwendet, um die Daten so umzuwandeln, dass sie nur die ausgewählten Options enthalten.
2. Dimensionsreduktion: Wir verwenden die PCA Klasse zur Durchführung einer Hauptkomponentenanalyse (PCA) zur Dimensionsreduktion. Wir spezifizieren n_components=2 um die Daten auf zwei Dimensionen zu reduzieren. Der fit_transform Die Methode wird verwendet, um die Daten entsprechend umzuwandeln.

Abschließend drucken wir die ausgewählten Merkmale, das erklärte Varianzverhältnis (für PCA) und die transformierten Daten nach Dimensionsreduktion.

Techniken zur Merkmalsauswahl und Dimensionsreduktion sind wesentliche Werkzeuge im Bereich des maschinellen Lernens und der Datenanalyse. Sie ermöglichen es uns, relevante Informationen aus hochdimensionalen Datensätzen zu extrahieren, die Modellleistung zu verbessern und Einblicke in die zugrunde liegenden Datenmuster zu gewinnen. Durch die Auswahl der geeigneten Technik und deren korrekte Implementierung können wir unsere Modelle optimieren und genauere Vorhersagen treffen.