Copy.deepcopy() vs clone() in Pytorch | von Shittu Olumide Ayodeji | Juni 2023

PyTorch hat sich zu einem beliebten Deep-Studying-Framework in der Group des maschinellen Lernens entwickelt. Das Erstellen von Duplikaten von Elementen ist eine häufige Anforderung für Entwickler und Forscher, die PyTorch verwenden. Um den Zustand eines Modells beizubehalten, eine Datenerweiterung bereitzustellen oder eine parallele Verarbeitung zu ermöglichen, ist es wichtig, die Unterschiede zwischen den Kopien zu verstehen. Es ist wichtig, das zu verwenden copy.deepcopy() Und clone() Methoden.

In diesem Artikel untersuchen wir die Nuancen verschiedener Objektkopiermethoden in PyTorch und ihre Anwendungen, Leistungsprobleme und Greatest Practices für die Auswahl der geeigneten Methode.

In PyTorch ist das copy.deepcopy() Die Funktion ist ein leistungsstarkes Werkzeug zum Erstellen tiefer Kopien von Objekten, einschließlich Tensoren und anderen PyTorch-spezifischen Objekten. Es gehört zum copy Modul in der Python-Standardbibliothek. Es ermöglicht uns, unabhängige Kopien von Objekten zu erstellen und sicherzustellen, dass Änderungen am Originalobjekt keine Auswirkungen auf das kopierte Objekt haben.

Verstehen copy.deepcopy() Lassen Sie uns in PyTorch den Funktionsmechanismus und die Vorteile erkunden, die es bietet:

1. Rekursives Kopieren: copy.deepcopy() Durchläuft rekursiv die Objekthierarchie und erstellt eine Kopie jedes angetroffenen Objekts. Dies bedeutet, dass das Objekt der obersten Ebene und alle seine verschachtelten Objekte dupliziert werden.
2. Unabhängige Speicherzuweisung: Wenn copy.deepcopy() Es erstellt eine Kopie eines Objekts und weist dem kopierten Objekt neuen Speicher zu. Dadurch wird sichergestellt, dass die ursprünglichen und kopierten Objekte über separate Speicherbereiche verfügen und völlig unabhängig sind.
3. Umgang mit komplexen Strukturen: Einer der Hauptvorteile von copy.deepcopy() ist seine Fähigkeit, mit komplexen verschachtelten Strukturen umzugehen. Dies ist besonders nützlich, wenn Sie mit PyTorch-Modellen arbeiten, die aus Ebenen, Parametern, Verläufen und anderen miteinander verbundenen Komponenten bestehen. copy.deepcopy() stellt sicher, dass jedes Component innerhalb des Modells korrekt repliziert wird, ohne dass Referenzen gemeinsam genutzt werden müssen, wodurch die Integrität der ursprünglichen Struktur gewahrt bleibt.
4. Unveränderliche und veränderliche Objekte: copy.deepcopy() eignet sich sowohl für unveränderliche als auch für veränderliche Objekte. Unveränderliche Objekte wie Tensoren erfordern tiefes Kopieren, um die Integrität aufrechtzuerhalten. Andererseits profitieren veränderliche Objekte wie Pay attention oder Wörterbücher vom Deep Copying, um unbeabsichtigte Änderungen zu vermeiden.
5. Anwendungsfälle: copy.deepcopy() findet Anwendung in verschiedenen Szenarien. Wenn wir beispielsweise Deep-Studying-Modelle trainieren, müssen wir möglicherweise in verschiedenen Phasen Kopien des Modells erstellen, um den Trainingsfortschritt zu vergleichen oder eine Modellzusammenstellung durchzuführen. Wenn Sie außerdem mit komplexen Datenstrukturen arbeiten oder Objektzustände während der Programmausführung beibehalten, copy.deepcopy() stellt sicher, dass wir über unabhängige Kopien verfügen, mit denen wir arbeiten können.

Es ist wichtig, dies zu beachten copy.deepcopy() Bietet eine umfassende und unabhängige Kopie von Objekten, kann jedoch rechenintensiv und speicherintensiv sein. Das Durchlaufen und Duplizieren großer Objekthierarchien kann die Ausführungszeiten und den Speicherverbrauch erhöhen. Daher ist es bei der Entscheidung zur Verwendung von entscheidender Bedeutung, die Kompromisse zwischen Genauigkeit, Leistung und Speicherverbrauch abzuwägen copy.deepcopy() in PyTorch.

Implementierung

import torch
import copy

Zuerst importieren wir die erforderlichen Bibliotheken, einschließlich PyTorch und copy Modul zur Verwendung deepcopy().

# Making a pattern PyTorch tensor
tensor = torch.tensor([1, 2, 3])

Wir beginnen mit der Erstellung eines Beispiel-PyTorch-Tensors. Dieser Tensor dient als Beispielobjekt, das wir kopieren möchten deepcopy().

# Making a deepcopy of the tensor
tensor_copy = copy.deepcopy(tensor)

Als nächstes verwenden wir copy.deepcopy() um eine tiefe Kopie davon zu erstellen tensor Objekt. Wir weisen den kopierten Tensor zu tensor_copy.

# Modifying the unique tensor
tensor[0] = 10

Hier modifizieren wir das Authentic tensor Objekt durch Ändern des Werts seines ersten Components auf 10.

print(tensor)
# Output: tensor([10,  2,  3])

Drucken des Originals tensor bestätigt, dass die Änderung erfolgreich conflict und das erste Component jetzt 10 ist.

print(tensor_copy)
# Output: tensor([1, 2, 3])

Wenn wir jedoch das drucken tensor_copy, können wir beobachten, dass es unverändert bleibt. Dieses Verhalten zeigt die Wirksamkeit von copy.deepcopy(). Es erstellt eine völlig unabhängige Kopie des Originalobjekts und stellt sicher, dass Änderungen am Originalobjekt keine Auswirkungen auf das kopierte Objekt haben.

Der copy.deepcopy() In diesem Beispiel führt die Funktion eine rekursive Durchquerung des Tensorobjekts durch und kopiert dabei jedes Component und die zugrunde liegende Speicherzuordnung. Durch diesen Prozess wird sichergestellt, dass Änderungen am ursprünglichen Tensor nicht auf den kopierten Tensor übertragen werden.

Durch die Nutzung copy.deepcopy() In PyTorch können wir völlig unabhängige Kopien komplexer Objekte wie neuronaler Netzwerkmodelle erstellen und so deren Zustand beibehalten, Experimente durchführen oder verschiedene Versionen ohne unbeabsichtigte Nebenwirkungen vergleichen.

In PyTorch ist das clone() Die Methode erstellt eine flache Kopie eines Objekts. nicht wie copy.deepcopy()das eine unabhängige Kopie der gesamten Objekthierarchie erstellt, clone() Arbeitet hauptsächlich am Objekt der obersten Ebene und klont alle verschachtelten Objekte innerhalb dieser Hierarchie. Der Hauptunterschied liegt in der Ebene der Objekthierarchie, die sie kopieren.

Wenn wir anrufen clone() Auf einem PyTorch-Objekt wird ein neues Objekt erstellt, das den zugrunde liegenden Speicher mit dem ursprünglichen Objekt teilt. Der Speicherinhalt wird jedoch dupliziert, wodurch sichergestellt wird, dass das geklonte Objekt seine Unabhängigkeit vom Authentic behält. Das bedeutet, dass Änderungen am geklonten Objekt keinen Einfluss auf das Authentic haben und umgekehrt.

Die oberflächliche Kopiernatur von clone() macht es speichereffizienter und schneller als copy.deepcopy() beim Umgang mit großen Objekten oder Szenarios, bei denen eine vollständige Tiefenkopie nicht erforderlich ist. Anstatt die gesamte Objekthierarchie zu durchlaufen, clone() Der Schwerpunkt liegt auf der Duplizierung der Attribute der obersten Ebene und der Referenzierung aller verschachtelten Objekte unter Beibehaltung der gemeinsamen Speichernutzung.

Eine wichtige Sache, die es zu beachten gilt, ist Folgendes clone() ist speziell für die Arbeit mit PyTorch-Tensoren und -Objekten konzipiert. Es stellt sicher, dass der Tensorspeicher gemeinsam genutzt wird, während unabhängige Instanzen des Tensors erstellt werden, was eine effiziente Berechnung und Speichernutzung ermöglicht. Dieses Verhalten ist clone() Besonders nützlich bei der Arbeit mit PyTorch-Modellen, da redundante Speicherzuweisungen und Kopiervorgänge vermieden werden.

Es ist jedoch wichtig, die Einschränkungen zu verstehen clone(). Da es ein flaches Kopieren durchführt, werden alle Änderungen, die am gemeinsam genutzten zugrunde liegenden Speicher in einem Objekt vorgenommen werden, in den anderen Objekten widergespiegelt, die diesen Speicher gemeinsam nutzen. Daher ist die Verwendung von entscheidender Bedeutung clone() sorgfältig durch und berücksichtigen Sie die Veränderlichkeit der kopierten Objekte. In Fällen, in denen eine vollständige unabhängige Kopie erforderlich ist, copy.deepcopy() bleibt die sicherere Possibility.

Implementierung

import torch
# Create a PyTorch tensor
original_tensor = torch.tensor([1, 2, 3, 4, 5])
# Clone the tensor utilizing the clone() methodology
cloned_tensor = original_tensor.clone()
# Modify the cloned tensor
cloned_tensor[0] = 10
# Print the unique and cloned tensors
print("Authentic tensor:", original_tensor)
print("Cloned tensor:", cloned_tensor)

Erläuterung:

1. Wir beginnen mit dem Importieren der erforderlichen PyTorch-Bibliothek mit import torch.
2. Als nächstes erstellen wir einen PyTorch-Tensor mit dem Namen original_tensor Verwendung der torch.tensor() Methode. In diesem Beispiel initialisieren wir es mit den Werten [1, 2, 3, 4, 5].
3. Um einen Klon davon zu erstellen original_tensorwir benutzen das clone() Methode und weisen Sie sie der zu cloned_tensor Variable. Dadurch wird eine flache Kopie des Tensors erstellt, was bedeutet, dass der zugrunde liegende Speicher zwischen dem ursprünglichen und dem geklonten Tensor geteilt wird.
4. Wir modifizieren das erste Component des cloned_tensor indem Sie ihm den Wert 10 zuweisen cloned_tensor[0].
5. Schließlich drucken wir sowohl den ursprünglichen als auch den geklonten Tensor aus, um die Unterschiede zu beobachten.

Ausgang:

Authentic tensor: tensor([1, 2, 3, 4, 5])
Cloned tensor: tensor([10,  2,  3,  4,  5])

Die Ausgabe zeigt, dass die am geklonten Tensor vorgenommene Änderung (Änderung des ersten Components auf 10) keine Auswirkungen auf den ursprünglichen Tensor hatte. Dies zeigt, dass die clone() Die Methode erstellt eine unabhängige Kopie des Objekts der obersten Ebene (Tensor) und teilt gleichzeitig den zugrunde liegenden Speicher.

Es ist wichtig, das zu beachten clone() kann auf verschiedene PyTorch-Objekte angewendet werden, einschließlich Tensoren, Modellen und anderen komplexen Strukturen. Das Verhalten bleibt dasselbe: Erstellen einer flachen Kopie des Objekts unter Beibehaltung der gemeinsamen Speichernutzung.

Bei der Auswahl der geeigneten Methode zwischen clone() Und copy.deepcopy() In PyTorch ist es wichtig, die folgenden Greatest Practices zu berücksichtigen:

1. Verstehen Sie die Objekthierarchie: Analysieren Sie die Struktur und Komplexität des Objekts, das wir kopieren möchten. Wenn die Objekthierarchie einfach und flach ist, clone() könnte ausreichen. Wenn die Hierarchie jedoch komplex mit verschachtelten Objekten und gegenseitigen Abhängigkeiten ist, copy.deepcopy() ist besser geeignet, eine völlig unabhängige Kopie zu gewährleisten.
2. Berücksichtigen Sie die Speichernutzung: Bewerten Sie den Speicherverbrauch unserer Anwendung. Wenn das Gedächtnis ein Downside darstellt und wir große Objekte haben, clone() ist im Allgemeinen speichereffizienter, da die Duplizierung von Speicher für die gesamte Objekthierarchie vermieden wird. Bedenken Sie jedoch, dass die gemeinsame Nutzung von Speicher zu Abhängigkeiten führen kann und bei der Änderung gemeinsam genutzter Daten Vorsicht geboten ist.
3. Bewerten Sie die Leistungsanforderungen: Berücksichtigen Sie die Leistungsanforderungen unserer Anwendung. Arbeiten mit großen Objekten oder rechenintensiven Aufgaben clone() ist in der Regel schneller, da es sich um eine flache Kopierfunktion handelt. Andererseits, copy.deepcopy() kann aufgrund der rekursiven Durchquerung der gesamten Objekthierarchie langsamer sein.
4. Bewerten Sie die Veränderlichkeit von Objekten: Berücksichtigen Sie die Veränderlichkeit der Objekte, mit denen wir arbeiten. Wenn das Objekt veränderbar ist und nachfolgende Änderungen keine Auswirkungen auf das Authentic haben sollten, copy.deepcopy() ist die sicherere Variante. clone() eignet sich besser für unveränderliche Objekte oder Situationen, in denen gemeinsam genutzter Speicher akzeptabel ist.
5. Messen und vergleichen: Benchmarken und Profilieren unseres Codes, um die Leistung und Speicherauswirkungen jeder Methode in unserem spezifischen Anwendungsfall zu messen. Diese empirischen Daten können uns bei unserer Entscheidung helfen und den effizientesten Ansatz ermitteln.
6. Nutzen Sie die speziellen Methoden von PyTorch: Beachten Sie, dass PyTorch zusätzliche spezialisierte Methoden bereitstellt, z tensor.clone() Und tensor.detach(), die spezifischere Möglichkeiten zum Erstellen von Kopien basierend auf unterschiedlichen Anforderungen bieten. Überlegen Sie, ob diese speziellen Methoden besser zu unseren Bedürfnissen passen.

Abschließend ist die copy.deepcopy() Und clone() Die Techniken von PyTorch sind nützlich zum Erstellen von Kopien von Objekten, weisen jedoch wesentliche Unterschiede auf.

Der copy.deepcopy() Funktion ist eine Allzweckmethode, die in Pythons „Kopieren” Modul. Es erstellt eine tiefe Kopie eines Objekts, einschließlich aller verschachtelten Objekte, indem jedes Component rekursiv kopiert wird. Diese Technik eignet sich, wenn Sie eine unabhängige Kopie eines Objekts und der zugehörigen Daten benötigen. Allerdings kann es langsamer sein und mehr Speicher verbrauchen als andere Techniken.

Andererseits ist die Methode „clone()“ spezifisch für PyTorch und dient dazu, eine flache Kopie eines Tensors oder eines Moduls zu erstellen. Es erstellt einen neuen Tensor oder ein neues Modul mit denselben Datenreferenzen wie das ursprüngliche Objekt. Diese Technik ist hinsichtlich der Speichernutzung effizient und kann schneller sein als copy.deepcopy() da es das rekursive Kopieren verschachtelter Objekte vermeidet. Dies ist besonders nützlich, wenn Sie eine einfache Kopie erstellen oder mit großen Tensoren oder komplexen Modellen arbeiten.

Und durch die Greatest Practices in diesem Artikel können wir eine fundierte Entscheidung treffen und die am besten geeignete Methode auswählen clone() oder copy.deepcopy()basierend auf den spezifischen Anforderungen unserer PyTorch-Anwendung.