So finden und löschen Sie doppelte Dateien unter Linux

Jeden Tag werden in unserem Betriebssystem verschiedene Dateitypen heruntergeladen, erstellt und bearbeitet. In diesem speziellen Fall handelt es sich um Linux. Einer der häufigsten Fehler besteht darin, dass wir häufig mehrere doppelte Dateien haben , die nicht nur einen zusätzlichen Speicherplatz in der Datei belegen Festplatte, aber es kann zu Verwirrung beim Öffnen und Bearbeiten von Dateien führen.

In vielen Fällen haben wir auf unseren Desktops oder Servern verschiedene Dateien, unabhängig vom Format, dupliziert und wir wissen es nicht. Dadurch wird unnötig Speicherplatz belegt und es kann mit einer falschen Datei gearbeitet werden, da wir die eine bearbeiten und die andere öffnen können usw. Ein praktischer Weg, um unsere Arbeitsumgebung besser zu organisieren, besteht darin, diese doppelten Dateien zu erkennen und zu entfernen , sodass auf diese Weise nur eine einzige Datei verwendet werden kann.

Es lohnt sich, diese Aufgabe nicht nur zu erledigen, um Duplikate löschen zu können, sondern auch, um Suchen durchzuführen, bei denen wir Dateien löschen und löschen können, die wir nicht mehr wollen, die wir aber von verschiedenen Teilen des Linux-Betriebssystems wiederholt haben. Es spielt keine Rolle, wie es unter anderem in Fedora, Ubuntu, Debian und CentOS sein kann.

Wir haben zu seiner Zeit gesehen, wie man doppelte Dateien in Windows findet. Hier konzentrieren wir uns auf Linux-Umgebungen, in denen wir sowohl grafische als auch Befehlszeilen-Tools haben, die uns helfen, diese Dateien zu finden und diejenigen zu entfernen, die wir für nicht nützlich halten.

TechnoWikis erklärt, wie doppelte Dateien in Linux auf einfache, aber funktionale Weise erkannt und beseitigt werden können.

Was ist das Dienstprogramm Rdfind?
Rdfind ist ein Befehlszeilenprogramm, das entwickelt wurde, um doppelte Dateien im Verzeichnis zu erkennen. Mit seiner Hilfe können Sicherungsverzeichnisse komprimiert oder doppelte Dateien auf einfache Weise gefunden werden. Dieses Dienstprogramm vergleicht Dateien nach ihrem Inhalt, jedoch nicht nach ihrem Dateinamen, da es auf der Prüfsumme basiert. Rdfind verwendet einen Algorithmus, um die Dateien zu klassifizieren und so zu erkennen, welches der Duplikate das Original ist, und auf diese Weise den Rest als Duplikate zu betrachten. Die Nutzungsregeln von Rdfind sind:

  • Wenn A beim Scannen eines Eingabearguments vor B gefunden wurde, hat A eine höhere Bewertung.
  • Wenn A in einer Tiefe von weniger als B gefunden wurde, hat A eine höhere Bewertung.
  • Wenn A vor B gefunden wurde, hat A eine höhere Bewertung.

Was ist der Rdfind-Algorithmus?
Rdfind verwendet, wie bereits erwähnt, den folgenden Algorithmus, wobei N die Anzahl der zu durchsuchenden Dateien und der erforderliche Aufwand O (Nlog (N)) ist. Rdfind sortiert die Dateien in Inodes, bevor die Festplatte gelesen wird, sodass dieser Prozess schnell ist und nur bei Bedarf Daten von der Festplatte liest. Der Algorithmus verwaltet die folgenden Sequenzen:

  • Für jedes Argument in der Befehlszeile wird eine Schleife erstellt, und jedem Argument wird in aufsteigender Reihenfolge eine Prioritätsnummer zugewiesen.
  • Für jedes Argument wird der Inhalt des Verzeichnisses rekursiv aufgelistet und der Dateiliste zugewiesen.
  • Rdfind weist jedem Argument eine Verzeichnistiefen-Nummer zu, die bei 0 beginnt.
  • Wenn das Eingabeargument eine Datei ist, wird es der Dateiliste hinzugefügt.
  • Anschließend wird die Liste gescannt und die Größe aller Dateien ermittelt.
  • Wenn das Flag “-removeidentinode” wahr ist, werden die bereits hinzugefügten Elemente der Liste entsprechend der Kombination aus Gerätenummer und Inode entfernt.
  • Die Dateien werden nach Größe sortiert. Anschließend werden die Dateien in der Liste gelöscht, die eindeutige Größen haben.
  • Es ist nach Gerät und Inode geordnet (beschleunigt das Lesen von Dateien).
  • Die Dateien in der Liste, die dieselbe Größe, aber unterschiedliche erste Bytes haben, werden gelöscht.
  • Die Prüfsumme wird für jede Datei ausgeführt.
  • Es werden nur Dateien in der Liste mit derselben Größe und Prüfsumme beibehalten. Dies sind die Duplikate.
  • Sortieren Sie die Liste nach Größe, Prioritätsnummer und Tiefe. Die erste Datei jedes Satzes von Duplikaten wird standardmäßig als Original betrachtet.
  • Wenn Sie “-makeresultsfile true” aktivieren, wird die Ergebnisdatei gedruckt (Standardeinstellung).
  • Wenn das Flag “-deleteduplicates true” ist, werden doppelte Dateien gelöscht.
  • Wenn der Indikator “-makesymlinks true” ist, werden die Duplikate durch einen symbolischen Link zum Original ersetzt.
  • Wenn das Ergebnis “-makehardlinks true” ist, werden Duplikate mit Link zum Original ersetzt.
See also  Was es ist und wie man Viren erkennt, Zero Days Malware

1. Suchen Sie doppelte Dateien mit dem Dienstprogramm Rdfind unter Linux

Schritt 1

Um Rdfind unter Linux zu installieren, können wir einen der folgenden Befehle ausführen:

 sudo apt install rdfind (Debian / Ubuntu / Mint) sudo yum installiere epel-release && $ sudo yum installiere rdfind (CentOS / RHEL) sudo dnf installiere rdfind (Fedora) 

1-install-Rdfind-en-Linux.png

Schritt 2

Sobald Rdfind heruntergeladen und installiert ist, führen wir es in einem einfachen Verzeichnis wie folgt aus:

 rdfind / home / TechnoWikis 

2-install-Rdfind-en-Linux.png

Schritt 3

Dort können wir sehen, dass die Anzahl der Dateien in diesem Verzeichnis erkannt wird und angezeigt wird, ob sie gelöscht wurden oder keine doppelten Dateien vorhanden sind. Das Dienstprogramm Rdfind speichert die Ergebnisse in einer Datei results.txt, die sich in demselben Verzeichnis befindet, in dem Sie das Programm ausgeführt haben. Der Inhalt wird mit cat angezeigt:

 cat results.txt 

3-utility-Rdfind.png

Schritt 4

Eine zusätzliche Aufgabe für rdfind ist die Verwendung des Parameters “-dryrun”, mit dem eine Liste der Duplikate angezeigt wird, ohne dass eine Aktion ausgeführt werden muss:

 rdfind -dryrun true / home / TechnoWikis 

4-list-of-duplicates-linux.png

Schritt 5

Falls Duplikate erkannt werden, können diese auch durch Hardlinks ersetzt werden.

 rdfind -makehardlinks true / home / user 
Schritt 6

Um die Duplikate zu beseitigen, müssen wir Folgendes ausführen:

 rdfind -deleted dupliziert true / home / user 
Schritt 7

Um auf die Hilfe von Rdfind zuzugreifen, verwenden wir den folgenden Befehl:

 Mann rdfind 

2. Suchen Sie mit dem Dienstprogramm Fdupes unter Linux nach doppelten Dateien

Eine andere Option, die wir in Linux haben, um diese doppelten Dateien zu validieren, ist Fdupes. Es ist ein Befehlszeilen-Tool, mit dem wir genau beobachten können, welche Dateien Duplikate im System haben. Fdupes ist ein Programm, das entwickelt wurde, um doppelte Dateien in bestimmten Verzeichnissen unter Linux zu identifizieren oder zu entfernen. Es ist Open Source, kostenlos und in C geschrieben.

Eigenschaften von Fdupes
Fdupes verwendet die folgenden Methoden, um doppelte Dateien in Verzeichnissen zu ermitteln:

  • Vergleich partieller md5sum-Signaturen.
  • Vergleich aller md5sum-Signaturen.
  • Überprüfung des Vergleichs byteweise.
See also  So erstellen Sie Berichte zu aureport-Überwachungsdatensätzen in Centos 7

Bei der Verwendung von Fdupes haben wir Verwendungsoptionen wie:

  • Rekursive Suche
  • Leere Dateien ausschließen.
  • Stellen Sie die Größe doppelter Dateien bereit.
  • Duplikate sofort entfernen.
  • Schließen Sie Dateien mit unterschiedlichen Eigentümern aus.

Schritt 1

Standardmäßig ist dieses Tool nicht installiert, daher müssen wir den folgenden Befehl für die Installation eingeben. Um Fdupes zu installieren, führen wir den folgenden Befehl aus:

 sudo apt install fdupes 

5-Suchen-Sie-nach-doppelten-Dateien-mit-dem-Dienstprogramm-Fdupes-de-Linux.png

Schritt 2

Einmal heruntergeladen, können wir die folgende Zeile für eine einfache Suche ausführen. Dort werden die doppelten Dateien angezeigt.

 fdupes / route zu suchen 

6-fdupes-ruta-a-buscar.png

Schritt 3

Um eine rekursive Suche auszuführen, verwenden wir die folgende Zeile:

 fdupes -r / Route zu suchen 

7-Search-files-duplicates-with-the-utility-Fdupes.png

Schritt 4

Es ist auf folgende Weise möglich, mehrere Verzeichnisse und ein Verzeichnis für die rekursive Suche anzugeben:

 fdupes <dir1> -r <dir2> 
Schritt 5

Wenn Fdupes die Größe der doppelten Dateien berechnen soll, verwenden wir die Option -S:

 fdupes -S <dir> 

8-Fdupes-berechne-die-größe-der-dateiduplikate.png

Schritt 6

Um zusammenfassende Informationen zu den gefundenen Dateien zu sammeln, verwenden wir die Option -m:

 fdupes -m <dir> 

9-archivos-encontrados - fdupes.png

Schritt 7

Wenn Sie alle Duplikate löschen möchten, führen wir Folgendes aus:

 fdupes -d <dir> 
Schritt 8

Wenn wir auf die Hilfe des Dienstprogramms zugreifen möchten, führen wir Folgendes aus:

 fdupes -help 
Schritt 9

Einige der allgemeinen Verwendungsmöglichkeiten sind:

Greifen Sie für jedes ausgewählte Verzeichnis auf seine Unterverzeichnisse zu
 -r -recurse 

Aktivieren Sie die rekursive Suche
 -R --recurse 

Erstellen Sie symbolische Links
 -s -symlinks 

Wenn zwei oder mehr Dateien auf dasselbe Ziel verweisen, werden sie als nicht dupliziert behandelt
 -H-Hardlinks 

Schließen Sie Dateien mit der Länge Null aus
 -n -noempty 

Versteckte Dateien ausschließen
 -A -nicht versteckt 

Zeigt die Größe doppelter Dateien an
 -S-Größe 

Löschen Sie die ausgewählten Dateien
 -d -delete 

Verstecke die -q-Stille
 -q-leise 

Wählen Sie die Sortierreihenfolge für die Ausgabe und das Löschen nach Datei
 -o - ***** = BY 

Optionen zum Entfernen von Protokolldateien in LOGFILE
 -l --log = LOGFILE 

Stellen Sie die Fdupes-Version bereit
 -v -version 

Zeigen Sie die Hilfemeldung an
 -h - hilfe 

3. Suchen Sie unter Linux mit dem Dienstprogramm FSlint nach doppelten Dateien

Ein weiteres, das wir verwenden werden, ist FSlint, das standardmäßig in den verschiedenen Linux-Ditros wie Ubuntu, Debian, Fedora usw. enthalten ist. Um mehr über FSlint zu erfahren, können wir den folgenden Link besuchen:

Offizieller Flint
Schritt 1

Wir können FSlint im Menü “Aktivitäten” nach seiner Verwendung durchsuchen. fslint.jpg

Schritt 2

Nach dem Öffnen muss die Anwendung installiert werden. Dazu genügt es, auf die Schaltfläche Installieren zu klicken, und der Installationsvorgang des Dienstprogramms beginnt. fslint-2.jpg

Schritt 3

Sobald das Tool installiert wurde, fahren wir mit seiner Ausführung fort und sehen die folgende Umgebung:

See also  Wie Sie verhindern, dass WhatsApp-Gespräche ausspioniert werden, Telegramm

fslint-3.jpg

Schritt 4

Um den Suchvorgang für alle doppelten Dateien zu starten, klicken Sie auf die Schaltfläche “Suchen” am unteren Rand. Das Ergebnis ähnelt diesem. Dort können wir die nicht benötigten Dateien auswählen und über die Schaltfläche Löschen löschen. Das FSlint-Tool kann auch vom Terminal in Ubuntu 16 aus verwendet werden.

fslint-4.jpg

Schritt 5

Wenn wir das Tool vom Terminal aus installieren möchten, geben wir den folgenden Befehl ein:
sudo apt-get installiere fslint

fslint-5.jpg

Schritt 6

Sobald FSlint installiert ist, geben wir die folgenden Befehle ein, um FSlint zu verwenden. Wir können sehen, dass alle Dateien, die wir im System dupliziert haben, angezeigt werden.

 cd / usr / share / fslint / fslint (Dies ist der Standardpfad in Ubuntu) ./fslint / Pfad zum Suchen von Dateien 

fslint-6.jpg

Wichtiger Hinweis
Keines dieser Tools löscht die doppelten Dateien, zeigt uns nur, um was es sich handelt, und wir müssen diese Aufgabe manuell ausführen.

Wir können sehen, dass wir zwei praktische Optionen haben, um doppelte Dateien in Linux-Umgebungen zu erkennen und zu beseitigen und so den Speicherplatz und die zu verwendenden Dateien besser zu verwalten.

administrator

Leave a Reply

Your email address will not be published. Required fields are marked *