Dateien im CSV-Format sind zunehmend im Netzwerk vorhanden und können problemlos mit Office-Anwendungen wie Excel verarbeitet werden. Das Problem, auf das wir häufig stoßen, ist, dass die CSV-Dateien zu groß sind und mit herkömmlichen Tools nicht verarbeitet werden können. In diesen Situationen besteht unsere einzige Möglichkeit darin , die große CSV-Datei in kleinere Teile aufzuteilen .
Auf diese Weise erhalten wir mehrere kleinere Dateien, die wir mit unserem üblichen Programm individuell bearbeiten können. Das Problem des Umgangs mit großen CSV-Dateien wird noch deutlicher, wenn wir einen Computer mit sehr begrenztem RAM verwenden. Aus all diesen Gründen konzentrieren sich die Lösungen, auf die wir im Folgenden eingehen, auf die Erreichung unseres Ziels, ohne dass eine sehr leistungsstarke Ausrüstung erforderlich ist, und umfassen Folgendes:
- Verwendung des Konsolenprogramms LargeFileSplitter.
- Programm mit grafischer Oberfläche CSV Splitter.
- EmEditor-Texteditor.
Teilen Sie große CSV-Dateien von der Konsole in Windows mit LargeFileSplitter.
Dies ist meine bevorzugte Option und obwohl die Verwendung der Konsole erforderlich ist, ist es ein einfaches Programm. Das betreffende Programm heißt LargeFileSplitter und ist kostenlos auf GitHub erhältlich . Der Quellcode ist auch in C # verfügbar, sodass wir uns sogar damit anlegen können, wenn wir über die erforderlichen Kenntnisse verfügen. Wir benötigen das .Net Framework 4.5, das auf dem System installiert ist.
Sobald die ausführbare Datei heruntergeladen wurde (aus dem Abschnitt “Releases” von GitHub) , können wir LargeFileSplitter auf zwei Arten ausführen:
- Über die Windows-Befehlskonsole .
- Interaktiv durch Doppelklick auf die ausführbare Datei.
Das Programm benötigt den Pfad, in dem sich die CSV-Datei befindet, die wir teilen möchten, und die Anzahl der Teile, in die wir die Datei teilen möchten. Ein Beispiel für einen Befehl wäre:
LargeFileSplitter.exe "C:PortablesTechnoWikis tutorialesarchivogrande.csv" 5
Es ist wichtig zu beachten, dass der Dateipfad ein Leerzeichen enthält, sodass Sie es in Anführungszeichen setzen müssen.
Das interaktive Ausführen dieses Programms kann einfacher und schneller sein , wobei jeder den Modus wählt, den er am besten mag.
1-TechnoWikis.csv , dass dem Ausgabenamen der erstellten CSV-Dateien eine Nummer vorangestellt wird. Wenn Sie beispielsweise die Datei TechnoWikis.csv in drei Teile aufteilen, werden die resultierenden Dateien als 1-TechnoWikis.csv , 1-TechnoWikis.csv . 2-TechnoWikis.csv und 1-TechnoWikis.csv .
Verwenden Sie das CSV-Splitter-Programm mit grafischer Oberfläche für Windows.
Zweitens bieten wir die Möglichkeit, die kostenlose CSV-Splitter- Software zu verwenden, die uns eine sehr intuitive grafische Oberfläche bietet. Wir müssen nur die Datei auswählen, die wir teilen möchten, die Anzahl der Zeilen anpassen, die jede Dateiteilung haben soll, und die Schaltfläche «Ausführen» drücken.
In diesem Fall wird den Dateinamen, die den verschiedenen Unterteilungen entsprechen, eine numerische Endung hinzugefügt. Wenn die Eingabedatei beispielsweise ” TechnoWikis.csv lautet, TechnoWikis.csv die Namen der Ausgabedateien ” TechnoWikis.csv.000 , ” TechnoWikis.csv.001 , ” TechnoWikis.csv.002 usw.
Der CSV-Splitter kann auch im Konsolenmodus ausgeführt werden . Dazu muss er nur mit einem Befehl wie dem folgenden ausgeführt werden:
CSVSplitter filename="C:PortablesTechnoWikis.csv" outputfolder=" C:Portables" rowcount=10000 firstrowheader=1 repeatheader=1
Nach mehreren Tests kann ich feststellen, dass CSV Splitter weniger effizient ist als unsere vorherige Lösung und bei sehr großen Dateien die Anwendung blockiert wurde . Aus diesem Grund empfehle ich weiterhin LargeFileSplitter als erste Option.
Programm herunterladen: https://www.erdconcepts.com/dbtoolbox/csvsplitter/csvsplitter.zip
Behandeln Sie große CSV-Dateien, ohne sie mit EmEditor zu teilen.
Obwohl wir uns in diesem Tutorial nicht darauf konzentrieren, wie große CSV-Dateien aufgeteilt werden, wollte ich nicht die Möglichkeit außer Acht lassen, diese Dateien direkt zu bearbeiten, ohne sie zu teilen.
Zu diesem Zweck benutze ich normalerweise EmEditor . Ich warne Sie bereits davor, dass es bezahlt wird. Ich muss zugeben, dass EmEditor beeindruckend ist. Es öffnet Dateien in nahezu jeder Größe, ohne viel RAM zu haben .
Wenn Sie regelmäßig mit CSV- oder Textdateien mit einer Größe von mehr als 3 GB arbeiten, ist dies möglicherweise eine gute Option zum Auschecken.