exaktes Dateiformat für mbox-Dateien

Um Rückfragen vorzubeugen, bitten wir um folgende Angaben:

• Thunderbird-Version: 60.3.0
• Betriebssystem + Version: Windows 10 Pro 1803
• Kontenart (POP / IMAP): IMAP
• Postfach-Anbieter (z.B. GMX): eigener IMAP-Server
• Eingesetzte Antiviren-Software: Windows Defender
• Firewall (Betriebssystem-intern/Externe Software): Windows
• Router-Modellbezeichnung (bei Sende-Problemen): -

Ich habe von verschiedenen überlappenden Backups 469 mbox-Dateien von Thunderbird mit insgesamt 287000 Mails die ich deduplizieren möchte. Diese konnte ich mit dem ImportExportTools-Addon importieren, aber sowohl Deduplizieren als auch Kopieren auf einen IMAP-Server um sie mit einem anderen Client oder direkt auf dem Server zu sortieren führt zu einer Fehlermeldung oder zum Programmabsturz. Bei der doch relativ großen Anzahl ist es für mich zu einem großen Teil auch nachvollziehbar dass es eben Grenzen gibt.

Ich würde die Mails daher gerne außerhalb von Thunderbird deduplizieren, benötige sie dafür aber als einzelne Dateien. Mein erster Gedanke war, dass Thunderbird jetzt ja auch Maildir als Speicherformat unterstützt (ergibt dann eine Datei pro Mail) und ich einfach konvertieren kann. Aber auch das wurde mit der Fehlermeldung "... fehlgeschlagen" abgebrochen.

Die mbox-Dateien lassen sich aber durch den eigentlich sehr einfachen Aufbau auch direkt leicht in einzelne Dateien (1 pro Mail) zerlegen. Vom mbox-Format gibt es mehrere Varianten und Thunderbird soll die mboxrd-Variante verwenden (mboxrd denke ich verstanden zu haben), aber leicht andere Quoting-Rules. Leider finde ich genau zu diesen kleinen Unterschieden zum normalen mboxrd-Format nix.

Kennt jemand die genauen Abweichungen von Thunderbird-mbox zu mboxrd oder kennt die Codestelle im Sourcecode an der mbox gelesen oder geschrieben wird?

Erstmal vielen Dank für die Tips.

Zitat von Chartwalker

das ist aber die russische Lösung

Das wäre mir relativ sympathisch, nur leider finde ich dort keine Details exakt zum Thunderbird-Mbox-Format.

Zitat von Chartwalker

Meist führt ein Linuxsystem als Internetserver mit funktionierenden Onbord-Mitteln oder Linux-Tool schneller und dauerhafter zum Erfolg als die gleiche Aufgabe über den Support oder ext. Konvertierung unter Windows zu erreichen.

Das ist auch ungefähr mein Ansatz. Nur brauche ich dazu die einzelnen Mails, dann kann ich die auf File-Ebene mit einfachen Tools deduplizieren und entweder über den LDA oder durch direktes Kopieren ins Maildir auf dem Server verfügbar machen.

Zitat von Solaris

Da du die E-Mails importieren konntest, könntest du einen Versuch mit Mailstore Home wagen, um die E-Mails auf deinen Server zu bekommen. Dieses Programm kann angeblich deutliche besser damit umgehen, eine große Anzahl E-Mails auf einen IMAP-Server zu kopieren als der Thunderbird dies kann.

Die Beschreibung klingt ja nicht schlecht und die Home-Variante soll für private Zwecke kostenlos sein. Wenn andere Wege nicht funktionieren werde ich das ausprobieren.

Zitat von Solaris

Wenn du einzelnen Dateien benötigst um darin selbst nach den Duplikaten zu suchen, ließe sich das vielleicht auch über einen Ex- und Reimport als *.eml erreichen.

Das war noch eine gute Idee, ich hatte EML für Extended ML (oder so) gehalten und gar nicht erst probiert. Im Prinzip liefert das die gewünschten einzelnen Dateien pro Mail, ich schaffe es aber mit den ImportExportTools immer nur für einen Ordner.

Da es 469 Ordner sind scheint das leider nicht praktikabel.

Vielleicht kann ich aber auch einfach alle mbox-Dateien aneinanderhängen und so auf einmal importieren, dann müsste alles in einem Verzeichnis sein. Idealerweise würde der EML-Export dann das von mir gesuchte liefern.

Zitat von Solaris

Zur Deduplikation bzw. dem Finden der Duplikate: Die Erweiterung RemoveDuplicateMessages kann dies in einem gewissen Rahmen. Ich habe diese Erweiterung selbst nie benutzt. Mir ist daher nicht bekannt, wie zuverlässig sie funktioniert und ob sie Duplikate auch über mehrere Ordner hinweg finden kann. Anschauen würde ich sie mir.

Ich habe "Remove Duplicate Messages (Alternate)" das schien mir bisher auch recht brauchbar, funktioniert aber bei der großen Zahl von Mails einfach gar nicht.

Zum mboxrd-Format von Thunderbird glaube ich durch Probieren folgendes herausgefunden zu haben:

Das originale mboxrd-Format verwendet eine mit "From " (Leerzeichen am Ende beachten) beginnende Zeile als Anfangskennung einer Mail auf die der Mailtext gefolgt von einer Leerzeile folgt. Danach folgt die Anfangskennung für die nächste Mail u.s.w.In der Mail enthaltene Zeilen die mit "From " beginnen werden im originalen mboxrd-Format mit '>' gequotet. Thunderbird scheint hier einfach ein Leerzeichen zu verwenden.

Zeilen, die in der Mail mit 1 bis N Quote-Zeichen gefolgt von "From " beginnen

erhalten ein zusätzliches Quote-Zeichen. Bis auf das unterschiedliche Quote-Zeichen scheint hier kein Unterschied zwischen Thunderbird-mbox und mboxrd zu bestehen. Damit lässt sich das ganze auch wieder eindeutig umkehren.

Kann jemand diese Kodierung bestätigen oder gibt es noch andere Besonderheiten/Ausnahmen zu beachten?