Parallel SharpZipLib Zip erstellen

  • C#
  • .NET (FX) 4.5–4.8

Es gibt 4 Antworten in diesem Thema. Der letzte Beitrag () ist von Bluespide.

    Parallel SharpZipLib Zip erstellen

    Hallo zusammen,

    ich bin gerade dabei ein Zip-Archiv mit der ICSharpCode.SharpZipLib zu erstellen. Das Archiv besteht aus ca. 160 Einzeldateien. Das dauert jedoch sehr lange. Da die SharpZipLib anscheint von Haus aus nur 1 Cpu-Kern benutzt wollte ich das ganze selber versuchen zu optimieren. Die Idee ist, dass ich mit der Parallel.ForEach die einzelnen Dateien erstmal in ein MemoryStream komprimiere und dann nur noch zusammen in ein Archiv auf Platte schreibe. Ich finde bei der SharpZipLib aber keinen weg das ganze Umzusetzen. Ich kann einen ZipEntry erstellen und mir dann den komprimierten Stream holen, aber wie füge ich das ganze dann zu einem Archiv zusammen? Hat da jemand eine Idee? Es muss dabei eine gültige Zip-Datei bleiben und ich bin eigentlich an die SharpZipLib gebunden.

    @Bluespide Das funktioniert nur dann, wenn der aufgerufene Code parallelisierbar, also threadsafe ist.
    Wenn das nicht der Fall ist, hast Du keine Chance.
    Falls Du diesen Code kopierst, achte auf die C&P-Bremse.
    Jede einzelne Zeile Deines Programms, die Du nicht explizit getestet hast, ist falsch :!:
    Ein guter .NET-Snippetkonverter (der ist verfügbar).
    Programmierfragen über PN / Konversation werden ignoriert!

    Ich habe mir das jetzt gerade noch einmal etwas genauer angeschaut und nach diesem(Zip) Wikipedia Artikel hört sich das für mich erstmal so an, als wäre mein Vorhaben umsetzbar, denn:
    Each file is stored separately, allowing different files in the same archive to be compressed using different methods. Because the files in a ZIP archive are compressed individually it is possible to extract them, or add new ones, without applying compression or decompression to the entire archive.


    Letztendlich alle Daten in den FileStream zu kopieren geht ja sehr schnell. Das was lange dauert ist die Komprimierung an sich, aber wenn jede Datei einzeln für sich selber komprimiert ist kann man das doch auf mehrere Threads aufteilen und dann nur noch die fertig komprimierten Streams synchron in die Datei schreiben.? Also ich kann eine einzelne Datei/Zip-Eintrag nicht einfach multithreaded Komprimieren, dafür müsste ich ja den Algorithmus kennen/verstehen und umschreiben (unmöglich), aber ich habe ca. 160 Dateien und würde nur das komprimieren einer ganzen Datei pro Thread auslagern. Die Hoffnung stirbt zuletzt, ich versuch das mal :)

    Wenn's nicht klappt, nutze dies und bau dir einen Wrapper, sollte einfacher sein.

    Multithreaded 7-zip compatible file archiver

    github.com/conor42/Radyx


    The library uses a parallel buffered radix matchfinder to enable multithreaded compression without splitting the input into large chunks or duplicating the entire matchfinder/encoder combination for every 2 threads.

    Cloud Computer? Nein Danke! Das ist nur ein weiterer Schritt zur totalen Überwachung.
    „Wer die Freiheit aufgibt, um Sicherheit zu gewinnen, wird am Ende beides verlieren.“
    Benjamin Franklin

    So, also für meine Zwecke hat das jetzt soweit erstmal funktioniert. Ich habe jetzt ohne Lib den Aufbau der zip-Datei selber nachgebaut. Natürlich nur genau die Teile, die ich brauche. Alles wäre viel zu viel, da hat zip noch echt viele Möglichkeiten. Das ist auch erstmal nur der erste Entwurf, der ist noch nicht optimiert. Aber trotzdem erstelle ich die zip-Datei jetzt dank multicore 3 mal so schnell. Genau wie ich mir das gedacht habe kann ich die Dateien einzeln komprimieren und dann "nur" noch zusammen fügen. Hier mal die Basis:

    C#-Quellcode

    1. public static class Crc32Helper {
    2. public static uint UpdateCrc32(uint crc32, byte[] buffer, int offset, int length) {
    3. crc32 ^= uint.MaxValue;
    4. while (--length >= 0) {
    5. crc32 = (Crc32Helper.crcTable[(int)((crc32 ^ buffer[offset++]) & 255u)] ^ crc32 >> 8);
    6. }
    7. crc32 ^= uint.MaxValue;
    8. return crc32;
    9. }
    11. private static readonly uint[] crcTable = new uint[] { 0u, 1996959894u, 3993919788u, 2567524794u, 124634137u, 1886057615u, 3915621685u, 2657392035u, 249268274u, 2044508324u, 3772115230u, 2547177864u, 162941995u, 2125561021u, 3887607047u, 2428444049u, 498536548u, 1789927666u, 4089016648u, 2227061214u, 450548861u, 1843258603u, 4107580753u, 2211677639u, 325883990u, 1684777152u, 4251122042u, 2321926636u, 335633487u, 1661365465u, 4195302755u, 2366115317u, 997073096u, 1281953886u, 3579855332u, 2724688242u, 1006888145u, 1258607687u, 3524101629u, 2768942443u, 901097722u, 1119000684u, 3686517206u, 2898065728u, 853044451u, 1172266101u, 3705015759u, 2882616665u, 651767980u, 1373503546u, 3369554304u, 3218104598u, 565507253u, 1454621731u, 3485111705u, 3099436303u, 671266974u, 1594198024u, 3322730930u, 2970347812u, 795835527u, 1483230225u, 3244367275u, 3060149565u, 1994146192u, 31158534u, 2563907772u, 4023717930u, 1907459465u, 112637215u, 2680153253u, 3904427059u, 2013776290u, 251722036u, 2517215374u, 3775830040u, 2137656763u, 141376813u, 2439277719u, 3865271297u, 1802195444u, 476864866u, 2238001368u, 4066508878u, 1812370925u, 453092731u, 2181625025u, 4111451223u, 1706088902u, 314042704u, 2344532202u, 4240017532u, 1658658271u, 366619977u, 2362670323u, 4224994405u, 1303535960u, 984961486u, 2747007092u, 3569037538u, 1256170817u, 1037604311u, 2765210733u, 3554079995u, 1131014506u, 879679996u, 2909243462u, 3663771856u, 1141124467u, 855842277u, 2852801631u, 3708648649u, 1342533948u, 654459306u, 3188396048u, 3373015174u, 1466479909u, 544179635u, 3110523913u, 3462522015u, 1591671054u, 702138776u, 2966460450u, 3352799412u, 1504918807u, 783551873u, 3082640443u, 3233442989u, 3988292384u, 2596254646u, 62317068u, 1957810842u, 3939845945u, 2647816111u, 81470997u, 1943803523u, 3814918930u, 2489596804u, 225274430u, 2053790376u, 3826175755u, 2466906013u, 167816743u, 2097651377u, 4027552580u, 2265490386u, 503444072u, 1762050814u, 4150417245u, 2154129355u, 426522225u, 1852507879u, 4275313526u, 2312317920u, 282753626u, 1742555852u, 4189708143u, 2394877945u, 397917763u, 1622183637u, 3604390888u, 2714866558u, 953729732u, 1340076626u, 3518719985u, 2797360999u, 1068828381u, 1219638859u, 3624741850u, 2936675148u, 906185462u, 1090812512u, 3747672003u, 2825379669u, 829329135u, 1181335161u, 3412177804u, 3160834842u, 628085408u, 1382605366u, 3423369109u, 3138078467u, 570562233u, 1426400815u, 3317316542u, 2998733608u, 733239954u, 1555261956u, 3268935591u, 3050360625u, 752459403u, 1541320221u, 2607071920u, 3965973030u, 1969922972u, 40735498u, 2617837225u, 3943577151u, 1913087877u, 83908371u, 2512341634u, 3803740692u, 2075208622u, 213261112u, 2463272603u, 3855990285u, 2094854071u, 198958881u, 2262029012u, 4057260610u, 1759359992u, 534414190u, 2176718541u, 4139329115u, 1873836001u, 414664567u, 2282248934u, 4279200368u, 1711684554u, 285281116u, 2405801727u, 4167216745u, 1634467795u, 376229701u, 2685067896u, 3608007406u, 1308918612u, 956543938u, 2808555105u, 3495958263u, 1231636301u, 1047427035u, 2932959818u, 3654703836u, 1088359270u, 936918000u, 2847714899u, 3736837829u, 1202900863u, 817233897u, 3183342108u, 3401237130u, 1404277552u, 615818150u, 3134207493u, 3453421203u, 1423857449u, 601450431u, 3009837614u, 3294710456u, 1567103746u, 711928724u, 3020668471u, 3272380065u, 1510334235u, 755167117u };
    12. }
    14. public class ZipEntryStream : Stream {
    15. public override bool CanRead => false;
    16. public override bool CanSeek => false;
    17. public override bool CanWrite => this.deflateStream.CanWrite;
    18. public override long Length => throw new NotSupportedException();
    19. public override long Position { get => throw new NotSupportedException(); set => throw new NotSupportedException(); }
    21. private Stream baseStream;
    22. private DeflateStream deflateStream;
    23. private long uncompressedBytesWritten;
    24. private long payloadPosition;
    25. private uint crcChecksum;
    27. public ZipEntryStream(Stream stream, string entryName) {
    28. this.baseStream = stream;
    29. using (BinaryWriter writer = new BinaryWriter(stream, new UTF8Encoding(false, true), true)) {
    30. writer.Write(0x04_03_4B_50u);
    31. writer.Write((ushort)45); //Version needed to extract (minimum)
    32. writer.Write((ushort)0); //General purpose bit flag
    33. writer.Write((ushort)8); //Compression method
    34. writer.Write(ToMsDosDateTime(DateTime.Now)); //File last modification time and date
    35. writer.Write((uint)0); //CRC-32
    36. writer.Write(-1); //Compressed size
    37. writer.Write(-1); //Uncompressed size
    38. byte[] nameBytes = Encoding.UTF8.GetBytes(entryName);
    39. writer.Write((ushort)nameBytes.Length); //File name length
    40. writer.Write((ushort)20); //Extra field length
    41. writer.Write(nameBytes);
    42. writer.Write(0x00_10_00_01);
    43. writer.Write((ulong)0); //Compressed size
    44. writer.Write((ulong)0); //Uncompressed size
    45. this.payloadPosition = stream.Position;
    46. }
    47. this.deflateStream = new DeflateStream(stream, CompressionLevel.Optimal, true);
    48. }
    50. public override void Close() {
    51. base.Close();
    52. this.deflateStream.Dispose();
    53. using (BinaryWriter writer = new BinaryWriter(this.baseStream, new UTF8Encoding(false, true), true)) {
    54. long currentPosition = this.baseStream.Position;
    55. this.baseStream.Position = 14;
    56. writer.Write(crcChecksum); //CRC-32
    57. this.baseStream.Position = this.payloadPosition - 16;
    58. writer.Write(this.uncompressedBytesWritten); //Compressed size
    59. writer.Write(currentPosition - this.payloadPosition); //Uncompressed size
    60. this.baseStream.Position = currentPosition;
    61. }
    62. }
    64. private static uint ToMsDosDateTime(DateTime dateTime) => ((((uint)dateTime.Second) / 2) & 0x1F) | ((((uint)dateTime.Minute) & 0x3F) << 5) | ((((uint)dateTime.Hour) & 0x1F) << 11) | ((((uint)dateTime.Day) & 0x1F) << 16) | ((((uint)dateTime.Month) & 0xF) << 21) | ((((uint)(dateTime.Year - 1980)) & 0x7F) << 25);
    66. public override void Flush() => this.deflateStream.Flush();
    68. public override int Read(byte[] buffer, int offset, int count) => throw new NotSupportedException();
    70. public override long Seek(long offset, SeekOrigin origin) => throw new NotSupportedException();
    72. public override void SetLength(long value) => throw new NotSupportedException();
    74. public override void Write(byte[] buffer, int offset, int count) {
    75. this.crcChecksum = Crc32Helper.UpdateCrc32(this.crcChecksum, buffer, offset, count);
    76. this.deflateStream.Write(buffer, offset, count);
    77. this.uncompressedBytesWritten += count;
    78. }
    79. }
    81. public class ZipArchivStream : IDisposable {
    82. private Stream baseStream;
    83. private MemoryStream centralDirectoryFileHeaderBuffer = new MemoryStream();
    84. private ushort centralDirectoryCount;
    85. private bool isDisposed;
    87. public ZipArchivStream(Stream stream) => this.baseStream = stream;
    89. public void Add(Stream zipEntryStream) {
    90. lock (this) {
    91. if (!this.isDisposed) {
    92. uint localFileHeaderOffset = (uint)this.baseStream.Position;
    93. this.centralDirectoryFileHeaderBuffer.Write(new byte[] { 0x50, 0x4B, 0x01, 0x02, 0x33, 0x00 }, 0, 6);
    94. zipEntryStream.Position = 4;
    95. using (BinaryReader reader = new BinaryReader(zipEntryStream, new UTF8Encoding(false, true), true)) {
    96. using (BinaryWriter writer = new BinaryWriter(centralDirectoryFileHeaderBuffer, new UTF8Encoding(false, true), true)) {
    97. writer.Write(reader.ReadUInt64());
    98. writer.Write(reader.ReadUInt64());
    99. writer.Write(reader.ReadUInt32());
    100. writer.Write(reader.ReadUInt16());
    101. ushort fileNameLength = reader.ReadUInt16();
    102. writer.Write(fileNameLength);
    103. writer.Write(reader.ReadUInt16());
    104. writer.Write((ushort)0);
    105. writer.Write((ushort)0);
    106. writer.Write((ushort)0);
    107. writer.Write((uint)0);
    108. writer.Write(localFileHeaderOffset);
    109. byte[] fileNameAndExtraField = reader.ReadBytes(fileNameLength + 20);
    110. writer.Write(fileNameAndExtraField, 0, fileNameAndExtraField.Length);
    111. }
    112. }
    113. zipEntryStream.Position = 0;
    114. zipEntryStream.CopyTo(this.baseStream);
    115. this.centralDirectoryCount++;
    116. }
    117. }
    118. }
    120. public void Dispose() {
    121. lock (this) {
    122. if (!this.isDisposed) {
    123. this.isDisposed = true;
    124. uint centralDirectoryStartIndex = (uint)this.baseStream.Position;
    125. this.centralDirectoryFileHeaderBuffer.Position = 0;
    126. this.centralDirectoryFileHeaderBuffer.CopyTo(this.baseStream);
    127. this.baseStream.Write(new byte[] { 0x50, 0x4B, 0x05, 0x06, 0x00, 0x00, 0x00, 0x00 }, 0, 8);
    128. using (BinaryWriter writer = new BinaryWriter(this.baseStream, new UTF8Encoding(false, true), true)) {
    129. writer.Write(centralDirectoryCount);
    130. writer.Write(centralDirectoryCount);
    131. writer.Write((uint)this.centralDirectoryFileHeaderBuffer.Length);
    132. writer.Write(centralDirectoryStartIndex);
    133. writer.Write((ushort)0);
    134. }
    135. this.centralDirectoryFileHeaderBuffer.Dispose();
    136. }
    137. }
    138. }
    139. }


    Und so benutze ich das ganze dann als Beispiel:

    C#-Quellcode

    1. ​ using (FileStream fs = new FileStream(".\\Test.zip", FileMode.Create, FileAccess.ReadWrite, FileShare.Read)) {
    2. using (ZipArchivStream zas = new ZipArchivStream(fs)) {
    4. Parallel.ForEach(data.Keys, (file) => {
    6. using (MemoryStream ms = new MemoryStream()) {
    7. using (ZipEntryStream zes = new ZipEntryStream(ms, file)) {
    8. zes.Write(data[file], 0, data[file].Length);
    9. }
    10. zas.Add(ms);
    11. }
    13. });
    15. }
    16. }

Facebook
Telefonspende