.z (zlip) Entpacken

haufe · 14. Juni 2016, 07:59

Guten Morgen,

ich wollte eine .z File entpacken, leider bekomme ich es nicht hin überhaupt einen Ansatz zu finden da ich nicht weiß wie die Dateien Komprimiert wurden.
Im Netz habe ich dazu ein Python Script gefunden, hier wurde der Import "zlib" genutzt, gibt es das auch für VB.Net?

Hier mal den Code:

VB.NET-Quellcode

import struct
import zlib
import sys
def str_to_l(st):
eturn struct.unpack('q', st)[0]
def z_unpack(src, dst):
with open(src, 'rb') as f_src:
with open(dst, 'wb') as f_dst:
f_src.read(8)
size1 = str_to_l(f_src.read(8))
f_src.read(8)
size2 = str_to_l(f_src.read(8))
if(size1 == -1641380927):
size1 = 131072L
runs = (size2 + size1 - 1L) / size1 array = [] for i in range(runs):
array.append(f_src.read(8)) f_src.read(8) for i in range(runs):
to_read = array[i] compressed = f_src.read(str_to_l(to_read))
decompressed = zlib.decompress(compressed) f_dst.write(decompressed)
if __name__ == "__main__":
z_unpack(sys.argv[1], sys.argv[2])

Im Anhang habe ich zwei Dateien zum testen hochgeladen.

Über Hilfe würde ich mich sehr freuen

Danke
Haufe

PS: ich möchte kein C&P Code, ich möchte lernen

-->Hier<-- geht es zur Lösung

ichduersie · 14. Juni 2016, 08:05

Es gibt tatsächlich eine zlib-Wrapper für .NET: dotzlib. Die Frage, die ich mir jetzt aber stelle ist: Ist es jetzt eine 7z-Datei (angehängt) oder eine mir unbekannte z-Datei (Threadtitel)? Für 7z-Dateien hat der Entwickler von 7-Zip auch eine Command-Line-Version rausgebracht, die du mit der Process-Klasse ansteuern kannst, was vmtl. einfacher und v.a. fehlerfreier ist, als das, was du da hast.

LG

haufe · 14. Juni 2016, 08:15

Ich musste leider die zwei Dateien in ein Archiv packen sonst könnte ich es nicht in das Forum laden.

Danke für Deine Antwort, schaue ich mir später an!

haufe · 14. Juni 2016, 11:32

So, habe nun ein wenig probiert, hier der Code:

VB.NET-Quellcode

Imports System.Runtime.InteropServices
Imports System.IO
Public Class Form1
<DllImport("zlib1.dll", CallingConvention:=CallingConvention.Cdecl)> _
Private Shared Function compress(destBuffer As Byte(), ByRef destLen As UInteger, sourceBuffer As Byte(), sourceLen As UInteger) As Integer
End Function
<DllImport("zlib1.dll", CallingConvention:=CallingConvention.Cdecl)> _
Private Shared Function uncompress(destBuffer As Byte(), ByRef destLen As UInteger, sourceBuffer As Byte(), sourceLen As UInteger) As Integer
End Function
Public Shared Function Compress(data As Byte()) As Byte()
Dim _dLen As UInteger = CUInt(Math.Truncate((data.Length * 1.1) + 12))
Dim _d As Byte() = New Byte(_dLen - 1) {}
Compress(_d, _dLen, data, CUInt(data.Length))
Dim result As Byte() = New Byte(_dLen - 1) {}
Array.Copy(_d, 0, result, 0, result.Length)
Return result
End Function
Public Shared Function Decompress(data As Byte()) As Byte()
Dim _dLen As UInteger = 8192
Dim _d As Byte() = New Byte(_dLen - 1) {}
If uncompress(_d, _dLen, data, CUInt(data.Length)) <> 0 Then
Return Nothing
End If
Dim result As Byte() = New Byte(_dLen - 1) {}
Array.Copy(_d, 0, result, 0, result.Length)
Return result
End Function
Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
Dim filestream As New FileStream("c:\test.z", FileMode.Open)
Dim filesize As Long = filestream.Length
Dim buffer(filesize) As Byte
filestream.Close()
File.WriteAllBytes("c:\test.uncompress", Decompress(buffer))
End Sub
End Class

Leider bekomme ich immer den Fehler

Quellcode

Ein Ausnahmefehler des Typs "System.ArgumentNullException" ist in mscorlib.dll aufgetreten.
Zusätzliche Informationen: Der Wert darf nicht NULL sein.

Der Fehler liegt in derZeile

VB.NET-Quellcode

If uncompress(_d, _dLen, data, CUInt(data.Length)) <> 0 ThenReturn NothingEnd If

Danke für die Hilfe

KidRick · 14. Juni 2016, 12:56

Warum zlib? Nimm doch einfach die 7zip SDK, hat sogar direkt den Source für C# integriert, benutze ich auch gerne:
7-zip.de/sdk.html

jvbsl · 14. Juni 2016, 12:59

msdn.microsoft.com/de-de/libra…latestream(v=vs.110).aspx
oder
msdn.microsoft.com/de-de/libra…gzipstream(v=vs.110).aspx

GZip arbeitet auf dem Deflatestream und der DeflateStream ist laut MSDN seit .Net 4.5 sogar basierend auf der zlib.

haufe · 17. Juni 2016, 08:25

Guten Morgen,
danke für die Antworten.
Ich habe mir DeflateStream angeschaut, leider bekomme ich auch hier einen Fehler:

VB.NET-Quellcode

Ein Ausnahmefehler des Typs "System.IO.InvalidDataException" ist in System.dll aufgetreten.

hier mein Code:

VB.NET-Quellcode

Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
Dim directoryPath As String = "c:\"
Dim directorySelected As New DirectoryInfo(directoryPath)
Dim fileinfo As FileInfo = directorySelected.GetFiles("test.z")(0)
Decompress(fileinfo)
End Sub
Public Shared Sub Decompress(fileToDecompress As FileInfo)
Using originalFileStream As FileStream = fileToDecompress.OpenRead()
Dim currentFileName As String = fileToDecompress.FullName
Dim newFileName As String = currentFileName.Remove(currentFileName.Length - fileToDecompress.Extension.Length)
Using decompressedFileStream As FileStream = File.Create(newFileName)
Using decompressionStream As New DeflateStream(originalFileStream, CompressionMode.Decompress)
decompressionStream.CopyTo(decompressedFileStream)
Console.WriteLine("Decompressed: {0}", fileToDecompress.Name)
End Using
End Using
End Using
End Sub

MfG
Haufe

jvbsl · 17. Juni 2016, 13:30

Die .z Datei ist irgend ein unbekanntes Datei Format, nicht nur ein Deflate Stream, aber es enthält einen Deflate Stream.
Im Prinzip musst du nur den Python Code übersetzen(man kann sogar noch mehr über das Dateiformat herausbekommen).

C#-Quellcode

struct Header{
ulong magic;//0xC1832A9E00000000
ulong size1;
ulong unknown;
ulong size2;
}

runs dürfte die Anzahl der enthaltenen Dateien sein, dann kommt vmtl. eine Liste von file headern:

C#-Quellcode

struct FileHeader{
ulong compressedSize;
ulong uncompressedSize;
}

Nachdem diese header geladen wurde musst du nur noch deine Dateien Laden, die alle direkt hintereinander sind, die Größe der Daten kennst du ja bereits, du musst also pro file nur noch einen buffer an bytes lesen(compressedSize).
Dann erst kommt der DeflateStream ins Spiel, der die Daten dekomprimiert(muss nicht über diesen Buffer gemacht werden, sollte theoretisch auch direkt auf dem stream funktionieren)

haufe · 18. Juni 2016, 08:42

Danke für die Antwort,
leider verstehe ich nicht ganz den Script, ich versuche mal zu zeigen wie weit ich das verstehe oder auch nicht

VB.NET-Quellcode

with open(src, 'rb') as f_src:
Dim src As FileStream = File.Open("c:\test.z", FileMode.Open)
with open(dst, 'wb') as f_dst:
Hier ist schon meine erste Frage:
dst = Destination
wb = write binary
was gebe ich hier an bytes an:
Dim dest As FileStream = File.WriteAllBytes("c:\test.un",?????)
f_src.read(8) <-- was bewirkt diese Zeile, zweimal einlesen?
size1 = str_to_l(f_src.read(8))<-- Hier wird die Dateigröße von byte in long konvertiert?
Dim size1, size2 As Long
size1 = CType(src.Length, Long)
size2 = CType(src.Length, Long)
f_src.read(8) <-- was bewirkt diese Zeile, zweimal einlesen?
size2 = str_to_l(f_src.read(8)) <--- size1 == size2?
if(size1 == -1641380927): <-- wie entsteht dieser Wert in size1?

Danke für die Hilfe

jvbsl · 18. Juni 2016, 10:44

r/w t/b und ähnliche sind einfach alte C herangehensweißen um FileMode und FileAccess anzugehen.
r=read
w=writer
t=text
b=binary

t/b werden auf Windows unterschieden(mir ist kein anderes OS bekannt, welches das auch macht). Der einzige Unterschied dabei ist, dass ein im TextMode geöffnetes File bei einem NewLine \n automatisch ein CarriageReturn vorranstellt um einen Windows konformen Zeilenumbruch zu erhalten: \r\n
binary lässt dafür alles genauso wie man es raus schreibt.

Die Frage ist, was hast du mit deinem destination File vor, warum sollte das über File.WriteAllBytes gehen? Mach es doch gleich wie beim source FileStream, jedoch brauchst du natürlich FileAccess.Write
(guck dir die File.Open Überladungen an)

Und wie bei deinem Code oben sollte jeder FileStream mit einem Using verwendet werden, sodass du auch sicher bist, dass er geschlossen wird.

die reads ohne Zuweisung f_src.read(8) bewirken einfach nur, dass 8 bytes eingelesen und ignoriert werden, das würde ich nicht so machen, da wir vlt. irgendwann herausfinden können, wofür diese 8 bytes gut sind.
Deshalb hab ich dir oben die structs geschrieben, die du instanzieren sollst und mit daten füllen.

Um das ganze jetzt etwas einfacher zu machen fügst du einen BinaryReader auf den source fileStream hinzu.
mit binaryReader.ReadUInt64() machst du dann genau dasselbe wie str_to_l(f_src.read(8)).

Also nein size1/size2 sind nicht die Dateigröße.

und -1641380927 entspricht zufälligerweiße exakt dem magic im header, das ist vlt. für den fall, dass eine Datei nochmal 8 vorherige Bytes zusätzlich hat, aber das ist schwer zu sagen, da wir so wenig über das Format Wissen, ist vlt auch unnötiger Blödsinn

haufe · 19. Juni 2016, 10:59

Danke für die super Hilfe jvbsl,

soweit bin ich jetzt gekommen:

Visual Basic-Quellcode

Private Structure Header
Dim magic, size1, unknown, size2 As ULong
End Structure
Sub test()
Dim fh As New Header
Using src As FileStream = File.Open("c:\test.z", FileMode.Open)
Using dest As FileStream = File.Open("c:\test.u", FileMode.Create, FileAccess.Write)
Using reader As New BinaryReader(src)
fh.size1 = reader.ReadUInt64
fh.size2 = reader.ReadUInt64
End Using
End Using
End Using
End Sub

Wie mache ich jetzt das Magic im Header muss ich das fest Definieren oder wird es berechnet, was ist mit "unknown" wie soll ich es definieren, und zum Schluss mit welcher Funktion soll ich es dekomprimieren?

Viele Fragen

Schönen Sonntag !

jvbsl · 19. Juni 2016, 12:53

Magic(hab ich nur so genannt, weil ich es vermute) ist in der Regel am Anfang einer Datei um zu verifizieren, dass es sich um den richtigen Dateityp handelt(Linux z.B. verwendet ansich gar keine Dateiendungen)
In der Regel sind es auch nur die ersten 3-4 Bytes, aber da die folgenden 4 bytes nur 0en sind geh ich mal davon aus, dass das immer so sein wird.

Dein aktueller Code stimmt noch nicht, der Python Code liest erst 8bytes ein, ohne diese in eine Variable zu speichern, dann size1, dann wieder 8 ohne variable und dann erst size2
Genau in dieser Reihenfolge hab ich auch die header struct gestaltet

erst Magic einlesen, dann size1, dann unknown und dann size2.
Direkt nachdem du den Magic eingelesen hast würde ich noch den Magic Wert überprüfen, ob er dem HexWert(oben im Kommmentar) 0xC1832A9E00000000 entspricht. Es kann noch sein, dass du Aufgrund der Endianess was vertauschen musst, da komm ich immer durcheinander

Dann musst du wie im obigen Python script noch die Runs berechnen.

Anschließend ist die Frage, ob die Datei mehrere Dateien enthalten kann, oder die Dateien nur in Chunks unterteilt werden(für stremed reading evtl?)

Wenn es sich immer nur um eine Datei handelt, dann müsste die 2te struct ChunkHeader oder ähnlich heißen anstelle von FileHeader.

Dann erstellen wir ein Array von ChunkHeader/FileHeader mit anzahl runs an Elementen.
Durchlaufen eine Schleife mit runs durchläufen und lesen dabei header ein.

Anschließend noch einmal eine Schleife mit runs durchläufen um die Daten zu entschlüsseln(dazu kommen wir dann, wenn du den oberen Teil geschafft hast)

haufe · 19. Juni 2016, 13:39

Ok,

so hab das jetzt alles gemacht und verstehe wie das jetzt mit dem Header ist, vielen Dank dafür.

Die Runs zu berechnen sollte kein Problem sein, aber :-), was bedeutet 1L?
MfG

VB.NET-Quellcode

Private Structure Header
Dim magic, size1, unknow, size2 As ULong
End Structure
Sub test()
Dim fh As New Header
Using src As FileStream = File.Open("c:\test.z", FileMode.Open)
Using dest As FileStream = File.Open("c:\test.u", FileMode.Create, FileAccess.Write)
Using reader As New BinaryReader(src)
fh.magic = reader.ReadUInt64()
fh.size1 = reader.ReadUInt64
fh.unknow = reader.ReadUInt64()
fh.size2 = reader.ReadUInt64
Dim runs As ULong
runs = (fh.size1 + fh.size2 - 1L) / fh.size1
Dim array As New ArrayList
For o As Integer = 0 To runs - 1 Step 1
array.Add(reader.ReadUInt64)
reader.ReadUInt64()
For i As Integer = 0 To runs - 1 Step 1
Dim to_read As Long = array(i)
Dim compressed As Byte() = reader.ReadBytes(to_read)
Decompress(compressed)
Next
Next
End Using
End Using
End Using

Entpacken geht jetzt schon mal^^

exc-jdbi · 19. Juni 2016, 14:02

Die Zahl 1 als Typ Long

jvbsl · 19. Juni 2016, 14:30

das L wird nicht benötigt, der Compiler ist schlau genug selbst raus zu finden, dass es sich um einen ULong handelt, wofür man eigt. UL verwenden würde. Also lass das L einfach weg, das machts find ich schöner.

Deine Schleife ist falsch, du musst von 0 bis runs-1 machen, VB.Net ist da inklusiv.

ArrayList ist böse, verwende dafür eine generische List(Of T)

Außerdem meinte ich dass du in der Schleife genau dasselbe wie mit dem Header machst, nur eben für die FileHeader/ChunkHeader-struct.
Die Zweite Schleife, die runs durchläuft ist außerdem außerhalb von der ersten Schleife.

haufe · 19. Juni 2016, 14:50

So okay?

VB.NET-Quellcode

Private Structure Header
Dim magic, size1, unknow, size2 As ULong
End Structure
Private Structure daten
Dim zahl As ULong
End Structure
Private Structure Fileheader
Dim compressedSize As ULong
Dim uncompressedSize As ULong
End Structure
Sub test()
Dim filename As String = "c:\test.z"
Dim zielfilenmame As String = "c:\test.uncompress"
Dim h As New Header
Dim fh As New Fileheader
Using src As FileStream = File.Open(filename, FileMode.Open)
Using dest As FileStream = File.Open(zielfilenmame, FileMode.Open)
Using reader As New BinaryReader(src)
h.magic = reader.ReadUInt64()
h.size1 = reader.ReadUInt64
h.unknow = reader.ReadUInt64()
h.size2 = reader.ReadUInt64
Dim runs As ULong
runs = (h.size1 + h.size2 - 1) / h.size1
Dim array As New List(Of daten)
Dim uebergabe As New daten
For o As Integer = 0 To runs - 1 Step 1
uebergabe.zahl = reader.ReadUInt64
array.Add(uebergabe)
reader.ReadUInt64()
Next
For i As Integer = 0 To runs - 1 Step 1
Dim to_read As Long = array(i).zahl
Wie mache ich hier weiter um das Struct richtig zu definieren und wie bekomme ich die Größe von uncompressedSize ?
Dim compressed As Byte() = reader.ReadBytes(to_read)
Decompress(compressed, zielfilenmame)
Next
End Using
End Using
End Using
End Sub

jvbsl · 19. Juni 2016, 15:44

Wir kommen der Sahe definitiv näher.

Für so einen Fall würdest du eine List(Of ULong) verwenden, aber auch die soll es nicht sein
Du sollst hier eine List(Of FileHeader) verwenden in der "For o" schleife ist dann das erste ReadUInt64 die compressedSize und das zweite die uncompressedSize.

Und dann kannst du für Decompress einen DeflateStream nehmen, der auf einem MemoryStream arbeitet.
(Evtl. geht es auch ohne MemoryStream indem du die Zeile 35 löschst und der DeflateStream direkt auf dem FileStream arbeitet, bin mir aber nicht sicher ob er das kann, wär aber weniger Overhead und sogar performanter)

haufe · 19. Juni 2016, 18:54

Hab jetzt getestet, komme hier aber nicht weiter:

VB.NET-Quellcode

Function decompressz(ByVal zfile As FileInfo) As Boolean
Dim zielfilename As String = Path.GetFileNameWithoutExtension(zfile.FullName)
Dim h As New Header
Dim fh As New Fileheader
Dim _dLen As UInteger = 8192
Dim _d As Byte() = New Byte(_dLen - 1) {}
Dim count As Integer
Dim outputbyte() As Byte
Using src As FileStream = File.Open(zfile.FullName, FileMode.Open)
' Using dest As FileStream = File.Open(zielfilenmame, FileMode.Open)
Using reader As New BinaryReader(src)
h.magic = reader.ReadUInt64()
h.size1 = reader.ReadUInt64
h.unknow = reader.ReadUInt64()
h.size2 = reader.ReadUInt64
Dim bytesout As Byte()
Dim runs As ULong
runs = (h.size1 + h.size2 - 1) / h.size1
Dim array As New List(Of Fileheader)
Dim uebergabe As New Fileheader
For o As Integer = 0 To runs - 1 Step 1
uebergabe.compressedSize = reader.ReadUInt64
uebergabe.uncompressedSize = reader.ReadUInt64()
array.Add(uebergabe)
Next
For i As Integer = 0 To runs - 1 Step 1
Dim to_read As ULong = array(i).compressedSize
Dim compressed As Byte() = reader.ReadBytes(to_read)
Using ms As New MemoryStream(compressed)
Using ds As New Compression.DeflateStream(ms, Compression.CompressionMode.Decompress)
Using outputStream As New MemoryStream()
und wie geht es weiter? :-)
End Using
End Using
Dim fs As FileStream = File.OpenWrite(zielfilename)
' fs.Write(bytesout, _dLen, bytesout.Length)
' fs.Flush()
' fs.Close()
End Using
Next
Return True
End Using
End Using
' End Using
End Function

jvbsl · 20. Juni 2016, 02:43

Die Frage jetzt wäre noch, ob es mehrere Dateien enthalten kann, oder ob eine Datei in Chunks unterteilt wird, das kann man so nicht feststellen, dafür bräuchte man eine .z Datei, bei der runs > 1 ist.
Falls du mehrere Dateien hast könntest du das ja schon mal ausprobieren und diese Datei dann auch hochladen.

Dein outputStream ist ganz und gar unnötig.

Gehen wir nun davon aus, dass es immer nur eine Datei enthält, dann musst du deinen FileStream für die OutputFile um deine Schleife der variable i machen.(Für Streams nach möglichkeit immer ein using verwenden)
innerhalb des ds-usings musst du dann nur noch ein ds.CopyTo(fs) ausführen.

Wenn es mehrere dateien enthalten kann, dann muss das using deines fs-Filestreams innerhalb des ds-usings(so wie aktuell dein MemoryStream, den du löschen sollst)
zielfilename sollte dann vlt. eher etwas wie zielfilename + i.ToString() sein. Und dann geht es wieder gleich mit CopyTo.

Dann fehlt nur immer noch die Validierung des Magic im header

haufe · 20. Juni 2016, 13:16

So wie es scheint, ist es immer nur eine Datei die .z ist.Im ersten Thread hier ist die Datei schon hoch geladen und als 7zip gepackt, da sonst der Upload in das Forum nicht funktioniert.
So habe ich es jetzt verstanden:

VB.NET-Quellcode

Dim zielfilename As String = Path.GetFileNameWithoutExtension(zfile.FullName)
Dim h As New Header
Dim fh As New Fileheader
Dim _dLen As UInteger = 8192
Dim _d As Byte() = New Byte(_dLen - 1) {}
Dim count As Integer
Dim outputbyte() As Byte
Using src As FileStream = File.Open(zfile.FullName, FileMode.Open)
Using reader As New BinaryReader(src)
h.magic = reader.ReadUInt64()
h.size1 = reader.ReadUInt64
h.unknow = reader.ReadUInt64()
h.size2 = reader.ReadUInt64
Dim bytesout As Byte()
Dim runs As ULong
runs = (h.size1 + h.size2 - 1) / h.size1
Dim array As New List(Of Fileheader)
Dim uebergabe As New Fileheader
For o As Integer = 0 To runs - 1 Step 1
uebergabe.compressedSize = reader.ReadUInt64
uebergabe.uncompressedSize = reader.ReadUInt64()
array.Add(uebergabe)
Next
Using dest As FileStream = File.Open(zielfilename, FileMode.Create, FileAccess.Write)
For i As Integer = 0 To runs - 1 Step 1
Dim to_read As ULong = array(i).compressedSize
Dim compressed As Byte() = reader.ReadBytes(to_read)
Using ms As New MemoryStream(compressed)
Using ds As New Compression.DeflateStream(ms, Compression.CompressionMode.Decompress)
ds.CopyTo(dest)
ds.Flush()
ds.Close()
End Using
End Using
Next
Return True
End Using
End Using
End Using

Jetzt schau ich mal die Validierung vom Magic an, momentan gibt es mir den Wert "2653586369" zurück, wie soll ich jetzt vorgehen?

.z (zlip) Entpacken

.z (zlip) Entpacken

VB.NET-Quellcode

VB.NET-Quellcode

Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

C#-Quellcode

C#-Quellcode

VB.NET-Quellcode

Visual Basic-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

Ähnliche Themen

5 Benutzer haben hier geschrieben