SQL INSERT größere Datei mit Progressbar möglich?

r0tzi · 6. Februar 2023, 10:28

Hallo Zusammen,

ich hätte eine Frage zu dem upload von einer gößeren Datei in SQL

Ist es möglich die Datei stückweise hochzuladen sodass man den momentanen upload stand abfangen kann und in einer progressbar sichtbar machen kann?

Oder gibt es irgendwelche Befehle, womit man die hochgeladenen Bytes zurückbekommt?

Vielen Dank für die Hilfe

ErfinderDesRades · 6. Februar 2023, 14:57

ich wüsste überhaupt nicht, wie man mit Sql Dateien hochlädt.
Hast du mal Codebeispiel?

r0tzi · 6. Februar 2023, 16:58

ja klar, wird in varbinary geschrieben

VB.NET-Quellcode

Dim bufferFile() As Byte
bufferFile = System.IO.File.ReadAllBytes(Filepath)
Dim Command As New SqlCommand("Update Database set [file]=@file where [Index]='" & INT_NO_MODIFY & "'") With {.Connection = VAR.Connection}
Command.Parameters.AddWithValue("@file", bufferFile)
Command.ExecuteNonQuery()

ErfinderDesRades · 6. Februar 2023, 17:30

aha.
tja, ich wüsste nicht, wie man einen solchen einzelnen, atomaren Schreibvorgang in die DB so gestalten könnte, dass man einen Fortschritt dabei mitverfolgen könnte.

siycah · 6. Februar 2023, 18:45

Ich glaube nicht, dass du wirklich einen Fortschritt darstellen kannst, da es eine einzelne Operation ist, wie @ErfinderDesRades bereits erwähnt hat.
Ein Workaround wäre, dass du ein Fortschrittbalken ohne Fortschritt (Marquee-Effekt, z.B.) darstellst.

Allerdings muss man auch dazu sagen, dass es meistens besser ist, wenn man SQL-Anweisungen kurz und knapp hält.
Wenn du einen Fortschritt anzeigen möchtest, dann könntest du dir zuerst alle Elemente auslesen, die du updaten willst und dann einer nach dem anderen mit dem neuen Wert versehen.

Dann könntest du einfach den Fortschritt in % anzeigen.

r0tzi · 6. Februar 2023, 19:14

Wäre es vielleicht möglich die bytes von der datei zu splitten und nacheinander in das gleiche feld zu jagen? ich habe es mal getestet, dann kommt aber irgend ne fehlermeldung, dass das irgendwas fehlt... also einfach mit sql concat scheint varbinary nicht zu gehen.

oder ein anderer Ansatz wäre vielleicht, die datei hochzuladen und in einem sepparatem thread die bereits geschriebene dateigröße (select) alle 2 sek zu ermitteln? was meint ihr?

mrMo · 6. Februar 2023, 19:48

Wie groß ist solch eine Datei und wie lange dauert das Speichern der selbigen?

Meist ist der Aufwand einen möglichst genauen Fortschritt anzuzeigen völlig unnötig, weil schneller (meist sogar gegenteilig) geht es dadurch ja nicht. Es könnte ja bereits reichen nach jeder Datei den Fortschritt anzuzeigen.

Zumal das Aufbauen einer Verbindung zur Datenbank auch wieder Zeit kostet. Diese zu opfern um einen Zwischenstand anzeigen zu können sollte man sich gut überlegen.

Außerdem sollte man sich überlegen, ob man überhaupt Dateien IN der Datenbank speichern will, denn z.B. der MS SQL Server bietet ein Feature namens „File Tables“ die sich hier sehr anbieten würde.

siycah · 6. Februar 2023, 20:20

r0tzi schrieb:

? ich habe es mal getestet, dann kommt aber irgend ne fehlermeldung, dass das irgendwas fehlt... also einfach mit sql concat scheint varbinary nicht zu gehen.

Eine genaue Fehlermeldung würde da schon helfen.

r0tzi schrieb:

oder ein anderer Ansatz wäre vielleicht, die datei hochzuladen und in einem sepparatem thread die bereits geschriebene dateigröße (select) alle 2 sek zu ermitteln? was meint ihr?

Nein, das wird nicht klappen.
Warum willst du überhaupt Dateien in eine Datenbank hochladen?

Wäre doch viel sinnvoller, die Dateien auf der Festplatte in einem Ordner zu lagern und dann entweder nach Zeitraum X zu löschen, oder bis man es selbst löscht.
Dann kannst du die Dateipfade in die Datenbank speichern. So wird das mWn auch überall anders noch gemacht.

r0tzi · 6. Februar 2023, 20:45

mrMo schrieb:

Wie groß ist solch eine Datei und wie lange dauert das Speichern der selbigen?

kann bis zu 30 mb sein, dauert über 1 minute (vpn und wlan)

mrMo schrieb:

Außerdem sollte man sich überlegen, ob man überhaupt Dateien IN der Datenbank speichern will, denn z.B. der MS SQL Server bietet ein Feature namens „File Tables“ die sich hier sehr anbieten würde.

ist in der firma deaktiviert... warum wohl

siycah schrieb:

Eine genaue Fehlermeldung würde da schon helfen.

habe ich leider nicht mehr und den code verworfen -.-

siycah schrieb:

Nein, das wird nicht klappen.

schon ausprobiert? Weil einen Code fürs runterladen mit progress habe ich, da wird die gesamte größe ausgelesen und dann abgeglichen im memorystream.

siycah schrieb:

Warum willst du überhaupt Dateien in eine Datenbank hochladen?

Wäre doch viel sinnvoller, die Dateien auf der Festplatte in einem Ordner zu lagern und dann entweder nach Zeitraum X zu löschen, oder bis man es selbst löscht.
Dann kannst du die Dateipfade in die Datenbank speichern. So wird das mWn auch überall anders noch gemacht.

ich finde SQL einfach besser, da ich eine schöne datei history anlegen kann und jegliche änderungen somit nachverfolgen wer was gemacht hat. <- ja ich weiss geht auch auf der festplatte..

ich brauch herausforderungen xD

Zitierfehler korrigiert ~VaporiZed

siycah · 6. Februar 2023, 20:59

r0tzi schrieb:

ich finde SQL einfach besser, da ich eine schöne datei history anlegen kann und jegliche änderungen somit nachverfolgen wer was gemacht hat. <- ja ich weiss geht auch auf der festplatte.. ich brauch herausforderungen xD

Klingt für mich, als würdest du das Rad neu erfinden und ein Tool für etwas missbrauchen wollen, wofür es nicht gedacht ist.

Wenn du wirklich eine Änderungshistorie haben willst, dann nimm etwas wie Git - oder eine Suchmaschine.

Ich habe vor ewigen Monden mal einen Dateiindexer geschrieben - scheint als würdest du etwas ähnliches machen wollen.

Parse deine Dateien - bspw. mit Tika.NET, baue ein Objekt auf und schiebe das in einen Indexer. Ich finde Elasticsearch genial für sowas.
Du könntest natürlich auch Lucene nutzen und dir selbst was bauen, wenn du die Herausforderung willst.

Dann - wenn du wirklich willst - füge noch die Datei selber in die Suchmaschine.
Persönlich empfehle ich dir immer noch - aus diversen Gründen - die Dateien selber abzuspeichern. Metadaten und Änderungsdaten/Patchfiles kannst du nach wie vor in die Suchmaschine speichern.
Dafür kannst du bei jedem Upload ein Delta von den Dateien machen und das Delta entsprechend indizieren.
Wenn du die Dateien herunterladen willst, fügst du einfach die Deltas zu den Dateien.

Wenn du Elasticsearch nehmen willst, haben die eine richtig coole .Net-API mit der du auch asynchron arbeiten kannst.
Dann kannst du zeitgleich (Anzahl Kerne in CPU - 2) Dateien gleichzeitig parsen und wegindizieren

J.Herbrich · 6. Februar 2023, 22:57

Jenni Jenni,

Ja, es ist Möglich. Du musst einfach das Protokoll neu implementieren und dann einfach Byte für Byte in den Stream schreiben und nach dem Flush ein Invoke senden um die Progressbar um 1 zu erhöhen. Sau viel Arbeit und Gefahr für Sicherheitslücken wenn man es schlampig macht aber das ist jetzt der weg der mir so spontan einfallen würde.

Altanative, ein Application Server hosten auf dem ein Webdienst läuft wo du die Datei in Chunks aufteilst und dann am Ende über die Webanwendung hochlädst. Dann kannst du ein HTTP Upload in der Progressbar anzeigen. Das ganze lässt sich auch mit PHP realisieren, muss kein kompliziertes ASP.NET mit Windows Server sein. Hoffe ich konnte da bissen helfen.

LG, Jenni Herbrich

r0tzi · 8. Februar 2023, 13:52

Hallo,

hier der funktionierende Code für den Upload, die Progressbar funktioniert und das UI hängt nicht.

VB.NET-Quellcode

Dim WithEvents _BackgroundWorker As New BackgroundWorker
Private Sub _BackgroundWorker_DoWork(ByVal sender As Object, ByVal e As DoWorkEventArgs) Handles _BackgroundWorker.DoWork
Dim worker As BackgroundWorker = CType(sender, BackgroundWorker)
worker.WorkerReportsProgress = True
e.Result = SendFileToSQL(worker, e)
End Sub
Private Function SendFileToSQL(ByVal worker As BackgroundWorker, ByVal e As DoWorkEventArgs) As Byte()
Dim progressPercentage As Integer
Dim sentBytes As Long
Dim totalSize As Long
SQLConOpen()
Dim fileBuffer As Byte()
fileBuffer = New Byte(100000) {}
Dim fileUpdateCommand As SqlCommand = New SqlCommand("update table set [file].WRITE(@Data, NULL, NULL) where [INDEX] ='" & IntNo & "'", ITA.VAR.Connection)
fileUpdateCommand.Parameters.Add("@Data", SqlDbType.Binary)
Using fileStream As New FileStream(Filepath, FileMode.OpenOrCreate, FileAccess.Read)
totalSize = fileStream.Length
While fileStream.Read(fileBuffer, 0, fileBuffer.Length) > 0
fileUpdateCommand.Parameters("@Data").Value = fileBuffer
fileUpdateCommand.ExecuteNonQuery()
sentBytes += fileBuffer.Length
progressPercentage = (sentBytes / totalSize) * 100
worker.ReportProgress(progressPercentage)
End While
End Using
fileUpdateCommand.Dispose()
SQLConClose()
Return Nothing
End Function
Private Sub _BackgroundWorker_ProgressChanged(ByVal sender As Object, ByVal e As ProgressChangedEventArgs) Handles _BackgroundWorker.ProgressChanged
Me.Progressbar1.Value = e.ProgressPercentage
End Sub
Private Sub _BackgroundWorker_RunWorkerCompleted(ByVal sender As Object, ByVal e As RunWorkerCompletedEventArgs) Handles _BackgroundWorker.RunWorkerCompleted
Progressbar1.Value = 0
End Sub

Hier ist der Code für den Download, hier funktioniert die progressbar nicht und das UI friert ein. weiss jemand warum?

VB.NET-Quellcode

Private Sub _BackgroundWorker_DoWork(ByVal sender As Object, ByVal e As DoWorkEventArgs) Handles _BackgroundWorker.DoWork
Dim worker As BackgroundWorker = CType(sender, BackgroundWorker)
worker.WorkerReportsProgress = True
e.Result = RetrieveFile(worker, e)
End Sub
Private Function RetrieveFile(ByVal worker As BackgroundWorker, ByVal e As DoWorkEventArgs) As Byte()
Dim objReader As SqlDataReader
Try
Cmd.Connection = ITA.VAR.Connection
SQLConOpen()
Cmd.CommandText = "SELECT datalength(File) AS fileSize, File FROM table where [INDEX]=''" & IntNo & "'"
objReader = Cmd.ExecuteReader(CommandBehavior.SequentialAccess)
While objReader.Read
If objReader.HasRows Then
Dim memory As New MemoryStream
Dim startIndex As Long = 0
Const ChunkSize As Integer = 256
Dim totalSize As Long = objReader("fileSize")
Dim progressPercentage As Integer
Do
Dim buffer(ChunkSize - 1) As Byte
Dim retrievedBytes As Long = objReader.GetBytes(1, startIndex, buffer, 0, ChunkSize)
memory.Write(buffer, 0, CInt(retrievedBytes))
startIndex += retrievedBytes
progressPercentage = (startIndex / totalSize) * 100
worker.ReportProgress(progressPercentage)
If retrievedBytes <> ChunkSize Then
Exit Do
End If
Loop
SQLConClose()
Dim data() As Byte = memory.ToArray()
memory.Dispose()
Return data
End If
End While
Catch ex As Exception
End Try
End Function

J.Herbrich · 8. Februar 2023, 14:04

Jenni Jenni

VB.NET-Quellcode

e.Result = RetrieveFile(worker, e)

Darum, das Result läuft im MTA Thread (UI Thread) so das der Background Worker effektiv garnichts macht. Dass ist aber nicht absolut sicher sondern nur eine erste Einschätzung von mir. Der Background Worker Invoked ja zwischen seinen eigenen Arbeits Thread und den MTA, so das du alles was die UI Einfrieren lässt im Worker Thread machen musst. Am besten das Byte Array oder was auch immer wo du die Daten Sammelst (Ich würde ein Memory Stream nehmen) zurück geben aus der 2.ten Funktion, dann in eine Variable und diese dann Invoken oder als Result zurück schicken.

LG, Jenni Herbrich

r0tzi · 8. Februar 2023, 14:15

Vollzitat des direkten Vorposts an dieser Stelle entfernt ~VaporiZed

Danke, aber nein das ist es nicht, habe das schon probiert

ErfinderDesRades · 8. Februar 2023, 17:29

r0tzi schrieb:

update table set [file].WRITE(@Data, NULL, NULL) where [INDEX] ='" & IntNo & "'"

Dieser Befehl scheint mir das File in mehrere Stücke zu zerteilen, für welcche jeweils ein Datensatz angelegt wird.
Von der Datenhaltung her ungewöhnlich und unintuitiv - ist eine popelige Progressbar wirklich diesen Aufwand wert?

r0tzi · 8. Februar 2023, 19:46

ja das file wird zerlegt und nacheinandere hochgedrückt... es funktioniert wunderbar

bei kleinen dateien mach ich es auch nicht so um gottes willen.. nur bei großen Dateien > 30mb

r0tzi · 5. November 2023, 13:25

Hallo, ich muss den alten Thread nochmal auspacken, weil ein "Problem" aufgetaucht ist.

Wenn ich eine einzelne Excel Datei zerstückelt hochlade, und dieser zerstückelt wieder runterlade, bringt er mir im Excel eine Fehlermeldung, dass Datei beschädigt ist und ob er versuchen soll soviel wie möglich zu reparieren.
Hat jemand eine Ahnung woran das liegen könnte?

Was ich schon probiert habe, ist die Datei als ZIP und/oder als XML hochzuladen und dann wieder umzuwandeln als .xlsx ... Leider kommt der gleiche Fehler

...

Irgendwo gehen da ein paar Byte verloren... komischerweise nur bei Excel Dateien.

Danke für eure Ideen und Hilfe =)

Coldfire · 8. November 2023, 15:36

um den Fehler einzugrenzen, nenn bitte die Prüfsumme(z.B.MD5) vor dem laden in die DB, in der DB und nach dem Extrahieren aus der DB

ErfinderDesRades · 8. November 2023, 15:48

r0tzi schrieb:

Wenn ich eine einzelne Excel Datei zerstückelt hochlade, und dieser zerstückelt wieder runterlade, bringt er mir im Excel eine Fehlermeldung, dass Datei beschädigt ist und ob er versuchen soll soviel wie möglich zu reparieren.
Hat jemand eine Ahnung woran das liegen könnte?

Da liegt ein Fehler vor, beim Zerstückeln und Zusammensetzen.

Schreib dir zuerst eine TestMethode, die eine Test-Datei erst zerstückelt, und dann wieder zusammensetzt.
Dann prüfen, dass die neu-Zusammengesetzte Datei den Fehler reproduziert.

Erst danach kannst du dich dranmachen, die beiden Methoden so zu verbessern, dass der Fehler am Ende behoben ist.

siycah · 8. November 2023, 18:18

@r0tzi Wenn du die Dateien zerstückelst, wirst du sicherlich mit Offsets arbeiten.

Ich nehme an, du hast eine Klasse, die sich ausschließlich darum kümmert, Dateien zu zerbrechen und wieder zusammenzukleben.

In solchen Fällen bieten sich Unit Tests super an, um statisch bekannte Daten auszutesten.
Aus dem Bauch heraus würde ich mal behaupten, du setzt irgendwo den Offset einen zu weit nach vorne oder nach hinten.

SQL INSERT größere Datei mit Progressbar möglich?

SQL INSERT größere Datei mit Progressbar möglich?

VB.NET-Quellcode

r0tzi schrieb:

r0tzi schrieb:

mrMo schrieb:

mrMo schrieb:

siycah schrieb:

siycah schrieb:

siycah schrieb:

r0tzi schrieb:

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

r0tzi schrieb:

r0tzi schrieb:

Ähnliche Themen

6 Benutzer haben hier geschrieben