Threading zur Speed Optimierung

  • VB.NET

Es gibt 25 Antworten in diesem Thema. Der letzte Beitrag () ist von Psike2k11.

    Threading zur Speed Optimierung

    Hi nachdem ich jetzt sicher verschlüsseln kann ist mir aufgefallen das bei meiner Methode sehr viel zeit verloren geht, also dachte ich mir ich könnte das verschlüsseln der felder in einzelne threads packen
    Bitte schaut euch meinen Code an an der stelle im switch würde ich gerne wo aktuell alle verschlüsselungen nacheinander laufen parralel und am ende alles wieder in der Zeile ausgeben und so weiter!

    VB.NET-Quellcode

    1. Imports System
    2. Imports System.IO
    4. Public Class cl_csv
    5. Shared Sub csvtoarray2(ByVal datapath As String, ByVal key As String, ByVal crypt As Integer, ByVal kind As Integer)
    6. Try
    7. Dim status As String = 0
    8. ' fileNameIn ermitteln, hier im Beispiel nicht per OpenFileDialog
    9. Dim fileNameIn As String = datapath
    10. Dim fileNameOut As String = fileNameIn & "_NEW.csv"
    11. ' streamReader, streamWriter definieren und öffnen
    12. Dim reader As New IO.StreamReader(fileNameIn)
    13. Dim writer As New IO.StreamWriter(fileNameOut, False)
    14. ' zeilenweise lesen
    15. While reader.Peek <> -1
    16. ' zeile lesen:
    17. Dim lineIn As String = reader.ReadLine
    18. ' in ein array splitten:
    19. Dim args() As String = lineIn.Split(";")
    20. ' Headlines Yes/no?
    21. If fm_main.headline = False Then
    22. ' Auswahl bestand oder schaden!
    23. ' Encrypt Strings you want
    24. Select Case kind
    25. Case 0 ' Bestand
    26. Select Case crypt
    27. Case 0
    28. Dim cCrypt As cCrypt = New cCrypt
    29. cCrypt.Encrypt(128, args(3).ToString, key)
    30. args(3) = cCrypt.EncryptedString
    31. Case 1
    32. Dim cCrypt As cCrypt = New cCrypt
    33. cCrypt.Decrypt(128, args(3).ToString, key)
    34. args(3) = cCrypt.DecryptedString
    35. End Select
    36. Case 1 ' Schaden
    37. Select Case crypt
    38. Case 0
    39. Dim cCrypt As cCrypt = New cCrypt
    40. cCrypt.Encrypt(128, args(0).ToString, key)
    41. args(0) = cCrypt.EncryptedString
    42. cCrypt.Encrypt(128, args(2).ToString, key)
    43. args(2) = cCrypt.EncryptedString
    44. cCrypt.Encrypt(128, args(3).ToString, key)
    45. args(3) = cCrypt.EncryptedString
    46. cCrypt.Encrypt(128, args(5).ToString, key)
    47. args(5) = cCrypt.EncryptedString
    48. Case 1
    49. Dim cCrypt As cCrypt = New cCrypt
    50. cCrypt.Decrypt(128, args(0).ToString, key)
    51. args(0) = cCrypt.DecryptedString
    52. cCrypt.Decrypt(128, args(2).ToString, key)
    53. args(2) = cCrypt.DecryptedString
    54. cCrypt.Decrypt(128, args(3).ToString, key)
    55. args(3) = cCrypt.DecryptedString
    56. cCrypt.Decrypt(128, args(5).ToString, key)
    57. args(5) = cCrypt.DecryptedString
    59. End Select
    60. End Select
    61. End If
    62. ' neue Zeile ergänzen und schreiben
    63. Dim lineOut As String = ""
    64. For i = 0 To args.Length - 1
    65. lineOut = lineOut + args(i) + ";"
    66. fm_main.pb_status.Value = i + 1
    67. fm_main.pb_status.Refresh()
    68. Next
    69. writer.WriteLine(lineOut)
    70. Console.WriteLine(lineOut)
    71. fm_main.headline = False
    72. status = status + 1
    73. fm_main.lb_status.Text = status
    74. fm_main.lb_status.Refresh()
    75. End While
    76. ' reader und writer sauber schliessen
    77. reader.Close()
    78. writer.Close()
    79. fm_main.pb_status.Visible = False
    80. MsgBox("Operation Done", MsgBoxStyle.OkOnly)
    81. ' falls gewünscht weitere File Operationen zum löschen der alten und umbenennen der neuen Datei
    82. If fm_main.cb_mode.Checked = True Then
    83. IO.File.Delete(fileNameIn)
    84. IO.File.Move(fileNameOut, fileNameIn)
    85. End If
    86. Catch E As Exception
    87. ' Let the user know what went wrong.
    88. MsgBox(E.Message, MsgBoxStyle.OkOnly)
    89. End Try
    90. End Sub
    91. End Class


    danke fürs Lesen!

    *Topic verschoben*

    Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „Marcus Gräfe“ ()

    ...mal eine frage am rande, für was entschlüsselst du einzelne datensätze, mach dir spaß bei öffnen jeden Datensatz password einzugeben ?
    Wie wärs wenn du einfach alle Datensätze verschlüsselst und beim öffnen deine Anwendung gibst du nur ein mal password und dann kannst
    deine Datensätze verwalten, bearbeiten usw...beim schliesen Anwendung Daten speichern und Verschlüsseln, Verschlüsseln kannst in separaten Thread ausführen.

    Dieser Beitrag wurde bereits 2 mal editiert, zuletzt von „SystemUnknow“ ()

    richtig viel ist da mit threading nicht zu holen. naja, immerhin würde 2 Threads 2 kernels ausnutzen.

    mehr threads bringen nix, denn jeder Thread kriegt ja nur einen Anteil der insgesamt verfügbaren CPU-Power, und ob nun ein thread mit 100% arbeitet oder 5 Threads mit je 20% - kommt fast aufs selbe raus, ausser, dass bei 5 Threads noch einiges an Leistung für die Thread-Verwaltung draufgeht.

    vlt. hat dein verschlüsselungs-Algo Optimierungs-Potential.

    nebenbei: Welche Funktion erfüllt das .ToString bei args(0).ToString ?

    Edit: @systemUnknown: das ist schon nicht ganz sinnlos, erklärt isses hier: [VB 2010] String Verschlüssen/Entschlüsseln mit Key - aber den Thread kennsteja.

    Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „ErfinderDesRades“ ()

    ErfinderDesRades schrieb:

    vlt. hat dein verschlüsselungs-Algo Optimierungs-Potential.

    Ich würde mal sagen der ganze Code hat vermutlich noch viel Potential ;)

    Es ist ja immer noch nicht geklärt, WARUM überhaupt "verschlüsselt" werden muss.
    Normalerweise würde es völlig reichen, die relevanten Daten als Index/Referenz auf eine Datei/Datenbank zu speichern, die das aus eben NICHT verläßt. Dadurch kann inhouse mit den korrekten Daten gearbeitet werden und externe Dienstleisten bekommen nur bedeutungslose Zahlen geliefert. Dieses Verfahren würde vermutlich schon mal 90%+ Rechenzeit sparen ;)

    Jepp - in die Richtung ging auch eine meiner überlegungen:

    ErfinderDesRades schrieb:

    Auch eine Überlegung wäre, ob man die 50 Spalten, die den Fremdabrechner nix angehen, ob man die nicht lieber gleich ganz entfernt. Statt der Kundennummer könnte man eine IndexNummer dranmachen, anhand der man das Elaborat dann wieder zuordnet.

    Oder man lässt die Kunden nummer sogar drin und unverschlüsselt. Was nützt es dem Fremdabrechner ohne die anneren 49 Spalten ?

    Mehr Infos

    ErfinderDesRades schrieb:

    nebenbei: Welche Funktion erfüllt das .ToString bei args(0).ToString ?
    Die funktion erwartet einen string wenn ich ihm die stellle im Array mitgebe sagt der debugger mir das er ein String erwartet und kein Array....

    Also das Problem ist folgendest die datenbank ist einfach ohne konzept erweitert worden hat inzwischen 500 felder und davon weiss man nicht mal wofür diese sind, was wir aber haben ist ein report der als csv exportiert wird der schon vor jahren erstellt wurde und genau das beinhaltet was wir brauchen, deswegen muss ich in einer csv verschlüsseln...
    ich habe mir das ganze mal beim durchlaufen der Datensätze angesehen die Auslastung liegt bei 10% also dachte ich mir warum nicht 5 mal 10% um die speed zu verfünffachen....

    Meinen Verschlüsselungsalgoritmus:
    Spoiler anzeigen

    VB.NET-Quellcode

    1. Option Strict On
    3. Imports System.Security.Cryptography
    5. Public Class cCrypt
    7. #Region "Zustandsvariablen"
    8. Private EncryptedString_ As String
    9. Private DecryptedString_ As String
    10. #End Region
    12. Public Sub New()
    14. End Sub
    16. #Region "Methoden"
    17. ' Verschlüsseln
    18. Public Sub Encrypt(ByVal AESKeySize As Int32, _
    19. ByVal DecryptedString As String, _
    20. ByVal Password As String)
    22. ' Der Salt-Wert ist eine zufällig gewählte Zeichenfolge,
    23. ' wenn man so will ein zweites Passwort.
    24. ' Nur wer den Salt-Wert und das Passwort kennt,
    25. ' kann entschlüsseln.
    26. ' Durch Verwendung eines Salt-Wertes ist es deutlich
    27. ' schwerer das Passwort zu knacken.
    28. ' Wird das Passwort selber zur Erstellung des Salt-Wertes
    29. ' verwendet, muss dieses mindestens 8 Zeichen haben.
    30. Dim Salt() As Byte
    31. Salt = System.Text.Encoding.UTF8.GetBytes( _
    32. "123456789")
    34. ' Mit Hilfe des Passwortes und des Salt wird ein Key (Hash-Wert)
    35. ' generiert, der später zur Initialisierung des
    36. ' AES-Algorithmus verwendt wird.
    37. Dim GenerierterKey As New Rfc2898DeriveBytes(Password, Salt)
    39. ' Instanzierung des AES-Algorithmus-Objekts mit 256-bit
    40. ' oder 128-bit Schlüssel und 128-bit Block-Size
    41. Dim AES As New AesManaged
    42. AES.KeySize = AESKeySize ' möglich sind 256 oder 128 bit
    43. AES.BlockSize = 128
    45. ' Algorithmus initialisieren:
    46. AES.Key = GenerierterKey.GetBytes(AES.KeySize \ 8)
    47. AES.IV = GenerierterKey.GetBytes(AES.BlockSize \ 8)
    49. ' Memory-Stream und Crypto-Stream erzeugen -> CreateEncryptor()
    50. Dim ms As New IO.MemoryStream
    51. Dim cs As New CryptoStream(ms, AES.CreateEncryptor(), _
    52. CryptoStreamMode.Write)
    54. ' Daten verschlüsseln:
    55. Dim Data() As Byte
    56. Data = System.Text.Encoding.UTF8.GetBytes(DecryptedString)
    57. cs.Write(Data, 0, Data.Length)
    58. cs.FlushFinalBlock()
    59. cs.Close()
    61. ' Verschlüsselte Daten als String ausgeben:
    62. EncryptedString_ = Convert.ToBase64String(ms.ToArray)
    63. ms.Close()
    65. AES.Clear()
    67. End Sub
    69. ' Entschlüsseln
    70. Public Sub Decrypt(ByVal AESKeySize As Int32, _
    71. ByVal EncryptedString As String, _
    72. ByVal Password As String)
    74. ' Der Salt-Wert und das Passwort müssen mit dem übereinstimmen,
    75. ' das bei der Verschlüsselung verwendet wurde:
    76. Dim Salt() As Byte
    77. Salt = System.Text.Encoding.UTF8.GetBytes( _
    78. "123456789")
    80. Dim GenerierterKey As New Rfc2898DeriveBytes(Password, Salt)
    82. ' Instanzierung des AES-Algorithmus-Objekts:
    83. Dim AES As New AesManaged
    84. ' Ein mit 256 bit verschlüsselter String kann
    85. ' auch nur mit 256 bit entschlüsselt werden!
    86. AES.KeySize = AESKeySize ' möglich sind 256 oder 128 bit
    87. AES.BlockSize = 128
    89. ' Algorithmus initialisieren:
    90. AES.Key = GenerierterKey.GetBytes(AES.KeySize \ 8)
    91. AES.IV = GenerierterKey.GetBytes(AES.BlockSize \ 8)
    93. ' Memory-Stream und Crypto-Stream erzeugen -> CreateDecryptor()
    94. Dim ms As New IO.MemoryStream
    95. Dim cs As New CryptoStream(ms, AES.CreateDecryptor(), _
    96. CryptoStreamMode.Write)
    98. Try ' Daten entschlüsseln:
    99. Dim Data() As Byte
    100. Data = Convert.FromBase64String(EncryptedString)
    101. cs.Write(Data, 0, Data.Length)
    102. cs.FlushFinalBlock()
    103. cs.Close()
    105. ' Die entschlüsselten Daten als String ausgeben:
    106. DecryptedString_ = System.Text.Encoding.UTF8.GetString(ms.ToArray)
    107. ms.Close()
    109. AES.Clear()
    110. Catch ex As Exception
    111. DecryptedString_ = "Ungültiges Passwort!"
    112. End Try
    114. End Sub
    115. #End Region
    117. #Region "Eigenschaften"
    118. ReadOnly Property EncryptedString() As String
    119. Get
    120. Return EncryptedString_
    121. End Get
    122. End Property
    125. ReadOnly Property DecryptedString() As String
    126. Get
    127. Return DecryptedString_
    128. End Get
    129. End Property
    130. #End Region
    132. End Class



    Falls es was zu Optimieren gild nur her damit,
    also aktuell macht der halt feld für feld und ich dachte 5 gleichzeitig würde mehr bringen ;)
    Danke für die Hilfe!

    Hallo ,

    also bei meinem Youtube Bot mit der Youtube API habe ich es auch so gemacht das pro Aufgabe immer 3 Threads laufen die das gleiche machen...
    3 Threads waren schneller als einer.

    Also ich denke wenn man dann daraus nen paar Threads macht würde das auch schneller laufen.
    Wobei ich sagen muss.. Die Youtube Api Logt sich ein prüft den Key für den Dev... Diese Aufgabe dauert nacheinander einfach zu lange...

    Deshalb hab ich mir einfach 3 Threads für jede Aufgabe gemacht und es lief 3 mal schneller...

    In wie weit das nun auf dein Problem zutrifft kann ich dir nicht sagen ;)

    Sollte nur ein kleiner erfahrungsbericht sein hier ^^
    Grüße , xChRoNiKx

    Nützliche Links:
    Visual Studio Empfohlene Einstellungen | Try-Catch heißes Eisen

    Psike2k11 schrieb:

    ch habe mir das ganze mal beim durchlaufen der Datensätze angesehen die Auslastung liegt bei 10%

    Das zeigt entweder, dass du 3-6 Kerne hast, oder dass die IO Geschichte am meisten bremst.

    Je nach Dateigröße und verfügbarem Arbeitsspeicher ist es vermutlich sinnvoller, die GESAMTE Datei am Stück einzulesen (ReadLines()) und am Schluss auch am Stück zu schreiben.

    Statt Strings zu kombinieren, sollte man bei mehr Feldern den Stringbuilder verwenden. Strings sind "immutable" und bei jeder "Anfüge" Aktion wird einer komplett neuer String erzeugt und der alte verworfen.

    Außerdem kann man zum kombinieren .Join nehmen, anstatt selbst ne Schleife zu basteln.

    BTW: Damit Multithreading funktioniert, muss die encrypt Funktion natürlich threadsafe sein ... !

    Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „picoflop“ ()

    Psike2k11 schrieb:

    ErfinderDesRades schrieb:

    nebenbei: Welche Funktion erfüllt das .ToString bei args(0).ToString ?
    Die funktion erwartet einen string wenn ich ihm die stellle im Array mitgebe sagt der debugger mir das er ein String erwartet und kein Array....

    Falsch. Das sagt der Debugger nur, wenn du ihm ein Array mitgibst (also args). Wenn du ihm aber ein Array-Element mitgibst (args(0)), dann sagter nix, denn args ist ein String-Array, also die Elemente von args sind bereits vom typ String, und macht kein guten Eindruck, wenn man String nach String umwandelt ;)

    Nanu??
    ist das jetzt ein Crosspost, oder ist der Thread abgetrennt worden?
    gugge [VB 2010] Mehr Infos

    Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „ErfinderDesRades“ ()

    Mein Fehler

    Ja unten wohl auf "Neues Thema" gekommen als ich "Antworten" wollte, wieso gibts den Knopf obwohl ich mich in einem Thema befinde.....;)

    Mhh ok hast recht kein fehler....hab den sting jetzt im string Builder zusammen gesetzt vor dem schreiben bringt schon mal ordentlich was!

    ErfinderDesRades schrieb:

    richtig viel ist da mit threading nicht zu holen. naja, immerhin würde 2 Threads 2 kernels ausnutzen.
    mehr threads bringen nix, denn jeder Thread kriegt ja nur einen Anteil der insgesamt verfügbaren CPU-Power, und ob nun ein thread mit 100% arbeitet oder 5 Threads mit je 20% - kommt fast aufs selbe raus, ausser, dass bei 5 Threads noch einiges an Leistung für die Thread-Verwaltung draufgeht.
    Das ist nicht so.

    Testcode: Form, 2 Button, 3 Backgroundworker
    Spoiler anzeigen

    VB.NET-Quellcode

    1. Public Class Form1
    2. Private Feld1() As Double
    3. Private Feld2() As Double
    4. Private Summe1() As Double
    5. Private Summe2() As Double
    6. Private start As DateTime
    7. Private flag2 As Boolean
    8. Private flag3 As Boolean
    9. Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
    10. start = DateTime.Now
    11. flag2 = False
    12. flag3 = False
    13. BackgroundWorker1.RunWorkerAsync()
    14. End Sub
    16. Private Sub Button2_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button2.Click
    17. start = DateTime.Now
    18. flag2 = False
    19. flag3 = False
    20. BackgroundWorker2.RunWorkerAsync()
    21. BackgroundWorker3.RunWorkerAsync()
    22. End Sub
    24. Private Sub InitArrays(ByRef feld() As Double, ByRef summe() As Double)
    25. Dim i As Integer
    26. Try
    27. For j = 0 To 9
    28. ReDim feld(1000000)
    29. ReDim summe(1000000)
    30. For i = 0 To feld.Length - 1
    31. feld(i) = CDbl(i) * CDbl(i)
    32. summe(i) = 0
    33. Next
    34. For i = 0 To feld.Length - 1
    35. summe(i) = Math.Sin(Math.Sqrt(feld(i)))
    36. Next
    37. Next
    38. Catch ex As Exception
    39. Stop
    40. End Try
    41. End Sub
    42. Private Sub BackgroundWorker1_DoWork(ByVal sender As System.Object, ByVal e As System.ComponentModel.DoWorkEventArgs) Handles BackgroundWorker1.DoWork
    43. InitArrays(Feld1, Summe1)
    44. InitArrays(Feld2, Summe2)
    45. End Sub
    47. Private Sub BackgroundWorker2_DoWork(ByVal sender As System.Object, ByVal e As System.ComponentModel.DoWorkEventArgs) Handles BackgroundWorker2.DoWork
    48. InitArrays(Feld1, Summe1)
    49. End Sub
    51. Private Sub BackgroundWorker3_DoWork(ByVal sender As System.Object, ByVal e As System.ComponentModel.DoWorkEventArgs) Handles BackgroundWorker3.DoWork
    52. InitArrays(Feld2, Summe2)
    53. End Sub
    55. Private Sub BackgroundWorker1_RunWorkerCompleted(ByVal sender As System.Object, ByVal e As System.ComponentModel.RunWorkerCompletedEventArgs) Handles BackgroundWorker1.RunWorkerCompleted
    56. flag2 = True
    57. flag3 = True
    58. Finish()
    59. End Sub
    61. Private Sub BackgroundWorker2_RunWorkerCompleted(ByVal sender As System.Object, ByVal e As System.ComponentModel.RunWorkerCompletedEventArgs) Handles BackgroundWorker2.RunWorkerCompleted
    62. flag2 = True
    63. Finish()
    64. End Sub
    66. Private Sub BackgroundWorker3_RunWorkerCompleted(ByVal sender As System.Object, ByVal e As System.ComponentModel.RunWorkerCompletedEventArgs) Handles BackgroundWorker3.RunWorkerCompleted
    67. flag3 = True
    68. Finish()
    69. End Sub
    71. Private Sub Finish()
    72. If (Not (flag2 And flag3)) Then
    73. Return
    74. End If
    75. Dim ende As DateTime = DateTime.Now
    76. MessageBox.Show((ende - start).TotalSeconds.ToString)
    77. End Sub
    78. End Class
    Die auf 2 Backgroundworker verteilte Arbeit ist etwa in der halben Zeit beendet wie die von einem verrichtete.
    Das Betriebssystem verteilt Zeitscheiben an alle laufenden Prozesse.
    Wenn Dein Programm 1 Zeitscheibe von 100 Scheiben bekommt oder 2 Zeitscheiben von 101, ist das praktisch ein Faktor 2.
    Da ist es egal, wieviel Kerne der Prozessor hat.
    Falls Du diesen Code kopierst, achte auf die C&P-Bremse.
    Jede einzelne Zeile Deines Programms, die Du nicht explizit getestet hast, ist falsch :!:
    Ein guter .NET-Snippetkonverter (der ist verfügbar).
    Programmierfragen über PN / Konversation werden ignoriert!

    ich glaub aber doch. IMO ist dein Test deshalb schneller, weil du auf einer Maschine mit 2 o. mehr Kernel getestet hast. Da kanner natürlich beide Kernels hinzuziehen, und dadurch die Gesamtleistung des Compis besser ausnutzen, denn mit nur einem Thread kanner nur einen Kernel beauftragen.
    Ein korrekter Test müsste zunächst man in genau die Anzahl der Kernels aufteilen und messen.
    Und dann weiter aufteilen - AFAIK bringt das dann nix mehr.

    Soo nun hat sich folgendes ergeben ich hab das ergebnis jetzt mal komplett zurück gewandelt und hab festgestellt das der Ursprung Windows-1252 als encoding hat und in meinem Code benutze ich UTF-8 ... dummer weise weiss ich nicht wie ich test.encoding.XXX sagen kann das XXX 1252 ist hab nur UTF-7/8/32 und ASCII....was nun?

    Hab mal rumgespielt
    Spoiler anzeigen

    VB.NET-Quellcode

    1. Imports System.Threading
    2. Imports System.Threading.Tasks
    3. Imports System.Security.Cryptography
    5. Public Class Form1
    7. Private cryptcols() As Integer = {2, 3, 27, 31, 45}
    9. Private myfile As String = System.IO.Path.Combine(
    10. My.Computer.FileSystem.SpecialDirectories.CurrentUserApplicationData,
    11. "mydummy.txt")
    12. Private myfileout As String = myfile & ".out"
    15. Private Sub Form1_Load(sender As System.Object, e As System.EventArgs) Handles MyBase.Load
    17. End Sub
    19. Private Async Function ProcessFile(ByVal numthreads As Integer) As Tasks.Task(Of Tuple(Of Integer, Integer))
    21. Dim stp_compute As New Stopwatch
    22. Dim stp_all As New Stopwatch
    24. stp_all.Start()
    25. Dim line_in() As String = IO.File.ReadAllLines(myfile)
    28. ' segment the problem
    29. stp_compute.Start()
    30. Dim segsize As Integer = line_in.Count \ numthreads
    32. Dim masteraes As New AesManaged
    33. Dim pdb = New PasswordDeriveBytes("password", New Byte() {1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16})
    34. masteraes.Key = pdb.GetBytes(masteraes.KeySize \ 8)
    35. masteraes.IV = pdb.GetBytes(masteraes.BlockSize \ 8)
    38. Dim dowork = New Action(Of Object)(Sub(param As Object)
    39. Dim tp As Tuple(Of Integer, Integer) = DirectCast(param, Tuple(Of Integer, Integer))
    40. Dim starti As Integer = tp.Item1
    41. Dim numi As Integer = tp.Item2
    42. Dim aes As New AesManaged
    43. aes.Key = masteraes.Key
    44. aes.IV = masteraes.IV
    47. For i = starti To starti + numi - 1
    48. Dim s() = line_in(i).Split(";")
    49. For Each n In cryptcols
    50. Using ms As New IO.MemoryStream
    51. Using cs As New CryptoStream(ms, aes.CreateEncryptor, CryptoStreamMode.Write)
    52. cs.Write(System.Text.Encoding.ASCII.GetBytes(s(n)), 0, s(n).Length)
    53. End Using
    54. s(n) = Convert.ToBase64String(ms.ToArray)
    55. End Using
    56. Next
    57. line_in(i) = Join(s, ";")
    58. Next
    59. End Sub)
    61. Dim tf As New Tasks.TaskFactory()
    62. Dim lt As New List(Of Tasks.Task)
    63. For t = 0 To numthreads - 1
    64. Dim sg As Integer
    65. If t = numthreads - 1 Then
    66. sg = line_in.Count - (numthreads - 1) * segsize
    67. Else
    68. sg = segsize
    69. End If
    70. lt.Add(tf.StartNew(dowork, New Tuple(Of Integer, Integer)(t * segsize, sg)))
    71. Next
    73. Await Tasks.TaskEx.WhenAll(lt)
    74. stp_compute.Stop()
    76. If My.Computer.FileSystem.FileExists(myfileout) Then My.Computer.FileSystem.DeleteFile(myfileout)
    77. IO.File.WriteAllLines(myfileout, line_in)
    79. stp_all.Stop()
    81. Return New Tuple(Of Integer, Integer)(stp_all.ElapsedMilliseconds, stp_compute.ElapsedMilliseconds)
    83. End Function
    85. Private Function CreateFile(ByVal zeilen As Integer, ByVal spalten As Integer) As Boolean
    87. If My.Computer.FileSystem.FileExists(myfile) Then
    88. If MessageBox.Show(Me, "Vorhandene Datei löschen?", "Datei gefunden", MessageBoxButtons.YesNo) = Windows.Forms.DialogResult.Yes Then
    89. My.Computer.FileSystem.DeleteFile(myfile)
    90. Else
    91. Return True
    92. End If
    93. End If
    95. Dim inhalt As Integer = 1000000
    96. Dim b(spalten - 1) As String
    97. Dim str As System.IO.StreamWriter = New IO.StreamWriter(IO.File.OpenWrite(myfile))
    98. For i = 1 To zeilen
    99. For j = 0 To spalten - 1
    100. b(j) = inhalt.ToString("0000000")
    101. inhalt += 1
    102. Next
    103. str.WriteLine(Join(b, ";"))
    104. Next
    105. str.Close()
    106. Return True
    107. End Function
    109. Private Sub BtnCreateFile_Click(sender As System.Object, e As System.EventArgs) Handles BtnCreateFile.Click
    110. If CreateFile(1000000, 50) Then
    111. MessageBox.Show("Datei wurde erzeugt!" & vbCrLf & "Größe: " & New System.IO.FileInfo(myfile).Length \ (1000 * 1000) & " MB")
    112. End If
    113. End Sub
    115. Private Async Sub BtnDoWork_Click(sender As System.Object, e As System.EventArgs) Handles BtnDoWork.Click
    116. Dim n As Integer = nudThreads.Value
    117. Dim result As Tuple(Of Integer, Integer) = Await ProcessFile(n)
    118. Dim sout As String = String.Format("Threads: {0}, total: {1}, computeonly: {2}", n, result.Item1, result.Item2)
    119. Debug.Print(sout)
    120. lstResults.Items.Add(sout)
    121. End Sub
    122. End Class

    Vlt noch etwas unbeholfen, aber weiter optimieren kann man ja immer ;)

    EDIT: Erklärung:
    Es wird zuerstmal ne Datei mit 1.000.000 Zeilen und je 50 spalten erzeugt, die mit dummy-Werten gefüllt werden. Die Datei hat dann rund 400 MB.
    Bei der Verarbeitung wird die Datei komplett eingelesen (als Array) und dann arbeiten x Threads jeweils an Teilbereichen und verschlüsseln jeweils die spalten, die in "cryptcols" definiert wurden.
    Wenn alles fertig ist, wird die Datei komplett geschrieben. Wie man sieht, dauert allein schon das Lesen/Schreiben 5 Sekunden und da läßt sich auch kaum noch viel mehr Speed rausholen denke ich.

    Getestet auf Core i7-2600 (3.4G/4C/8T)

    Quellcode

    1. Threads: 1, total: 22048, computeonly: 17548
    2. Threads: 1, total: 22723, computeonly: 17157
    3. Threads: 1, total: 22624, computeonly: 17076
    4. Threads: 2, total: 15322, computeonly: 9914
    5. Threads: 2, total: 14713, computeonly: 9932
    6. Threads: 2, total: 15255, computeonly: 9868
    7. Threads: 4, total: 12139, computeonly: 6634
    8. Threads: 4, total: 12005, computeonly: 6372
    9. Threads: 4, total: 12016, computeonly: 6349
    10. Threads: 8, total: 11909, computeonly: 6403
    11. Threads: 8, total: 12233, computeonly: 6443
    12. Threads: 8, total: 11463, computeonly: 6308

    Wie man sieht bringt HT in diesem Fall nix und bei 4 Threads vs 1 kommt man auf etwa 35% Rechenzeit (optimal wären 25%)

    Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „picoflop“ ()

    Nachtrag zu oben: der lief auf einem AMD-6
    XP mit Hyperthreading ergab keinen Unterschied.
    Falls Du diesen Code kopierst, achte auf die C&P-Bremse.
    Jede einzelne Zeile Deines Programms, die Du nicht explizit getestet hast, ist falsch :!:
    Ein guter .NET-Snippetkonverter (der ist verfügbar).
    Programmierfragen über PN / Konversation werden ignoriert!

    Psike2k11 schrieb:

    dummer weise weiss ich nicht wie ich test.encoding.XXX sagen kann

    System.Text.Encoding.GetEncoding(1252).GetBytes(meinstring)
    schon probiert?

    BTW: Muss eigentlich jeder EINZELNE Datensatz dekodierbar sein, oder reicht es, wenn das gesamte Dok bei seiner Rückkehr wieder dekodiert werden kann? Bei zweiterem würde mir nämlich ein guter Trick einfallen ;)

    Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „picoflop“ ()

    Ist jetzt schon eine weile her aber ich war im Urlaub,
    die Datei muss eine CSV bleiben und jeder Datensatz muss verschlüsselt sein...wird auf der Gegenseite auch Datensatz für Datensatz eingelesen!
    In der Zwischenzeit habe ich alles auf No Hands On programmiert da sich das ganze säter in ein WorkFlow einbauen lassen soll!

    Also überwache ich einen Ordner in den kommen die Datei und werden am ende wenn das Umwandel abgeschlossen ist auf einen FTP Server verschoben

    So jetzt habe ich 2 Sachen generell macht das nicht das jede Datei ca. 1 Stunde braucht wenn sich keiner drum kümmern muss egal.
    Aber wenn ich das starte hängt leider die Main GUI und tut nix mehr das Programm encrypted fleißig weiter und am ende hat man auch ne 100% datei aber ich will nicht das was hängt ;)
    Und ich überlege ob auf einem Server mit 16 Kernen nicht doch was aus Threads rauszuholen ist!
    Der String builder hat nur MINIMAL was gebracht!

    Danke für die Hilfe

    Du musst halt nur beachten, dass ich mit einer "kleinen" Datei von rund 400 MB arbeite. Wenn deine Datei DEUTLICH größer ist musst du ggf außen rum noch ne Schleife bauen, so dass die die gesamte Datei nicht am Stück liest und schreibst, sondern immer "häppchenweise" - wobei ein Happen irgendwas zwischen 100 MB und 1 GB sein kann!

Facebook