Hashset mit List(of /

  • VB.NET
  • .NET (FX) 4.5–4.8

Es gibt 11 Antworten in diesem Thema. Der letzte Beitrag () ist von ErfinderDesRades.

    Hashset mit List(of /

    Hallo,

    ich habe eine Datenbank mit einer List(of T)

    Diese ist aber mittlerweile dermaßen langsam wenn ich mit z.b. Adressen.Findindex einen Eintrag suche, dass ich gezwungen bin etwas schneller zu werden. Ich würde es gern mit einem Hashset versuchen blicke aber noch nicht ganz durch. Vielleicht kann mir jemand auf die Sprünge helfen.

    Anbei der Code für mich zum ausprobieren:

    VB.NET-Quellcode

    1. Public Class Form1
    2. Private adressen As New HashSet(Of Adresseintrag)
    4. Private Sub Form1_Load(sender As Object, e As EventArgs) Handles MyBase.Load
    5. adressen.Add(New Adresseintrag("Bach1", "Ich", 9))
    6. adressen.Add(New Adresseintrag("Bach2", "Du", 9))
    7. adressen.Add(New Adresseintrag("Bach3", "Er", 9))
    8. adressen.Add(New Adresseintrag("Bach4", "Sie", 9))
    9. adressen.Add(New Adresseintrag("Bach5", "Es", 9))
    10. adressen.Add(New Adresseintrag("Bach6", "Wir", 9))
    11. adressen.Add(New Adresseintrag("Bach7", "Ihr", 9))
    12. adressen.Add(New Adresseintrag("Bach8", "Sie", 9))
    13. End Sub
    15. Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
    16. Me.ListBox1.Items.Clear()
    17. For a = 0 To adressen.Count - 1
    18. Me.ListBox1.Items.Add(adressen(a).Name1)
    19. Next
    20. Me.ListBox1.Refresh()
    21. End Sub
    23. Private Sub Button2_Click(sender As Object, e As EventArgs) Handles Button2.Click
    24. ' Suche Name und gebe Adresse aus
    25. ' ??????
    26. End Sub
    27. End Class
    28. <Serializable>
    29. Public Class Adresseintrag
    30. Private adresse As String
    31. Private name As String
    32. Private nummer As Decimal
    34. Public Sub New(adresse As String, name As String, nummer As Decimal)
    35. Me.Adresse1 = adresse
    36. Me.Name1 = name
    37. Me.Nummer1 = nummer
    38. End Sub
    40. Public Property Adresse1 As String
    41. Get
    42. Return adresse
    43. End Get
    44. Set(value As String)
    45. adresse = value
    46. End Set
    47. End Property
    49. Public Property Name1 As String
    50. Get
    51. Return name
    52. End Get
    53. Set(value As String)
    54. name = value
    55. End Set
    56. End Property
    58. Public Property Nummer1 As Decimal
    59. Get
    60. Return nummer
    61. End Get
    62. Set(value As Decimal)
    63. nummer = value
    64. End Set
    65. End Property
    66. End Class


    *Topic verschoben*

    Dieser Beitrag wurde bereits 3 mal editiert, zuletzt von „Marcus Gräfe“ ()

    Marcolotti schrieb:

    ich habe eine Datenbank mit einer List(of T)
    Ich sehe in dem Code keinen Hinweis auf eine Datenbank, und ich sehe auch keine List(Of T).
    Ich sehe, dass Zeile#5 nicht funktionieren kann, weil da ein Class1-Dingens geadded wird, wo nur ein Addresseintrag zulässig wäre.

    Übrigens vb.net-Code kann man besser leserlich einstellen, wenn man den VB.net-button benutzt.

    Da hast du recht, wollte es hier in im Thread nur übersichtlicher gestalten. Habe den Beitrag abgeändert.

    Nein, es ist keine reinrassige "Datenbank". Ich verwende in der Produktiven Umgebung eine List<T> Klasse.

    VB.NET-Quellcode

    1. ​Private Adressen1 As New List(Of Adresseintrag)


    und prüfe ob ein Eintrag vorhanden ist:

    VB.NET-Quellcode

    1. ​Dim index As Integer = Adressen1.FindIndex(Function(f) f.Name1.Contains("Er"))
    2. If index > -1 Then
    3. MsgBox("Adresse:" & Adressen1(index).Adresse1)
    4. End If

    Ist aber bei über 6,5 Millionen Adressen und pro Sekunde 200 Abfragen recht langsam.

    Ich würde sagen ein Hashset bzw. für deinen Fall ein Dictionary bring dir hier nix, da du damit nur exakte Übereinstimmungen schnell suchen kannst. Aus deinem Beispiel geht aber hervor, dass du mit ​f.Name1.Contains("Er") auch nur nach Teilen des Strings suchen möchtest. Das kann sehr kompliziert werden. Hier mal ein Artikel dazu:

    High performance “contains” search in list of strings in C#

    Wenn du nicht mit ​Suffix tree anfangen möchtest, kannst du auch erstmal versuchen die liste Parallel zu durchsuchen. Du hast doch bestimmt mehr als 1 Kern. Teil die Liste mit ​Environment.ProcessorCount in gleich große Abschnitte auf und starte für jeden Abschnitt einen Task, der eben nur seinen Teil durchsucht. Dann wartest du mit ​Task.WaitAll darauf, dass alle fertig sind und gibst das gebündelte Ergebnis aus.

    nee - so einen filter Function(f) f.Name1.Contains("Er") - wüsste ich nicht, dassses da einen Weg gäbe, es zu beschleunigen.
    Da muss er ja alle Addressen durchgehen, und in jede einzelne reingucken.

    bei Function(f) f.Name1.StartsWith("Er") hätte man was machen können, indem man die Addressen nach Name1 sortiert, und dann eine binäre suche ausführt.

    Bluespide schrieb:

    Ich würde sagen ein Hashset bzw. für deinen Fall ein Dictionary bring dir hier nix, da du damit nur exakte Übereinstimmungen schnell suchen kannst. Aus deinem Beispiel geht aber hervor, dass du mit ​f.Name1.Contains("Er") auch nur nach Teilen des Strings suchen möchtest. Das kann sehr kompliziert werden. Hier mal ein


    Die Adresse ist ein einmaliger Hexwert mit 34 Zeichen. Der kommt nur einmal vor.

    Achso, dann ca. so:

    VB.NET-Quellcode

    1. Private adressen As New Dictionary(Of String, Adresseintrag)
    3. Private Sub Form1_Load(sender As Object, e As EventArgs) Handles MyBase.Load
    4. adressen.Add("Ich", New Adresseintrag("Bach1", "Ich", 9))
    5. adressen.Add("Du", New Adresseintrag("Bach2", "Du", 9))
    6. adressen.Add("Er", New Adresseintrag("Bach3", "Er", 9))
    7. adressen.Add("Sie", New Adresseintrag("Bach4", "Sie", 9))
    8. adressen.Add("Es", New Adresseintrag("Bach5", "Es", 9))
    9. adressen.Add("Wir", New Adresseintrag("Bach6", "Wir", 9))
    10. adressen.Add("Ihr", New Adresseintrag("Bach7", "Ihr", 9))
    11. End Sub
    13. Private Sub Button2_Click(sender As Object, e As EventArgs) Handles Button2.Click
    14. Dim stringToFind As String = "Er"
    15. If adressen.ContainsKey(stringToFind) Then
    16. MsgBox("Adresse:" & adressen(stringToFind).Adresse1)
    17. End If
    18. End Sub


    //Edit: Aber warte. Du suchst ja nach dem Name1 und nicht der Adresse1. ​Adresse1 möchtest du ja raus bekommen. Dictionary funktioniert nur, wenn der Suchbegriff einmal ist und nach diesem exakt gesucht wird.

    Hallo.

    Habe die ganze Anwendung auf Dictionarys umgestellt. Es läuft sehr viel schneller. :thumbsup:

    ABER:

    Ich habe folgendes Problem. Wenn ich das Dictionary nach einem Shutdown von der Platte wieder laden möchte, gibt es einen Fehler:

    "System.ArgumentException: An item with the same key has already been added."

    Da aber jeder Account einmalig ist und ich vor jedem Anlegen eines Accounts mit containskey prüfe ob er schon vorhanden ist, kann ich mir den Fehler nicht erklären. Das gespeicherte Dictionary ist 1,5GB groß. Das speichern klappt ohne Probleme.

    Hier der Code für´s speichern.

    VB.NET-Quellcode

    1. ​Public Function ArraySave(ByVal Filename As String,
    2. ByVal arr As Object) As Boolean
    4. Dim fs As FileStream = Nothing
    5. Dim Success As Boolean = False
    7. Try
    8. ' Datei zum Schreiben öffnen
    9. fs = New FileStream(Filename, FileMode.Create, FileAccess.Write)
    11. ' Array serialisieren und speichern
    12. Dim formatter As New BinaryFormatter()
    13. formatter.Serialize(fs, arr)
    14. Success = True
    16. Catch ex As Exception
    17. Console.WriteLine(DateTime.Now & vbCrLf & Filename & vbCrLf & ex.ToString)
    18. Return False
    19. Finally
    20. ' Datei schließen
    21. If Not IsNothing(fs) Then fs.Close()
    22. End Try
    24. Return (Success)
    25. End Function


    Der Code fürs Laden:

    VB.NET-Quellcode

    1. ​Public Function ArrayRead(ByVal Filename As String,
    2. ByRef arr As Object) As Boolean
    4. Dim Success As Boolean = False
    6. ' Prüfen, ob Datei existiert
    7. If IO.File.Exists(Filename) Then
    8. Dim fs As FileStream = Nothing
    9. Try
    10. ' Datei zum Lesen öffnen
    11. fs = New FileStream(Filename, FileMode.Open, FileAccess.Read)
    13. ' Daten deserialiseren und dem Array zuweisen
    14. Dim formatter As New BinaryFormatter()
    15. arr = formatter.Deserialize(fs)
    16. Success = True
    18. Catch ex As Exception
    19. Console.WriteLine("Array-Read: " & ex.ToString)
    20. Finally
    21. ' Datei schließen
    22. If Not IsNothing(fs) Then fs.Close()
    23. End Try
    24. End If
    26. Return (Success)
    27. End Function


    Hat jemand eine Idee?

    2. Problem ist:

    Mit den Listen List(of) konnte ich zu festen Zeitpunkten Snapshots machen. Ich habe dazu einem separaten Thread die Liste übergeben und dieser konnte sich austoben.

    Das gleiche habe ich mit dem Dictionary versucht aber folgender Fehler: "System.InvalidOperationException: Collection was modified; enumeration operation may not execute."

    Ich hab dein Code ausprobiert - bei mir geht das:

    VB.NET-Quellcode

    1. Public Shared Function ArraySave(ByVal Filename As String, ByVal arr As Object) As Boolean
    2. Dim Success As Boolean = False
    3. ' Datei zum Schreiben öffnen
    4. Using fs = New FileStream(Filename, FileMode.Create, FileAccess.Write)
    5. ' Array serialisieren und speichern
    6. Dim formatter As New BinaryFormatter()
    7. formatter.Serialize(fs, arr)
    8. Success = True
    9. End Using
    10. Return (Success)
    11. End Function
    13. Public Shared Function ArrayRead(ByVal Filename As String, ByRef arr As Object) As Boolean
    14. Dim Success As Boolean = False
    15. If IO.File.Exists(Filename) Then
    16. Using fs = New FileStream(Filename, FileMode.Open, FileAccess.Read)
    17. ' Daten deserialiseren und dem Array zuweisen
    18. Dim formatter As New BinaryFormatter()
    19. arr = formatter.Deserialize(fs)
    20. Success = True
    21. End Using
    22. End If
    23. Return (Success)
    24. End Function
    26. Public Shared Sub Main(ParamArray args() As String)
    27. Dim dic As New Dictionary(Of String, String) From {{"key0", "8989"}, {"key1", "8989"}, {"key2", "8989"}, {"key3", "8989"}, {"key4", "8989"}}
    28. Dim file = Path.GetFullPath("..\..\myDic.bin")
    29. ArraySave(file, dic)
    30. Dim dic2 As Dictionary(Of String, String) = Nothing
    31. ArrayRead(file, dic2)
    (die TryCatches und das vb6-Zeugs habich entfernt, damit ich debuggen kann, und es bei mir kompiliert).
    Ansonsten: Vermutlich liest du eine falsche Datei ein.

    Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „ErfinderDesRades“ ()

    Müsste eigentlich.
    Habich allerdings nicht ausprobiert, und ich werd jetzt auch kein son Riesen-Ding generieren.
    Vielleicht tritt bei dieser Datenmenge auch mal ein Hash-Verwechsler auf.
    Also dass zwei verschiedene Keys dann doch denselben Hashwert erzeugen.
    Du könntest dir eine andere Art der Speicherung überlegen.
    Man könnte probieren, die Einträge zeilenweise in einen GZip-Stream zu schreiben.
    Sollte dann auch eine kompaktere Datei ergeben.
    Und beim Laden könnte man die Dublette zu fassen kriegen - wenn da die entsprechende Exception auftritt.

Facebook
Telefonspende