große Textdateien vergleichen

  • Allgemein

Es gibt 4 Antworten in diesem Thema. Der letzte Beitrag () ist von Janno.

    große Textdateien vergleichen

    Hi,

    in VB bin ich noch Anfänger und Neu hier im Forum. Ich habe nur VBA (Excel 2007) kenntnisse. So nun zu meiner Frage/Problem.
    Ich möchte mehrere große Textdateien vergleichen (ca. 900.000 Zeilen - 28 MB).

    Aufbau einer Zeile in der Textdatei:
    WertA WertB WertC

    Nun möchte ich die erste Datei einladen, dann die zweite Datei und vergleichen
    ob WertA und WertB aus Zeile1 in Datei1 gleich WertA und WertB aus einer Zeile in Datei2
    wenn ja dann soll zusätzlich der kleinere WertC in Datei1 Zeile1 eintragen werden.
    Das soll dann für alle Zeilen in der Textdatei geführt werden.

    So was ähnliche habe ich mit VBA und Excel schon hin bekommen. Da aber Excel eine Zeilen begrenzung 1 Mio. hat und da es vorkommen kann das auch ich Textdateien mit mehr 1. Mio Zeilen habe. Wollte ich es versuchen VB zulösen. Da meiner Meinung der Weg in Excel aus recht umständlich ist (Textdatei einlesen - verarbeiten - Textdatei schreiben)

    Meine Frage ist nun kann man es VB lösen? Ich stelle es mir so vor das mann die Dateien in den Speicher lädt und nach der verarbeitung in eine Textdatei schreibt


    Gruß

    Janno

    Als Idee:

    VB.NET-Quellcode

    1. Public Sub CompareThread()
    3. Dim l() As String
    4. Dim i(2) As String, k As Long
    6. ' Hashtable mit Daten aus Src File füllen
    7. h.Clear()
    8. For Each s As String In System.IO.File.ReadAllLines(SrcFile)
    9. ' jede Zeile zerlegen und speichern
    10. l = Split(s, " ")
    11. If l.Count <> 3 Then Throw New Exception("Do some error handling pls")
    12. For j = 0 To 2
    13. If Not Integer.TryParse(l(j), i(j)) Then Throw New Exception("Do some error handling pls")
    14. Next
    15. k = i(0)
    16. k <<= 32
    17. k += i(1)
    18. h.Add(k, i(2))
    19. Next
    21. ' Und jetzt die andere Datei und vergleichen
    22. Dim v As Integer
    23. For Each s As String In System.IO.File.ReadAllLines(DstFile)
    24. ' jede Zeile zerlegen und speichern
    25. l = Split(s, " ")
    26. If l.Count <> 3 Then Throw New Exception("Do some error handling pls")
    27. For j = 0 To 2
    28. If Not Integer.TryParse(l(j), i(j)) Then Throw New Exception("Do some error handling pls")
    29. Next
    30. k = i(0)
    31. k <<= 32
    32. k += i(1)
    33. If h.ContainsKey(k) Then
    34. v = h(k)
    35. If i(2) < v Then h(k) = i(2)
    36. End If
    37. Next
    39. ' Und jetzt den ganzen Rotz wieder ausgeben
    40. ' Wegen Hashtable geht die ursprüngliche Sortierung verloren, wenn man das
    41. ' nicht will, muss man halt etwas mehr schreiben
    43. End Sub

Facebook
Telefonspende