csv Datei in ein 2D-array schreiben

  • VB.NET

Es gibt 6 Antworten in diesem Thema. Der letzte Beitrag () ist von RodFromGermany.

    csv Datei in ein 2D-array schreiben

    Hallo zusammen,

    ich bin ein Anfänger-Programmierer und ich glaube ich gehe folgendes Problem vollkommen falsch an und brauche einen neuen Denkansatz:-)

    Problem:
    Ich habe eine csv Datei die ca. 50.000 - x Zeilen, aber immer 4 Spalten hat. (Anzahl der Zeilen kann man ja mit System.IO.File.ReadAllLines(x).Length auslesen)
    Ich benötige nur die Zeilenzahl wo in der 2, 3 und 4 Spalte in der eine 1 steht (kann öfter vorkommen)

    Mein Ansatz:
    Die komplette Datei in ein 2D-Array (x, 4) einlesen und in den jeweiligen Spalten nach einer 1 suchen.
    Macht das eurer Meinung nach Sinn, oder wird das Suchen und einlesen zu lange dauern?

    Gedachte Umsetzung:

    - Wie das Einlesen funktioniert habe ich noch keine Ahnung, ich habe nur Ansätze mit einer FOR-Schleife gefunden, aber das wären ja in meinem Fall min. 200.000 Durchläufe, da gibts sicher was besseres. (Hab ich aber noch nicht gefunden.
    - Das suchen würde ich mit einer FOR-Schleife machen und alle Werte nacheinander und mit 1 vergleichen - das sind dann aber auch noch 150.000 Durchläufe...

    Ich habe echt Angst dass das Einlesen später ewig dauert und wollte bevor ich damit Anfange erst eine Meinung haben, ob das was ich Vorhabe überhaupt Sinn macht.
    Vielen Dank für eure Hilfe im Vorraus!

    Jochen

    For Schleife ist die einzige Möglichkeit in so einem fall zu suchen und die sind im Normalfall nicht lange...
    Was du machst ist halt direkt mit dem einlesen auch zu suchen, damit sparst du dir schon einmal einen extra durchlauf...
    Zum einlesen verwendest du dann einen StreamReader und die Funktion ReadLine, die einzelnen Zeilen die du dann noch rausbekommst musst du nur noch am Semikolon(oder anderem Trennzeichen trennen, das geht z.B. mit Split
    Ich wollte auch mal ne total überflüssige Signatur:
    ---Leer---

    Vielen Dank für deinen Tipp!
    Ich denke das ich es hinbekommen habe.
    Wenn wer mal auf das Gleiche Problem stößt hier mein Quellcode:

    Quellcode

    1. Public Class Form1
    3. Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
    5. Dim path As String = "D:\test.csv"
    6. Dim sr As System.IO.StreamReader = New System.IO.StreamReader(path)
    7. Dim aktuelle_Zeile As UInteger
    8. Dim anzahl_Zeilen As UInteger
    10. anzahl_Zeilen = System.IO.File.ReadAllLines(path).Length
    11. TextBox1.Text = anzahl_Zeilen
    12. 'Zeilen Anzahl auslesen
    14. Dim anzahl2SP As UShort = 0
    15. Dim zeilen2sp(anzahl_Zeilen) As UInteger
    17. Dim anzahl3sp As UShort = 0
    18. Dim zeilen3sp(anzahl_Zeilen) As UInteger
    20. Dim anzahl4sp As UShort = 0
    21. Dim zeilen4sp(anzahl_Zeilen) As UInteger
    23. Dim streaminhalt As String = ""
    25. Do
    26. streaminhalt = sr.ReadLine
    28. If streaminhalt.EndsWith(";;;1") = True Then
    29. zeilen4sp(anzahl4sp) = aktuelle_Zeile
    30. anzahl4sp = anzahl4sp + 1
    31. End If
    32. If streaminhalt.EndsWith(";;1;") = True Then
    33. zeilen3sp(anzahl3sp) = aktuelle_Zeile
    34. anzahl3sp = anzahl3sp + 1
    35. End If
    36. If streaminhalt.EndsWith(";;1;1") = True Then
    37. zeilen3sp(anzahl3sp) = aktuelle_Zeile
    38. anzahl3sp = anzahl3sp + 1
    39. zeilen4sp(anzahl4sp) = aktuelle_Zeile
    40. anzahl4sp = anzahl4sp + 1
    41. End If
    42. If streaminhalt.EndsWith(";1;;") = True Then
    43. zeilen2sp(anzahl2SP) = aktuelle_Zeile
    44. anzahl2SP = anzahl2SP + 1
    45. End If
    46. If streaminhalt.EndsWith(";1;;1") = True Then
    47. zeilen2sp(anzahl2SP) = aktuelle_Zeile
    48. anzahl2SP = anzahl2SP + 1
    49. zeilen4sp(anzahl4sp) = aktuelle_Zeile
    50. anzahl4sp = anzahl4sp + 1
    51. End If
    52. If streaminhalt.EndsWith(";1;1;") = True Then
    53. zeilen2sp(anzahl2SP) = aktuelle_Zeile
    54. anzahl2SP = anzahl2SP + 1
    55. zeilen3sp(anzahl3sp) = aktuelle_Zeile
    56. anzahl3sp = anzahl3sp + 1
    57. End If
    58. If streaminhalt.EndsWith(";1;1;1") = True Then
    59. zeilen2sp(anzahl2SP) = aktuelle_Zeile
    60. anzahl2SP = anzahl2SP + 1
    61. zeilen3sp(anzahl3sp) = aktuelle_Zeile
    62. anzahl3sp = anzahl3sp + 1
    63. zeilen4sp(anzahl4sp) = aktuelle_Zeile
    64. anzahl4sp = anzahl4sp + 1
    65. End If
    67. aktuelle_Zeile = aktuelle_Zeile + 1
    69. Loop Until aktuelle_Zeile = anzahl_Zeilen
    71. sr.Close()
    73. TextBox2.Text = anzahl2SP
    74. TextBox3.Text = anzahl3sp
    75. TextBox4.Text = anzahl4sp
    79. Dim a As UInteger = 0
    80. Do
    81. TextBox5.Text = TextBox5.Text & zeilen2sp(a) & ","
    82. a = a + 1
    83. Loop Until a = anzahl2SP
    84. a = 0
    85. Do
    86. TextBox6.Text = TextBox6.Text & zeilen3sp(a) & ","
    87. a = a + 1
    88. Loop Until a = anzahl3sp
    89. a = 0
    90. Do
    91. TextBox7.Text = TextBox7.Text & zeilen4sp(a) & ","
    92. a = a + 1
    93. Loop Until a = anzahl4sp
    97. End Sub
    98. End Class

    jochenld schrieb:

    Wenn wer mal auf das Gleiche Problem stößt hier mein Quellcode
    oder sich meinen äquivalenten Code ansehen:
    Spoiler anzeigen

    VB.NET-Quellcode

    1. Public Class Form1
    2. Private Sub Button1_Click(sender As System.Object, e As System.EventArgs) Handles Button1.Click
    4. Dim path As String = "D:\test.csv"
    5. Dim aktuelle_Zeile As Integer = 0
    7. Dim alleZeilen() As String = System.IO.File.ReadAllLines(path)
    8. TextBox1.Text = alleZeilen.Length.ToString 'Zeilen Anzahl auslesen
    10. Dim zeilen2sp As New List(Of Integer)
    11. Dim zeilen3sp As New List(Of Integer)
    12. Dim zeilen4sp As New List(Of Integer)
    14. For Each Zeile In alleZeilen
    15. If Zeile.EndsWith(";;;1") Then
    16. zeilen4sp.Add(aktuelle_Zeile)
    17. ElseIf Zeile.EndsWith(";;1;") Then
    18. zeilen3sp.Add(aktuelle_Zeile)
    19. ElseIf Zeile.EndsWith(";;1;1") Then
    20. zeilen3sp.Add(aktuelle_Zeile)
    21. zeilen4sp.Add(aktuelle_Zeile)
    22. ElseIf Zeile.EndsWith(";1;;") Then
    23. zeilen2sp.Add(aktuelle_Zeile)
    24. ElseIf Zeile.EndsWith(";1;;1") Then
    25. zeilen2sp.Add(aktuelle_Zeile)
    26. zeilen4sp.Add(aktuelle_Zeile)
    27. ElseIf Zeile.EndsWith(";1;1;") Then
    28. zeilen2sp.Add(aktuelle_Zeile)
    29. zeilen3sp.Add(aktuelle_Zeile)
    30. ElseIf Zeile.EndsWith(";1;1;1") Then
    31. zeilen2sp.Add(aktuelle_Zeile)
    32. zeilen3sp.Add(aktuelle_Zeile)
    33. zeilen4sp.Add(aktuelle_Zeile)
    34. End If
    35. aktuelle_Zeile += 1
    36. Next
    38. TextBox2.Text = zeilen2sp.Count.ToString
    39. TextBox3.Text = zeilen3sp.Count.ToString
    40. TextBox4.Text = zeilen4sp.Count.ToString
    42. For Each a In zeilen2sp
    43. TextBox5.Text &= a & ","
    44. Next
    45. For Each a In zeilen3sp
    46. TextBox6.Text &= a & ","
    47. Next
    48. For Each a In zeilen4sp
    49. TextBox7.Text &= a & ","
    50. Next
    52. End Sub
    53. End Class
    Falls Du diesen Code kopierst, achte auf die C&P-Bremse.
    Jede einzelne Zeile Deines Programms, die Du nicht explizit getestet hast, ist falsch :!:
    Ein guter .NET-Snippetkonverter (der ist verfügbar).
    Programmierfragen über PN / Konversation werden ignoriert!

    Hab es wieder überarbeitet:
    Achtung: Kann sein dass das Programm nicht vollständig ist, da ich nur Ausschnitte kopiert habe.

    VB.NET-Quellcode

    1. Dim FilePath_csv As String = ""
    2. Dim Anzahl_Apnoe As UShort = 0
    3. Dim Anzahl_Snore As UShort = 0
    4. Dim Anzahl_cam As UShort = 0
    5. Dim anzahl_Zeilen_csv As UInteger
    6. Dim aktuelle_Zeile_csv As UInteger = 1
    7. Dim Streaminhalt_csv As String = ""
    8. Private Sub btn_change_data_path_csv_Click(ByVal sender As Object, ByVal e As System.EventArgs) Handles btn_change_data_path_csv.Click
    9. 'Dieses Sub ist zum Auswählen des Pfades der csv Datei. Nachdem die Datei Ausgewählt wurde, werden die letzten Stellen gelesen und in ein Array geschrieben.
    11. OFD_change_csv.Filter = "*.csv|*.csv"
    12. OFD_change_csv.InitialDirectory = "D:\Test.csv"
    13. 'Filtereinstellungen des OFD
    14. If OFD_change_csv.ShowDialog() = Windows.Forms.DialogResult.OK Then
    15. FilePath_csv = OFD_change_csv.FileName
    16. txt_File_name_csv.Text = FilePath_csv
    17. 'Pfad csv in variable und textbox anzeigen
    19. Dim einlesen As System.IO.StreamReader = New System.IO.StreamReader(FilePath_csv)
    20. 'Streamreader initalisieren
    21. anzahl_Zeilen_csv = System.IO.File.ReadAllLines(FilePath_csv).Length
    22. 'Anzahl der Zeilen der CSV Datei auslesen
    24. ReDim Zeilen_Apnoe(anzahl_Zeilen_csv)
    25. ReDim Zeilen_Snore(anzahl_Zeilen_csv)
    26. ReDim Zeilen_Cam(anzahl_Zeilen_csv)
    27. 'Größe der Arrays anpassen um den Fall das alleSpalten=1 abzufangen
    29. aktuelle_Zeile_csv = 0
    30. 'Zeilenzähler zurücksetzen
    32. Do
    33. Streaminhalt_csv = einlesen.ReadLine
    34. 'eine Zeile der csv Datei lesen
    35. If Streaminhalt_csv.Split(";").Length <> 4 Then
    36. MessageBox.Show("Die csv Datei hat " & Streaminhalt_csv.Split(";").Length & " statt wie vorgesehen 4 Spalten. Der Vorgang wird abgebrochen")
    37. Return
    38. End If
    39. 'Gültigkeitsprüfung der csv Datei
    41. If Streaminhalt_csv.EndsWith(";1") Then
    42. Zeilen_Cam(Anzahl_cam) = aktuelle_Zeile_csv
    43. Anzahl_cam = Anzahl_cam + 1
    44. End If
    45. 'Wenn die letzte Zeie eine 1 ist, wird die Zeilennummer in das entsprechende Array geschrieben.
    47. If Streaminhalt_csv.EndsWith(";1;") Or Streaminhalt_csv.EndsWith(";1;1") Then
    48. Zeilen_Snore(Anzahl_Snore) = aktuelle_Zeile_csv
    49. Anzahl_Snore = Anzahl_Snore + 1
    50. End If
    51. 'Wenn die vorletzte Zeie eine 1 ist, wird die Zeilennummer in das entsprechende Array geschrieben.
    53. If Streaminhalt_csv.EndsWith(";1;;") Or Streaminhalt_csv.EndsWith(";1;1;") Or Streaminhalt_csv.EndsWith(";1;;1") Or Streaminhalt_csv.EndsWith(";1;1;1") Then
    54. Zeilen_Apnoe(Anzahl_Apnoe) = aktuelle_Zeile_csv
    55. Anzahl_Apnoe = Anzahl_Apnoe + 1
    56. End If
    57. 'Wenn die drittletzte Zeile eine 1 ist, wird die Zeilennummer in das entsprechende Array geschrieben.
    58. aktuelle_Zeile_csv = aktuelle_Zeile_csv + 1
    59. ' ACHTUNG: die erste csv-Zeile ist im array(0) ->Dadurch ist besser zu rechnen!
    60. Loop Until aktuelle_Zeile_csv = anzahl_Zeilen_csv
    61. 'Dieser vorgang wird wiederholt bis jede Zeile eingelesen wurde
    63. einlesen.Close()
    64. 'Streamreader schließen
    66. ReDim Preserve Zeilen_Apnoe(Anzahl_Apnoe)
    67. ReDim Preserve Zeilen_Snore(Anzahl_Snore)
    68. ReDim Preserve Zeilen_Cam(Anzahl_cam)
    69. 'Größe der Arrays anpassen um Speicher zu spaaren
    71. End If
    73. End Sub

    Ersetze das ganze ReDim und ReDim Preserve durch List(Of ).
    Falls Du diesen Code kopierst, achte auf die C&P-Bremse.
    Jede einzelne Zeile Deines Programms, die Du nicht explizit getestet hast, ist falsch :!:
    Ein guter .NET-Snippetkonverter (der ist verfügbar).
    Programmierfragen über PN / Konversation werden ignoriert!