System.OutOfMemoryException - Speicherfreundlicherer Code?

FranzBauer · 22. Oktober 2013, 13:14

Good Morning,

hätte da mal 'ne Frage. Folgendes:
Ich habe ein Programm, dass eine unbekannte Anzahl von Dateien in einem Ordner auflisten soll und diese nacheinander durchsuchen soll, ob ein bestimmter String vorhanden ist und den Text aus der nächsten Zeile ebenfalls in ein Array speichern soll. Das auflisten der Dateien funktioniert tadellos. Allerdings wird beim durchsuchen der einzelnen Dateien die Speicherauslastung von 20Megabyte auf ganze 500MB erhöht und ich bekomme eine System.OutOfMemoryException.

Zum Verständis der Code:

VB.NET-Quellcode

Dim ctilist As New List(Of String)
Dim actual_selected_vehicle As String = real_omsi & CStr(cmb_vehicle_in_repgroup.Items.Item(cmb_vehicle_in_repgroup.SelectedIndex))
Dim path_wf As String = My.Computer.FileSystem.GetParentPath(actual_selected_vehicle)
Dim itemlist As New List(Of String)
'' Alle CTI-Dateien in Liste aufnehmen
For Each datei In My.Computer.FileSystem.GetFiles(real_omsi, FileIO.SearchOption.SearchAllSubDirectories, "*.cti")
If datei.Contains(path_wf) Then
ctilist.Add(datei)
End If
Next
'' Jede Datei öffnen und durchgehen
For cticount As Integer = 0 To ctilist.Count - 1
Dim cti As String = My.Computer.FileSystem.ReadAllText(ctilist(cticount))
Dim Splitted() As String
Splitted = cti.Split(CChar(vbNewLine))
Dim zeilen As Integer = Splitted.Count
For lines As Integer = 0 To zeilen - 1
If Splitted(lines).Contains("[item]") Then
If itemlist.Count = 0 Then
itemlist.Add(Splitted(lines + 1))
Else
For item As Integer = 0 To itemlist.Count - 1
If Splitted(lines + 1) = itemlist(item) Then
Else
itemlist.Add(Splitted(lines + 1))
End If
Next
End If
End If
Next
Next
For Each itemtoadd In itemlist
list_wgrp.Items.Add(itemtoadd)
Next

Mal davon abgesehen, dass der Code wahrscheinlich ziemlich unsauber geschrieben ist... Wie kann ich den Code Performance und Arbeitsspeicher-Freundlicher gestalten? Oder wo liegt der Fehler? Ich wüsste derzeit nicht, wie ich es anders machen könnte.

LG
Franzbauer

picoflop · 22. Oktober 2013, 13:36

FranzBauer schrieb:

Speicherauslastung von 20Megabyte auf ganze 500MB

Du könntest vermeiden, die Datei komplett einzulesen und stattdessen immer nur eine Zeile lesen und bearbeiten. io.file.readlines: msdn.microsoft.com/en-us/library/dd383503.aspx

FranzBauer · 22. Oktober 2013, 14:06

Ich weiß ja nicht, ob ich irgendwo nun noch einen Fehler habe... Liegt es vielleicht einfach an der Verschachtelung der einzelnen Schleifen, die doch eventuell einiges an Daten auf einmal verarbeiten?

Mein Code sieht nun so aus:

VB.NET-Quellcode

Dim list_next_line As Boolean = False
For cticount As Integer = 0 To ctilist.Count - 1
For Each line As String In File.ReadLines(ctilist(cticount))
If list_next_line = True Then
If itemlist.Count = 0 Then
itemlist.Add(line)
Else
For item As Integer = 0 To itemlist.Count - 1
If line = itemlist(item) Then
Else
itemlist.Add(line)
End If
Next
End If
End If
If line.Contains("[item]") Then
list_next_line = True
End If
Next line
Next

Die Auslastung steigt weiterhin von ~20MB auf rund 500MB an...

sonne75 · 22. Oktober 2013, 14:19

Ich habe deinen Code etwas umgeschrieben, weil es unübersichtlich war:

VB.NET-Quellcode

Dim list_next_line As Boolean = False
For Each lst_item in ctilist
For Each line As String In File.ReadLines(lst_item)
If list_next_line = True Then
If itemlist.Count = 0 Then
itemlist.Add(line)
Else
For Each item_itemlist in itemlist
If line <> item_itemlist Then itemlist.Add(line)
Next
End If
End If
If line.Contains("[item]") Then
list_next_line = True
End If
Next
Next

Und dabei ist mir das aufgefallen:

VB.NET-Quellcode

For Each item_itemlist in itemlist
If line <> itemlist(item) Then itemlist.Add(line)
Next

Du fügst damit "line"mehrmals deiner "itemlist" zu und zwar so viele Male, wie du Items hast. D.h. beim nächsten Mal immer mehr, deswegen auch 500 MB.

Du musst an dieser Stelle einfach einen Flag setzen (boolesche Variable auf True) und mit "Exit For" rausgehen. Erst dann prüfst du den Flag und fügst bei Bedarf die "line" einmal hinzu.

FranzBauer · 22. Oktober 2013, 14:31

Versteh ich irgendwas falsch?

Prüft, ob "[item]" vorkam und ob die nächste Zeile hinzugefügt werden soll:

VB.NET-Quellcode

If list_next_line = True Then

Wenn noch nichts hinzugefügt wurde, soll die Zeile direkt hinzugefügt werden:

VB.NET-Quellcode

If itemlist.Count = 0 Then
itemlist.Add(line)
list_next_line = False
Else

Andernfalls soll er prüfen, ob der String schon in der Liste vorhanden ist. Wenn nicht, hinzufügen:

VB.NET-Quellcode

For item As Integer = 0 To itemlist.Count - 1
If Not line = itemlist(item) Then
itemlist.Add(line)
list_next_line = False
End If
Next

If-Abfrage schließen. Zudem noch: Wenn "[item]" gefunden wurde, markieren, dass die nächste Zeile hinzugefügt werden soll:

VB.NET-Quellcode

End If
End If
If line.Contains("[item]") Then
list_next_line = True
End If

Hab ich da jetzt noch irgendwas nicht kapiert oder stimmt das?

sonne75 · 22. Oktober 2013, 14:35

Ich habe doch schon eben geschrieben, wo das Problem liegt.

Wenn du überprüfst, ob "line" in deiner "itemlist" vorhanden ist, dann fügst du jedes Mal, wenn das "itemlist(item)" nicht gleich "line" ist, "line" hinzu: angenommen, du hast am Anfang leere Itemlist. Dann fügst du "line" hinzu und hast 1 Element. Dann prüfst du die nächste und fügst hinzu: 2 Elemente. Dann prüfst du die nächste: erst das 1.Element ->nicht gleich->fügst "line" hinzu. Aber anstatt aufzuhören, gehst du alle Elemente weiter durch und fügst jedes Mal "line" dazu, wenn es nicht gleich ist. D.h. nach diesem Durchgang hast du schon 4 Elemente. Beim nächsten Durchgang hast du 8 Elemente, weil du für jeden Element "line" hinzufügst usw.

FranzBauer · 22. Oktober 2013, 14:40

Okay, hab ich gerade mal auf dem Schlauch gestanden. Wie kann ich dann aber bitte abfragen, ob ein String in der Liste zweimal vorhanden ist? Genau das soll nämlich nicht der Fall sein. Denn die Datei sieht wie folgt aus:

Quellcode

[item]
Name
Bild
[item]
Name
Bild1
[item]
Name
Bild2

Allerdings kann die Datei auch so aussehen:

Quellcode

[item]
Name
Bild
[item]
Name
Bild1
[item]
Name
Bild2
[item]
Name2
Bild
[item]
Name2
Bild1
[item]
Name2
Bild2

Die Dateien kann ich nicht verändern, die werden so vorgegeben.

RodFromGermany · 22. Oktober 2013, 14:44

@FranzBauer:: @sonne75: meint folgendes:

VB.NET-Quellcode

For Each item_itemlist in itemlist
If line <> itemlist(item) Then
itemlist.Add(line)
End If
Next

Schreib das mal in Block-Syntax. Setze in die Zeile itemlist.Add(line) einen Haltepunkt und überzeuge Dich, ob diese For / If-Konstruktion so funktioniert, wie sie soll.

picoflop · 22. Oktober 2013, 14:46

sonne75 schrieb:

Dim list_next_line As Boolean = False

Ist die Position korrekt?

Du läufst über X Dateien und sobald in irgendeiner davon [item] auftaucht werden danach alle Zeilen aus allen noch folgenden Dateien in die Liste geschrieben???

Falls das nicht so sein sollte, probier doch mal:

VB.NET-Quellcode

Private ctilist As New List(Of String)
Private ergebnis As New HashSet(Of String)
Private Sub foo()
For Each datei In ctilist
Dim put_items_into_list As Boolean = False
For Each line As String In IO.File.ReadLines(datei)
If Not put_items_into_list AndAlso line.Contains("[item]") Then
put_items_into_list = True
ElseIf put_items_into_list = True Then
If Not ergebnis.Contains(line) Then ergebnis.Add(line)
End If
Next line
Next ' for each datei
End Sub

Das Suchen in der Liste kann man durch Verwendung eines HashSets (siehe deklaration) evtl noch etwas beschleunigen - einfach mal beides ausprobieren.

EDIT: Sehe gerade deinen Edit. Vlt erzählst du uns mal lieber, wie die Datei(en) genau aussehen und WELCHE Daten in WELCHER Form du daraus extrahieren willst - denn ich glaube da sitzt schon mal ein Fehler ...

sonne75 · 22. Oktober 2013, 14:47

FranzBauer schrieb:

Wie kann ich dann aber bitte abfragen, ob ein String in der Liste zweimal vorhanden ist?

sonne75 schrieb:

Du musst an dieser Stelle einfach einen Flag setzen (boolesche Variable auf True) und mit "Exit For" rausgehen. Erst dann prüfst du den Flag und fügst bei Bedarf die "line" einmal hinzu.

Und wieso zwei Mal?

Zumal es bei dir eher nach einem Datensatz aussieht, was willst du mit einer List, wenn du jeweils zugehörige "Name" und "Bild" hast?

Du benötigst eine Tabelle im DataSet mit "ID", "Name" und "Bild" als Spalten. Dann liest du nach und nach die Daten ein. Hier ist das Prinzip erklärt:

[VB.NET] Daten laden, speichern, verarbeiten - einfachste Variante

FranzBauer · 22. Oktober 2013, 15:13

sonne75 schrieb:

Zumal es bei dir eher nach einem Datensatz aussieht, was willst du mit einer List, wenn du jeweils zugehörige "Name" und "Bild" hast?

Folgendes: Ich habe eine Datei gegeben. Dort steht für bei jedem "[item]" ein Name und ein Bild. Das Bild interessiert mich nicht, ich will nur den Namen. Da der Name aber veränderlich ist (da mehrere Dateien) kann ich nicht explizit danach suchen. Ich weiß aber, dass der Name immer eine Zeile nach "[item]" folgt. Ich will die Namen auslesen (aus jeder einzelnden Datei) und in eine Liste packen, da dies später auch im Programm aufgelistet werden soll und auch für eine andere Funktion benötigt wird. Das Auslesen an sich sollte funktionieren. Allerdings: Die Namen dürfen in der Liste später nicht doppelt vorkommen, da dies sonst zu Fehlern führen würde, wenn ich das nicht abfrage. Habe aber gemerkt, dass der Code fehlerhaft ist in seiner aktuellen Form -> Er listet alles unter [item] auf. Shit happens.

sonne75 · 22. Oktober 2013, 15:20

Gut, ich habe dir schon 2 Mal geschrieben, dass du zwar alle Elemente in der For Each Schleife durchgehen sollst, aber dabei nur den Flag (einen anderen, nicht den, den du hast) setzen sollst. Am Ende der Schleife (außerhalb schon) prüfst du den Flag, und dann fügst du erst "line" hinzu.
Ist da etwas unverständlich?

RodFromGermany · 22. Oktober 2013, 16:14

RodFromGermany schrieb:

überzeuge Dich, ob diese For / If-Konstruktion so funktioniert, wie sie soll.

FranzBauer schrieb:

ich will

mich nicht überzeugen wie mein Code läuft, ich will von Euch eine fertige Lösung.

picoflop · 22. Oktober 2013, 16:53

FranzBauer schrieb:

Er listet alles unter [item] auf

Sagte ich doch

Also mal Tacheles:

Spoiler anzeigen

VB.NET-Quellcode

Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
' create a file for testing
If Not File.Exists("daten1.dat") Then
MessageBox.Show("Erzeuge Demo-Dateien", "Start", MessageBoxButtons.OK)
Dim r As New Random
For outputnum = 1 To 10
Dim path As String = "daten" & outputnum & ".dat"
Using fs As New StreamWriter(path, False)
For i = 1 To 1000000
fs.WriteLine("[item]")
fs.WriteLine("foo" & r.Next(1, 1000).ToString)
fs.WriteLine("bar" & r.Next(1, 1000).ToString)
fs.WriteLine()
Next
fs.Flush()
fs.Close()
End Using
Next
MessageBox.Show("Fertig!", "Start", MessageBoxButtons.OK)
End If
Dim Ergebnis As New HashSet(Of String)
MessageBox.Show("Beginne Analyse", "Messung", MessageBoxButtons.OK)
Dim stp = Stopwatch.StartNew
For Each datei In IO.Directory.GetFiles(".", "daten*.*")
Using sr As New StreamReader(datei)
Dim TakeNextLine As Boolean = False
Dim line As String
While Not sr.EndOfStream
line = sr.ReadLine
If TakeNextLine Then
TakeNextLine = False
If Not Ergebnis.Contains(line) Then Ergebnis.Add(line)
Else
If line.Contains("[item]") Then TakeNextLine = True
End If
End While
sr.Close()
End Using
Next
stp.Stop()
MessageBox.Show("Fertig nach " & stp.ElapsedMilliseconds & " ms", "Messung", MessageBoxButtons.OK)
End Sub

Der erste Teil ist klar. Erstellt ein paar Dummy-Dateien, die dem beschriebenen Format entsprechen. Im zweiten Teil läuft die Schleife über alle Dateien die dem Suchmuster entsprechen und trägt genau dann die gelesene Zeile in das HashSet ein, wenn a) in der vorigen Zeile [item] stand und b) der Text noch nicht im Hashset enthalten ist. Die 10 Dateien mit je 4 Mio Zeilen verarbeitet er bei mir in rund 4 Sekunden und findet jeweils 999 eindeutige "Namen" - was aufgrund der Erzeugung im ersten Teil auch zu erwarten war.
Ich hab das ganze auch mit ReadLines getestet, da ist er bei mir rund 2 Sekunden langsamer ... dafür sieht der Code gefälliger aus. Ein Speicherproblem konnte ich in beiden Fällen nicht feststellen.

Nachtrag: Parallel gehts etwas flotter, obwohl natürlich irgendwann das Lesen von der Platte der Engpass ist.

Spoiler anzeigen

FranzBauer · 22. Oktober 2013, 17:20

RodFromGermany schrieb:

RodFromGermany schrieb:

überzeuge Dich, ob diese For / If-Konstruktion so funktioniert, wie sie soll.

FranzBauer schrieb:

ich will

mich nicht überzeugen wie mein Code läuft, ich will von Euch eine fertige Lösung.

Vielen Dank für diesen extrem hilfreichen Beitrag. Das trägt noch weniger dazu bei. Falls du dir meine Antwort durchgelesen hast (wovon ich nicht ausgehe) wäre dir etwas aufgefallen. Sorry, ich bekomm es nicht gebacken. Tut mir leid. Aber du Besserwisser musst dein Maul aufreisen. Wenn ich es hinbekommen würde, bräuchte ich eure Hilfe nicht. Entschuldige für meine Ausdrucksweise: Solch einen Scheiß braucht keine Sau. Ich finde es unverschämt, was du dir rausnimmst. Ich hab den Code nicht bereits vier mal komplett umgeworfen um zu schauen, ob es eine reine Logiksache war. Jeder hat mal einen schlechten Tag. Heute hab ich eben mal einen schlechten. Ich habe doch kapiert, wo mein Fehler liegt. Ich verstehe nur nicht, wie ich ihn beheben kann. Mal davon ab: Durch das ganze herumprobieren funktioniert es nun gar nicht mehr. Aber trotzdem Danke für deinen so unheimlich hilfreichen Beitrag. Besser geht es nicht! Nicht jeder Mensch ist fehlerfrei. Ich beschäftige mich nun seit 4 Monaten das erste mal wieder richtig mit Visual Basic und versuche mich an Dingen, die nicht klappen wollen. Aber du, Herr Üb3rpr0, meinst du hättest den Plan im Sack. Klar, wenn ich mich täglich damit beschäftigen würde, hätte ich auch keine Probleme. Und ich wette: Dafür bekomme ich nun auch noch eine Verwarnung. Weswegen? Weil man seine eigene Meinung nicht ausdrücken darf.

BTT:
Ich probier es weiterhin. Kann doch nicht so schwer sein. Ist doch wohl nur ein beschissener Logikfehler von mir, so wie ich mich kenne

Dank meiner rumfummlerei funktioniert der Code derzeit nicht mehr, muss ich nochmals von vorne anfangen. Vielleicht funktioniert es dann, wenn ich mal logisch denke und versuche zu verstehen was ich getippt habe. Danke für eure Geduld mit mir. :):thumbup:

picoflop · 22. Oktober 2013, 17:24

FranzBauer schrieb:

Ich probier es weiterhin.

Anderen wirfst du vor, Posts nicht zu lesen, aber selbst tust du das wohl auch nicht ...

wenn ich mal logisch denke

"Wenn der Eintrag (die Zeile) noch nicht in der Liste ist, dann füge die Zeile hinzu"
aufgehübscht:
"Wenn nicht Liste enthält Zeile dann Liste füge hinzu Zeile"
ins englische:
if not list contains zeile then add zeile
ins VB'ische
If not List.Contains(Zeile) Then Liste.Add(Zeile)

sonne75 · 22. Oktober 2013, 17:27

Ich habe dir mehrmals geschrieben, wo dein Fehler liegt und wie du ihn beheben sollst. Du gehst Null darauf ein und statt auf den wirklich richtigen Vorschlag vom @RodFromGermany: einzugehen, zu VERSTEHEN, was denn dein Programm macht, wirst du hier giftig und ausfällig.

Was willst du? Fertigen Code? Kriegst du nicht. Erklärungen willst du nicht. Also?

EDIT: oder so, wie @picoflop: es vorschlägt, ist noch kürzer.

Ich denke immer eher logisch und ab und zu zu umständlich.

FranzBauer · 22. Oktober 2013, 18:20

Nochmals von Anfang an, für alle:
@picofloP: Danke für deine Hilfe, hat leider nichts gebracht, bis darauf, dass ich eine andere Möglichkeit genutzt habe.

@sonne75: Ich habe das Problem doch beim zweiten Erklärversuch verstanden. Ist doch gut, wo liegt jetzt das Problem? Ich hab doch versucht das ganze umzuschreiben, anders zu lösen und was weiß ich nicht alles. Die Auflistung hat doch funktioniert. Allerdings mit weiterhin dem Hinternis, dass manche Einträge doppelt angezeigt werden.

Gut, ich habe dir schon 2 Mal geschrieben, dass du zwar alle Elemente in
der For Each Schleife durchgehen sollst, aber dabei nur den Flag (einen
anderen, nicht den, den du hast) setzen sollst. Am Ende der Schleife
(außerhalb schon) prüfst du den Flag, und dann fügst du erst "line"
hinzu.

Ist da etwas unverständlich?

Ja, tut mir leid. Ich bin heute eben nicht gut drauf. Ich steh eben mal auf dem Schlauch und versuche mein bestes, aber ich komm einfach nicht drauf.

Was willst du? Fertigen Code? Kriegst du nicht. Erklärungen willst du nicht. Also?

Was ich will? Dass man einem Laien vielleicht etwas verständlicher erklärt, was man meint. Ich verstehe nicht alles. Ich denke zu kompliziert: Ein riesen Problem von mir.

@RodFromGermany: Ich habe mir das ganz genau angeschaut. Ich habe doch, wie zwei Zeilen obendrüber bereits geschrieben, erkannt, wo das Problem liegt. Ich hab doch gesehen beim Debuggen, dass der Code an sich nicht so funktioniert wie er sollte.
Du unterstellst mir allerdings, dass ich nur auf fertigen Code aus bin. Eben nicht: Ich habe doch bereits genug Code gezeigt den ich selbst geschrieben und umgemodelt habe. Ich bin hier nicht wie ein Hund angelaufen gekommen "Ey, macht mir mal." Das war auch nie meine Absicht!

@All:
Versteht es nicht falsch. Ich wiederhole mich nochmals: Ich check im Moment einige logische Dinge nicht. Sonst wäre doch der Code der im ersten Post zu sehen ist nicht entstanden.

Nochmals vielen Dank und entschuldigt meine Ausdrucksweise und mein an die Decke gehen

Ich werde es weiterhin versuchen und mich hier melden, wenn ich es kapiert habe. Bis dahin...

Sorry, jetzt hab ich doch glatt was vergessen:
Warum funktioniert es nur in einem Verzeichnis und sobald ich auf ein anderes Verzeichnis wechsle funktioniert es nicht? Dort sind auf jeden Fall auch solche Dateien enthalten? :wacko:

picoflop · 22. Oktober 2013, 18:22

FranzBauer schrieb:

hat leider nichts gebracht,

Definiere das.

Der von mir erstellte Code funktioniert. Die erzeugten Demo-Dateien entsprechen exakt deiner Spezifikation und das Ergebnis ist genau das, was man erwartet. Ergo ...

FranzBauer · 22. Oktober 2013, 18:24

Ach du heilige. Na eigentlich meinte ich das aus deiner ersten Antwort. Das andere hab ich erst beim jetzigen durchsehen bemerkt. Alles klar, hat sich das erledigt -> war halt auf was anderes bezogen

Edit:
Ja sehr geil pico!
Bissel umgemodelt dein Code und es funktioniert bestens. Diesen Weg kannte ich nicht, sorry dass ich hier deswegen so stress gemacht habe...

Musstest mich doch mit dem Kopf draufhauen, bis ich es kapiert habe.
:whistling::S

LG

System.OutOfMemoryException - Speicherfreundlicherer Code?

System.OutOfMemoryException - Speicherfreundlicherer Code?

VB.NET-Quellcode

FranzBauer schrieb:

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

Quellcode

Quellcode

VB.NET-Quellcode

sonne75 schrieb:

VB.NET-Quellcode

FranzBauer schrieb:

sonne75 schrieb:

sonne75 schrieb:

RodFromGermany schrieb:

FranzBauer schrieb:

FranzBauer schrieb:

VB.NET-Quellcode

VB.NET-Quellcode

RodFromGermany schrieb:

RodFromGermany schrieb:

FranzBauer schrieb:

FranzBauer schrieb:

FranzBauer schrieb:

Ähnliche Themen

4 Benutzer haben hier geschrieben