Daten schnell auslesen von CSV Datei

ErfinderDesRades · 1. November 2020, 11:00

ich hab hier mal was gebastelt, das lädt bei mir die Daten in 28ms.
Ist lauter Zeugs drin, was du nicht willst (weil ich hab einfach meine Standard-Projektvorlage erweitert), aber nun kannst du vergleichend untersuchen, warum bei mir hinreichend schnell.
Macht auch nix von deine Funktionalität, sondern nur laden.
Aber da die Daten nun im Speicher sind, sollte weitere Verarbeitung nix mehr dauern (ausser das vermutete DGV-DataSource-Problem).

RodFromGermany · 1. November 2020, 11:02

@Toni_Edi Mit Deinem Code aus Post #1 und Deinen Daten habe ich keine Probleme, ich hab testweise den Ausdruck fields.ElementAt(0) = xName weggelassen, so dass alle Zeilen eingelesen werden.
Ohne eine Dauer bestimmt zu haben ludt er alles sehr schnell.
Auch der Test mit 5019 Zeilen (C&P) lädt beide Varianten sehr schnell (in weniger als einer Sekunde).

Kasi · 1. November 2020, 12:21

ich glaube das EDR recht hat in Post#13

versuche es so

VB.NET-Quellcode

Option Strict On
Imports System.IO
Public Class Form1
Private Toni_EdiList As New List(Of String)
Private Sub Button1_Click(sender As System.Object, e As System.EventArgs) Handles Button1.Click
DataGridView1.Rows.Clear()
Dim fromDate As DateTime = DateTimePicker1.Value
Dim toDate As DateTime = DateTimePicker2.Value
Dim ID As String = ComboBox1.Text
Dim start As DateTime = DateTime.Now
'Query auslösen
Dim results = (From line In File.ReadAllLines("D:\TestFolder\Dataall.txt").Skip(1) _
Let fields = line.Split(New Char() {";"c}).AsEnumerable() _
Where DateTime.Parse(fields.ElementAt(1)) > fromDate AndAlso _
DateTime.Parse(fields.ElementAt(1)) < toDate AndAlso _
fields.ElementAt(0) = ID Select fields).ToArray()
'elemente zurück geben
For Each element In results
DataGridView1.Rows.Add(element(0), _
element(1), _
element(2), _
element(3))
Next
Dim elapsedTimeInSeconds As Double = DateTime.Now.Subtract(start).TotalSeconds
Debug.WriteLine(" {0} seconds", elapsedTimeInSeconds)
End Sub
Private Sub Form1_Load(sender As System.Object, e As System.EventArgs) Handles MyBase.Load
Dim yourFile = IO.File.ReadAllLines("D:\TestFolder\Dataall.txt").Skip(1)
Toni_EdiList =
(
From line In yourFile
Where line.Length > 0 Let Items = line.Split(";"c) _
Select yourItem = Items(0)
Distinct
Order By yourItem
).ToList
ComboBox1.DataSource = Toni_EdiList
DataGridView1.Columns.Add("Name", "Name")
DataGridView1.Columns.Add("Datum und Zeit", "Datum und Zeit")
DataGridView1.Columns.Add("col3", "col3")
DataGridView1.Columns.Add("col4", "col4")
'Beispiel Datum mit Uhrzeiten
DateTimePicker1.Format = DateTimePickerFormat.Custom
DateTimePicker1.CustomFormat = "dd.MM.yyyy HH:mm:ss"
Dim fromDate As DateTime = New DateTime(2020, 9, 2, 7, 42, 22)
DateTimePicker2.Format = DateTimePickerFormat.Custom
DateTimePicker2.CustomFormat = "dd.MM.yyyy HH:mm:ss"
Dim toDate As DateTime = New DateTime(2020, 10, 25, 8, 47, 59)
DateTimePicker1.Value = fromDate
DateTimePicker2.Value = toDate
End Sub
End Class

die Abfrage benötigte
0.0109928 seconds

Toni_Edi · 2. November 2020, 02:55

Vollzitat eines Vorposts durch Anredefunktion ersetzt ~VaporiZed

@ErfinderDesRades,

vielen Dank dass du für mich soviel zeit genommen hast.
Dein Code muss ich in ruhe anschauen.
Das ist für mich so hart, ich bin kein Profi.

Am anfan an habe ich Code von Kasi genommen und so habe ich aufgebaut.
Jetzt weis ich woher der Fehler kommt.

@RodFromGermany

hi,das habe ich auch versucht.
bei mir funktioniert auch gesamte (717 Zeile) Datei mit 68 sekunden ohen Filtern(Combobox.Name).
Ich habe was gefunden, trotzdem Ihr könnt mir helfen.

@Kasi
hallo mein Freund Kasi,
viele haben versucht mir helfen, ich habe meine Problemme nicht richtig geschildert.
Aber Du hast mich sofort verstanden und geholfen.

A bis Z habe ich deine Code genommen und eingebaut.
Du hast das ganze nochmal gepostet Post#23.

wie kann ich zählen und in Text mit laufen lasen?
damit ich sehen kann wie viele grade zählt.

Ich denke, ich habe jetzt gefunden warum das so lage gedaurt mit lesen.
vielen Dank,

ErfinderDesRades · 2. November 2020, 09:36

Toni_Edi schrieb:

Jetzt weis ich woher der Fehler kommt.

Und woher?

Toni_Edi · 2. November 2020, 10:19

Vollzitat des direkten Vorposts an dieser Stelle entfernt ~VaporiZed

without the Tabel and Datetime Format!

Ich hatte viele funktionen mit Datatable aufgebaut.

Fange ich alle von vorne an .

Jetzt habe ich kein Datatable mehr, wie kann ich diese funktion Modifizieren.

VB.NET-Quellcode

Dim row As DataRow = thedatatable.NewRow
row.Item("Name") = "All"
thedatatable.Rows.InsertAt(row, 0)
Dim names As List(Of String) = thedatatable.AsEnumerable() _
.Select(Function(r) r.Field(Of String)("Name")) _
.Distinct() _
.ToList()
names.Sort()
ComboBox2.DataSource = names

RodFromGermany · 2. November 2020, 12:55

Toni_Edi schrieb:

wie kann ich diese funktion Modifizieren.

Was soll denn dabei rauskommen?

Toni_Edi · 2. November 2020, 23:40

Vollzitat des direkten Vorposts an dieser Stelle entfernt ~VaporiZed

@RodFromGermany,

Nachdem auslesen kann ich nach Name filtern und Auswerten.
Ich hatte mit Datatable vieles vorbereitet.
z.B.

VB.NET-Quellcode

Private Sub ComboBox2_SelectedIndexChanged(sender As System.Object, e As System.EventArgs) Handles ComboBox2.SelectedIndexChanged
Dim myBindingSource As New BindingSource
myBindingSource.DataSource = thedatatable.DefaultView()
DataGridView1.DataSource = myBindingSource
Dim cust As String = Me.ComboBox2.Text
If cust <> "00000 Alle Teilenummern" Then
myBindingSource.Filter = "name = '" & cust & "'"
'Labelshow()
Else
myBindingSource.Filter = "name <> '" & cust & "'"
' Labelshow()
End If
End Sub

RodFromGermany · 3. November 2020, 05:45

@Toni_Edi Meinst Du so was:

VB.NET-Quellcode

Private Sub ComboBox2_SelectedIndexChanged(sender As System.Object, e As System.EventArgs) Handles ComboBox2.SelectedIndexChanged
Dim myBindingSource As New BindingSource
myBindingSource.DataSource = thedatatable.DefaultView()
Dim compare = If(cust <> "00000 Alle Teilenummern", "=", "<>")
myBindingSource.Filter = String.Format("name {0} '{1}'", compare, Me.ComboBox2.Text)
DataGridView1.DataSource = myBindingSource
End Sub

Toni_Edi · 3. November 2020, 09:59

@RodFromGermany,
Ja, mein Problem ist wie bekomme ich die Namen in Combobox2.
Muss ich wieder eine Datatable erstellen? nach dem die Daten aus CSV ausgelesen habe.
Ich will nicht immer doppelte weg gehen, es wird wieder lange dauern.
Welcher möglichkeit habe ich hier aus Dagridview1 (0) to Combobox2.

VB.NET-Quellcode

Dim row As DataRow = thedatatable.NewRow
row.Item("Name") = "All"
thedatatable.Rows.InsertAt(row, 0)
Dim names As List(Of String) = thedatatable.AsEnumerable() _
.Select(Function(r) r.Field(Of String)("Name")) _
.Distinct() _
.ToList()
names.Sort()
ComboBox2.DataSource = names

RodFromGermany · 3. November 2020, 12:47

@Toni_Edi Das ist der identische Code von Post #26.

RodFromGermany schrieb:

Was soll denn dabei rauskommen?

nogood · 4. November 2020, 00:27

@Toni_Edi Ich denke ich bin nicht der Einzige, der jetzt nicht mehr genau weiß was Du erreichen möchtest. Fall Du es Dir hilft hier auch noch mein Lösungsansatz (in C# :whistling:

).Ich hab dafür folgende Library benutzt CSVHelper und Deine CSV Datei mit diesem OnlineConverter automatisch in C# Klassen umgewandelt.

Das Klassen DatenModel (vom Converter):

Spoiler anzeigen

C#-Quellcode

using CsvHelper.Configuration;
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
namespace Basic_ReadWrite_CSV.Model
{
//I used https://toolslick.com/generation/code/class-from-csv
//to derive the C# classes from the CSV
//plus I use the NugetPacket CSVHelper -> ClassMap is need for this and
//dont forget the -- using CsvHelper.Configuration;
//plus Problems with the Symbol ° so I changed that to Grad or g
//TODO example would be last property
//Stat_Grad is converted to String instead of a fload or somesort
//etc.
public class CSVDataModel
{
public string Typ { get; set; }
public DateTime Datum { get; set; }
public bool TrueFalse { get; set; }
public string Eb1 { get; set; }
public int Eb1X { get; set; }
public int Eb1Y { get; set; }
public string Eb1_Grad { get; set; }
public string Eb2_ { get; set; }
public int Eb2X { get; set; }
public int Eb2Y { get; set; }
public string Eb2_Grad { get; set; }
public string Stat { get; set; }
public int StatX { get; set; }
public int StatY { get; set; }
public string Stat_Grad { get; set; }
}
public class CSVDataModelClassMap : ClassMap<CSVDataModel>
{
public CSVDataModelClassMap()
{
Map(m => m.Typ).Name("Typ");
Map(m => m.Datum).Name("Datum");
Map(m => m.TrueFalse).Name("True/False");
Map(m => m.Eb1).Name("Eb_1");
Map(m => m.Eb1X).Name("Eb1_x");
Map(m => m.Eb1Y).Name("Eb1_y");
Map(m => m.Eb1_Grad).Name("Eb1_g");
Map(m => m.Eb2_).Name("Eb2_");
Map(m => m.Eb2X).Name("Eb2_x");
Map(m => m.Eb2Y).Name("Eb2_y");
Map(m => m.Eb2_Grad).Name("Eb2_g");
Map(m => m.Stat).Name("stat");
Map(m => m.StatX).Name("stat_x");
Map(m => m.StatY).Name("stat_y");
Map(m => m.Stat_Grad).Name("stat_g");
}
}
}

Das Programm:

Spoiler anzeigen

C#-Quellcode

using Basic_ReadWrite_CSV.Model;
using CsvHelper;
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Diagnostics;
using System.Drawing;
using System.Globalization;
using System.IO;
using System.Linq;
using System.Text;
using System.Threading.Tasks;
using System.Windows.Forms;
namespace Basic_ReadWrite_CSV
{
public partial class Main : Form
{
readonly string DataFileName ="DATAALL.txt";
List<CSVDataModel> LstCSVDataModels = new List<CSVDataModel>();
List<CSVDataModel> LstOfFilteredDataModels = new List<CSVDataModel>();
readonly List<DateTime> LstDates = new List<DateTime>();
readonly List<string> LstTyps = new List<string>();
readonly Stopwatch SWatch = new Stopwatch();
public Main()
{
InitializeComponent();
ReadData();
PopulateCmbx();
ShowRawData();
}
private void ReadData()
{
using (var reader = new StreamReader(DataFileName))
using (var csv = new CsvReader(reader, CultureInfo.InvariantCulture))
{
csv.Configuration.RegisterClassMap<CSVDataModelClassMap>();
csv.Configuration.Delimiter = ";";
//csv.Configuration.HeaderValidated = null;
//csv.Configuration.MissingFieldFound = null;
LstCSVDataModels = csv.GetRecords<CSVDataModel>().ToList();
}
}
private void ShowRawData()
{
DGVRawData.DataSource = LstCSVDataModels;
}
private void PopulateCmbx()
{
foreach (var line in LstCSVDataModels)
{
LstDates.Add(line.Datum.Date);
LstTyps.Add(line.Typ);
}
//Cmbx Dates
List<DateTime> LstDatesDistinct = LstDates.Distinct().ToList();
LstDatesDistinct.Sort();
foreach (var datum in LstDatesDistinct)
{
CmbxDateFrom.Items.Add(datum.Date);
CmbxDateTo.Items.Add(datum.Date);
}
//Cmbx Typ
List<string> LstTypsDistinct = LstTyps.Distinct().ToList();
LstTypsDistinct.Sort();
foreach (var typ in LstTypsDistinct)
{
CmbxTyp.Items.Add(typ);
}
}
//Filter and Show Data
private void BtnFilter_Click(object sender, EventArgs e)
{
FilterData();
ShowFilteredData();
}
private void CmbxTyp_SelectedIndexChanged(object sender, EventArgs e)
{
FilterData();
ShowFilteredData();
}
private void FilterData()
{
if (CmbxTyp.SelectedItem != null && CmbxDateFrom.SelectedItem != null && CmbxDateTo.SelectedItem != null)
{
SWatch.Start();
//LINQ
LstOfFilteredDataModels = LstCSVDataModels.Where(line => line.Typ == CmbxTyp.SelectedItem.ToString() &&
line.Datum.Date >= ((DateTime)CmbxDateFrom.SelectedItem).Date &&
line.Datum.Date < ((DateTime)CmbxDateTo.SelectedItem).Date
).ToList();
SWatch.Stop();
LbTimer.Text = $"in ms: {SWatch.Elapsed.TotalMilliseconds}";
SWatch.Reset();
}
}
private void ShowFilteredData()
{
DGVFilteredData.DataSource = LstOfFilteredDataModels;
LbFound.Text = $"Found: {LstOfFilteredDataModels.Count}";
}
}
}

Klasse/n erstellen, die die Datenstruktur des CSV wiederspiegelt. Jede Zeile des CSV ist dann ein Objekt dieser Klasse. Diese Objekte dann in eine Liste aufnehmen, danach kann man dann mit den Daten machen was man will

.

Mein Bauchgefühl sagt mir, dass mein Code Dir nicht wirklich helfen wird, eventuell aber der obige Satz!

--------

Konkret wenn ich das richtig verstehe!? Hier noch mein C# Code nur für das Befüllen der Comboxen in VB konvertiert.

VB.NET-Quellcode

Private Sub PopulateCmbx()
For Each line In LstCSVDataModels
LstDates.Add(line.Datum.Date)
LstTyps.Add(line.Typ)
Next
Dim LstDatesDistinct As List(Of DateTime) = LstDates.Distinct().ToList()
LstDatesDistinct.Sort()
For Each datum In LstDatesDistinct
CmbxDateFrom.Items.Add(datum.Date)
CmbxDateTo.Items.Add(datum.Date)
Next
Dim LstTypsDistinct As List(Of String) = LstTyps.Distinct().ToList()
LstTypsDistinct.Sort()
For Each typ In LstTypsDistinct
CmbxTyp.Items.Add(typ)
Next
End Sub

Bleib dran!! Programmieren testet meine Frustationsgrenze jedesmal aufs neue LG Nogood

Toni_Edi · 5. November 2020, 01:47

nogood schrieb:

@Toni_Edi Ich denke ich bin nicht der Einzige, der jetzt nicht mehr genau weiß was Du erreichen möchtest. Fall Du es Dir hilft hier auch noch mein Lösungsansatz (in C#  ).Ich hab dafür folgende Library benutzt CSVHelper und Deine CSV Datei mit diesem OnlineConverter automatisch in C# Klassen umgewandelt.

@nogood,

Vielen Danke für die Unterstützung.

Ganzeinfach, ich habe die Code von Kasi genommen und so aufgebaut Post#23.

Meine Frage war:

Wie bekomme ich die vorhandene Daten von Datagridview1 Column (0) in Textbox oder in Combobox.

Ich habe jetzt sogemacht.
Esdauert für 800 Zeile 9 Sekunden länge.

VB.NET-Quellcode

Private Sub Button1_Click(sender As System.Object, e As System.EventArgs) Handles Button1.Click
DataGridView1.Rows.Clear()
DataGridView1.Columns.Add("Name", "Name")
DataGridView1.Columns.Add("Datum und Zeit", "Datum und Zeit")
DataGridView1.Columns.Add("col3", "col3")
DataGridView1.Columns.Add("col4", "col4")
Dim fromDate As DateTime = DateTimePicker1.Value
Dim toDate As DateTime = DateTimePicker2.Value
Dim ID As String = ComboBox1.Text
Dim start As DateTime = DateTime.Now
[color=#AFEEEE]Dim Name_List As New List(Of String)[/color]
'Query auslösen
Dim results = (From line In File.ReadAllLines(TextBox1.Text).Skip(1) _
Let fields = line.Split(New Char() {";"c}).AsEnumerable() _
Where DateTime.Parse(fields.ElementAt(1)) >= fromDate AndAlso _
DateTime.Parse(fields.ElementAt(1)) <= toDate Select fields).ToArray()
'elemente zurück geben
For Each element In results
DataGridView1.Rows.Add(element(0), _
element(1), _
element(2), _
element(3))
[color=#AFEEEE]Name_List.Add(element(0))[/color]
Next
Dim elapsedTimeInSeconds As Double = DateTime.Now.Subtract(start).TotalSeconds
Debug.WriteLine(" {0} seconds", elapsedTimeInSeconds)
Labelshow()
[color=#AFEEEE]ComboBox2.DataSource = Name_List[/color]
End Sub

Toni_Edi · 5. November 2020, 13:15

@nogood,

Hallo nogood,

Wie Du gemacht hast sieht es Gut aus.

Aber wie kann ich deine Code nutzen C#.

ich habe heute mit 2000 Zeile eingelesen und es hat sich "585.3754217 seconds" gedauert.

Ich bin immer noch am kämpfen.

Vielen Dank nochmals,

RodFromGermany · 5. November 2020, 15:59

Toni_Edi schrieb:

Aber wie kann ich deine Code nutzen C#.

Indem Du ihn nach VB.NET übersetzt.
Ein Übersetzungstool findest Du in meiner Signatur.
Allerdings solltest Du Dich benühen, C# ansatzweise zu verstehen, zumal dahinter dieselbe Philosophie steckt wie hinter VB.NET.

Toni_Edi · 5. November 2020, 17:17

Vollzitat des direkten Vorposts an dieser Stelle entfernt ~VaporiZed

danke,

Toni_Edi · 5. November 2020, 18:22

Hallo Freunde,
Ich bin immer noch nicht zufrieden.
Ich habe erst versucht mit Datatable und zweite versuch ohne Datatable direkt in DGV.
Troztdem dauert alles solange.
Ich muss ca.4000 Zeile von 10000 lesen.
Kann ich erst in einer Liste ODER in einer LISTVIEW die Daten lesen und danach in DGV schreiben?
Ich habe das getestet, sodauert nicht solange.
Aber ich weis nicht wie man von List auf DGV schreibt.

VB.NET-Quellcode

Private Sub Button1_Click(sender As System.Object, e As System.EventArgs) Handles Button1.Click
DataGridView1.Rows.Clear()
Dim fromDate As DateTime = DateTimePicker1.Value
Dim toDate As DateTime = DateTimePicker2.Value
Dim ID As String = ComboBox1.Text
Dim start As DateTime = DateTime.Now
Dim Name_List As New List(Of String)
Dim results = (From line In File.ReadAllLines(TextBox1.Text).Skip(1) _
Let fields = line.Split(New Char() {";"c}).AsEnumerable() _
Where DateTime.Parse(fields.ElementAt(1)) >= fromDate AndAlso _
DateTime.Parse(fields.ElementAt(1)) <= toDate Select fields).ToArray()
For Each element In results
'DataGridView1.Rows.Add(element(0), _
' element(1), _
' element(2), _
' element(3))
Name_List.Add(element(0))
Name_List.Add(element(1))
Name_List.Add(element(2))
Name_List.Add(element(3))
Next
Labelshow()
Dim elapsedTimeInSeconds As Double = DateTime.Now.Subtract(start).TotalSeconds
Debug.WriteLine(" {0} seconds", elapsedTimeInSeconds)
End Sub

ErfinderDesRades · 5. November 2020, 21:22

Was soll ich sagen?
Ich hab dir Anwendung geschrieben, die das Zeugs sehr schnell in Datensätze einliest.
Nun kann ich nur noch warten, bis du dich mit deinen Abwegen soweit abgearbeitet hast, dass du vlt doch noch iwann anfängst, dich dafür zu interessieren.

Toni_Edi · 5. November 2020, 23:08

Vollzitat des direkten Vorposts an dieser Stelle entfernt ~VaporiZed

@ErfinderDesRades,
Hallo Erfinderdesrades,
Ich habe deine Post#21 gelesen und versucht das öffnen, das hat nicht funktioniert.
Ehrlich gesagt , glaub mir ich habe dein Code nicht ignoriert, sondern ich bin damit nicht zu Recht gekommen.
Ich weiß nicht, wie ich das verwenden soll.
@Kasi, hat einfache Methode geschrieben, deshalb habe ich den verstanden und verwendet.
Es hat soweit alles funktioniert. danach habe ich mehr als 4000 aus 10000 Zeile gelesen da hat mein Problem wieder angefangen.

Ich weiß, viele haben sich für mich viel Zeit investiert und die Mühe gegeben.

Seit mehrer Wochen versuche ich die Daten aus CSV lesen immer noch nicht fertig.

Vielen Dank an Allen,

ErfinderDesRades · 5. November 2020, 23:43

Toni_Edi schrieb:

Ich habe deine Post#21 gelesen und versucht das öffnen, das hat nicht funktioniert.
Ehrlich gesagt , glaub mir ich habe dein Code nicht ignoriert, sondern ich bin damit nicht zu Recht gekommen.
Ich weiß nicht, wie ich das verwenden soll.

Nun, das nenne ich ignorieren, wenn du nix mit anfangen kannst, und sagst das nicht.
Wobei ich noch immer nicht weiss, ob du den zip nicht entpacken konntest, oder ob du die Solution darin nicht gefunden hast, oder ob du die Soluteion darin nicht öffnen konntest, oder ob die Solution Fehlermeldungen ausgegeben hat, oder ob du nicht wusstest, welchen Button drücken, oder oder oder...

Daten schnell auslesen von CSV Datei

VB.NET-Quellcode

Toni_Edi schrieb:

VB.NET-Quellcode

Toni_Edi schrieb:

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

RodFromGermany schrieb:

C#-Quellcode

C#-Quellcode

VB.NET-Quellcode

nogood schrieb:

VB.NET-Quellcode

Toni_Edi schrieb:

VB.NET-Quellcode

Toni_Edi schrieb:

Ähnliche Themen

8 Benutzer haben hier geschrieben