unbekannte csv (und xls) importieren und filtern

DerSmurf · 14. Januar 2022, 08:53

Hallo ihr lieben
Ich habe mir vor einiger Zeit mal eine Funktion geschrieben, mit der ich csv und xls in ein DGV lade (ohne DataSet). Hiermit importiere ich Preislisten.
Für die Daten im DGV kann ich dann festlegen in welcher Spalte was steht - also Artikelname in Spalte 2, ArtikelNr. in Spalte 1, usw.
Nach einem Klick auf eine DGV row, werden die Artikelmerkmale dann entsprechend meinen Einstellungen in Textboxen geschrieben, damit ich sie weiter verarbeiten kann und im Bestand speichern kann.

Nun möchte ich aber die importiere Liste durchsuchbar machen. Ich denke an dieser Stelle macht es dann Sinn das DGV an eine Bindingsource zu binden, damit ich die BS.Filter Methode verwenden kann und mir nicht fürs DGV irgendwas basteln muss.
Also habe ich meinen Code so geändert, dass nicht mehr direkt ins DGV importiert wird, sondern in eine DatTable, welche dann über eine Bindingsource am DGV hängt - das klappt.

Nun scheitere ich aber an der Filter Methode, denn mi sind ja die Spaltennamen (bzw. deren Menge) unbekannt.
Diese also mit Namen ansprechen " source1.Filter = "artist = 'Dave Matthews' OR cd = 'Tigerlily'";" klappt nicht.

Wie filtere ich meine unbekannte Liste am besten?
Dazu habe ich eine kleine Demo angehängt. Den xls Import habe ich dazu auskommentiert, damit keine Zusatz dll benötigt wird.
Es geht also nur csv. Eine csv Datei liegt im Hauptordner der Solution bei.
[color=rgb(230, 230, 230); font-family: SFMono-Regular, Consolas, "Liberation Mono", Menlo, Courier, monospace; font-size: 14px; white-space: pre; background-color: rgb(47, 47, 47)]
[/color]

ErfinderDesRades · 14. Januar 2022, 09:32

wie können dir die Spalten unbekannt sein, wenn du eine DataTable hast, wo die Spalten drinne sind?

Dksksm · 14. Januar 2022, 09:51

Für die CSV-Datei vergibts du die Namen sogar selbst. Zudem ist kein Filter gecodet, was auch schwierig ist, wenn die Bindingssource nur in der Funktion bzw. Sub Import definiert und bekannt ist.

VaporiZed · 14. Januar 2022, 10:01

Damit ich das auch verstehe: Du importierst eine CSV, hast dann die Daten im DGV und dann willst Du was in die TextBox eingeben. Was denn zum Beispiel? Und was soll dann im DGV angezeigt werden? Wie soll es denn im besten Fall laufen? Deine Beispieldaten geben leider zuwenig her, damit ich mir ein Bild davon machen kann. Konkretere Daten wären sinnvoll. Wenn in der 1. Spalte der Artikelname oder in der 2. die Kategorie oder sowas immer stehen würde, ließe sich da bestimmt was machen (allerdings m.E. ohne BS-Filter)

Dksksm · 14. Januar 2022, 10:03

So, kleine Änderungen und es läuft. Kannst testen mit dem Text:
Column_1 = '2.1' OR Column_5 = '2.5'

Spoiler anzeigen

VB.NET-Quellcode

Imports System.IO
Public Class Form1
Private bs As New BindingSource
Private Sub Import()
TBFilter.Text = String.Empty
'Open File Dialog zum öffnen der csv
Dim Filepath As String
Using O As New OpenFileDialog With {.Filter = "Preislisten(*.xls, *.xlsx, *.csv) | *.xls;*.xlsx;*.csv", .Multiselect = False, .Title = "Rechnung auswählen"}
O.InitialDirectory = ".\\.\\"
If O.ShowDialog <> 1 Then Exit Sub
Filepath = O.FileName
End Using
Dim extension = Path.GetExtension(Filepath)
Dim tbl = New DataTable
If extension = ".csv" Then
Dim lines = IO.File.ReadAllLines(Filepath)
Dim colCount = lines.First.Split(","c).Length
For i = 1 To colCount
tbl.Columns.Add(New DataColumn("Column_" & i, GetType(String)))
Next
For Each line In lines
Dim objFields = From field In line.Split(","c)
Dim count As Integer = 0
For Each item In objFields
count += 1
If count > colCount Then
tbl.Columns.Add(New DataColumn("Column_" & count, GetType(String)))
colCount += 1
End If
Next
Dim newRow = tbl.Rows.Add()
newRow.ItemArray = objFields.ToArray()
Next
Else
'Else Zweig habe ich auskommentiert - damit kein Import von EPPLUS nötig ist
'Dim ExcelFile As FileInfo = New FileInfo(Filepath)
'Using package As ExcelPackage = New ExcelPackage(ExcelFile)
' Dim worksheet As ExcelWorksheet = package.Workbook.Worksheets(1)
' 'benötigte Spalten erstellen
' Dim ColAmount = worksheet.Dimension.[End].Column
' For i = 1 To ColAmount
' tbl.Columns.Add(New DataColumn("Column_" & i, GetType(String)))
' Next
' 'Zellenweise einlesen der Daten aus Excel
' For i = 1 To worksheet.Dimension.[End].Row '1. Schleife durch Rows
' Dim objFields As New List(Of String)
' For j = 1 To ColAmount '2. Schleife durch Spalten
' If worksheet.Cells(i, j).Value IsNot Nothing Then
' objFields.Add(worksheet.Cells(i, j).Value.ToString)
' End If
' Next
' Dim newRow = tbl.Rows.Add()
' newRow.ItemArray = objFields.ToArray()
' Next
'End Using
End If
bs.DataSource = tbl
bs.Filter = String.Empty
DataGridView1.DataSource = bs
End Sub
Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
Import()
End Sub
Private Sub TBFilter_TextChanged(sender As Object, e As EventArgs) Handles TBFilter.TextChanged
bs.Filter = String.Empty
If TBFilter.Text.Length > 0 Then
Try
bs.Filter = TBFilter.Text
Catch ex As Exception
bs.Filter = String.Empty
End Try
End If
'Hier soll im TextChange Event die Liste im DGV gefiltert werden
End Sub
End Class

DerSmurf · 14. Januar 2022, 13:35

Ich meine genau das, was @Dksksm gemacht hat, es sollen aber alle Columns durchsucht werden.

Mein Problem ist aber, dass ja die Anzahl der Columns immer variiert.
Liste 1 hat 5 Spalten, Liste 2 hat z.B. 8 Spalten.
Es soll aber alles durchsucht werden.

ErfinderDesRades schrieb:

wie können dir die Spalten unbekannt sein

Ich meine damit, bei jedem Import unterschiedlich

VaporiZed schrieb:

Damit ich das auch verstehe: Du importierst eine CSV, hast dann die Daten im DGV und dann willst Du was in die TextBox eingeben. Was denn zum Beispiel? Und was soll dann im DGV angezeigt werden? Wie soll es denn im besten Fall laufen?

Ich importiere wie gesagt Preislisten in die DataTable, welche über die BS am DGV hängt.
Mit der Textbox möchte ich dies Filtern (eine Suchfunktion quasi).
Wenn mir in der Liste also 3 Einträge angezeigt werden:
1. 1 | 123 | Cola | 3€
2. 2 | 456 | Cola Light | 3€
3. 3 | 789 | Pepsi | 2,80€
Gebe ich nun in die TB Cola ein, sollen Eintrag 1 und 2 angezeigt werden.
Gebe ich Light ein, soll nur Eintrag 2 angezeigt werden.
Wichtig ist mir hierbei (und das ist mein eigentliches Problem), dass immer alle Spalten durchsucht werden.
(Also eine Suche nach 3 z.B. zeigt alle Zeilen (1 und 2 wegen Preis, die dritte wegen der ersten Spalte)
Aber die Spaltenanzahl varriert ja eben - je nach importierter csv Datei.

Muss ich dann beim Filtern (oder eben beim importieren) die Menge der Spalten auslesen (oder speichern) und dann in einer Schleife meinen Suchstring zusammenbauen? Also sinngemäß:

VB.NET-Quellcode

For each column in DataTAble
Filterstring &= column.name = Suchstring
Next

Oder geht eben genau das eleganter?

VB1963 · 14. Januar 2022, 14:05

DerSmurf schrieb:

Also eine Suche nach 3 z.B. zeigt alle Zeilen (1 und 2 wegen Preis, die dritte wegen der ersten Spalte)

Eine blöde Frage jetzt dazu:
Was wird angezeigt, wenn du jetzt eine 5 angibst?

DerSmurf schrieb:

Aber die Spaltenanzahl varriert ja eben - je nach importierter csv Datei.

Was würde dann in den anderen Spalten stehen?

Verstehe ich dich da jetzt richtig: In der Textbox wird ein Suchstring eingegeben, denn du in allen Colums absuchen willst und bei einem Treffer die Zeile ausfiltert...
Weil - dann brauchst deinen Filterstring jedesmal in Abhängigkeit deiner Anzahl Colums neu in einer OR-Kombination, wie oben @Dksksm gepostet hat, erstellen und auf den BS.Filter zuweisen...

DerSmurf · 14. Januar 2022, 16:15

VB1963 schrieb:

Eine blöde Frage jetzt dazu:
Was wird angezeigt, wenn du jetzt eine 5 angibst?

Na, dann wird jede Zelle nach "5" durchsucht. Es wird dann nur der zweite Eintrag angezeigt, da dort in Spalte 2 456 steht.

VB1963 schrieb:

Was würde dann in den anderen Spalten stehen?

Den Inhalt kenne ich vorher nicht. In der Regel sind die importierten Preislisten alle ähnlich. art.Nr. / EAN / Name / EK / Mwst. / UVP
Manche Preislisten bomardieren dich aber mit Infos. Z.B. Beschreibung, Maße, Lagerstandort, usw.

VB1963 schrieb:

Verstehe ich dich da jetzt richtig: In der Textbox wird ein Suchstring eingegeben, denn du in allen Colums absuchen willst und bei einem Treffer die Zeile ausfiltert...

absolut korrekt.
Und dazu fällt mir dann eben nur die oben gepostete Lösung ein:

VB.NET-Quellcode

For each col in DT
Filterstring &= col.name = Suchstring
next

Die erscheint mir aber irgendwie nicht so sauber.

VB1963 · 14. Januar 2022, 16:54

Wie sieht dein fertiger Filterstring den aus?

DerSmurf · 14. Januar 2022, 17:07

bisher gibt es noch keinen.
Ich setz mich aber heute Abend (nach Feierabend) mal hin und bastel was mir im Kopf umherschwirrt.

Dksksm · 14. Januar 2022, 17:11

Ums Eck gedacht. einfach eine Spalte 0 mit der ganzen Zeile zufügen und nur in der Column_0 suchen.

Spoiler anzeigen

VB.NET-Quellcode

Imports System.IO
Public Class Form1
Private bs As New BindingSource
Private tbl As New DataTable
Private Sub Import()
'Open File Dialog zum öffnen der csv
Dim Filepath As String
Using O As New OpenFileDialog With {.Filter = "Preislisten(*.xls, *.xlsx, *.csv) | *.xls;*.xlsx;*.csv", .Multiselect = False, .Title = "Rechnung auswählen"}
O.InitialDirectory = "..\\..\\"
If O.ShowDialog <> 1 Then Exit Sub
Filepath = O.FileName
End Using
Dim extension = Path.GetExtension(Filepath)
TBFilter.Text = String.Empty
tbl = New DataTable
If extension = ".csv" Then
Dim lines = IO.File.ReadAllLines(Filepath)
Dim colCount = lines.First.Split(","c).Length
For i = 0 To colCount
tbl.Columns.Add(New DataColumn("Column_" & i, GetType(String)))
Next
For Each line In lines
Dim objFields = (From field In line.Split(","c)).ToList()
Dim count As Integer = 0
For Each item In objFields
count += 1
If count > colCount Then
tbl.Columns.Add(New DataColumn("Column_" & count, GetType(String)))
colCount += 1
End If
Next
objFields.Insert(0, line)
Dim newRow = tbl.Rows.Add()
newRow.ItemArray = objFields.ToArray()
Next
Else
'Else Zweig habe ich auskommentiert - damit kein Import von EPPLUS nötig ist
'Dim ExcelFile As FileInfo = New FileInfo(Filepath)
'Using package As ExcelPackage = New ExcelPackage(ExcelFile)
' Dim worksheet As ExcelWorksheet = package.Workbook.Worksheets(1)
' 'benötigte Spalten erstellen
' Dim ColAmount = worksheet.Dimension.[End].Column
' For i = 1 To ColAmount
' tbl.Columns.Add(New DataColumn("Column_" & i, GetType(String)))
' Next
' 'Zellenweise einlesen der Daten aus Excel
' For i = 1 To worksheet.Dimension.[End].Row '1. Schleife durch Rows
' Dim objFields As New List(Of String)
' For j = 1 To ColAmount '2. Schleife durch Spalten
' If worksheet.Cells(i, j).Value IsNot Nothing Then
' objFields.Add(worksheet.Cells(i, j).Value.ToString)
' End If
' Next
' Dim newRow = tbl.Rows.Add()
' newRow.ItemArray = objFields.ToArray()
' Next
'End Using
End If
bs.DataSource = tbl
bs.Filter = String.Empty
DataGridView1.DataSource = bs
DataGridView1.Columns("Column_0").Visible = False
End Sub
Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
Import()
End Sub
Private Sub TBFilter_TextChanged(sender As Object, e As EventArgs) Handles TBFilter.TextChanged
bs.Filter = String.Empty
If TBFilter.Text.Length > 0 AndAlso tbl.Rows.Count > 0 Then
Try
bs.Filter = $"[Column_0] like '*{TBFilter.Text}*'"
Catch ex As Exception
bs.Filter = String.Empty
End Try
End If
'Hier soll im TextChange Event die Liste im DGV gefiltert werden
'Column_1 = '2.1' OR Column_5 = '2.5'
End Sub
End Class

VB1963 · 14. Januar 2022, 17:11

@DerSmurf
Denke ich auch.
Dein obiger Code ist sicher nicht lauffähig...
Scheint Preudocode zu sein

DerSmurf · 14. Januar 2022, 21:04

Sicher ist das Pseudocode und mir ist bewusst, dass die Idee dahinter wohl nicht die Beste ist.
Ich habe versucht, dies mit

DerSmurf schrieb:

Also sinngemäß:

zu verdeutlichen. Aber ist mir wohl nicht gelungen :o)
Der vollständigkeit halber hier der Code, der mir im Kopf rumgeistert: (dafür habe ich colcount Klassenweit gültig gemacht)

Spoiler anzeigen

Aber die Lösung von @Dksksm aus Post 11 ist natürlich die Lösung des Problems.

Yanbel · 19. Januar 2022, 13:27

Hier mal ein komplett anderer Ansatz:

Zunächst einmal schreibst du dir eine Basisklasse für alle Datenmodelle die es zu importieren gilt:

Basisklasse Entity

Diese Basisklasse kann zunächst erstmal gar nichts außer existieren. Anschließend schreibst du dir zwei Attribute die du für die Datenmodelle brauchst:

Order Attribut

ElementName Attribut

Dann benötigst du eine Logic-Klasse für den Im- und Export:

Logic

VB.NET-Quellcode

Public Class Serializer(Of T As New)
Public Shared Function Serialize(FileName As String, Data As T, HeaderVisible As Boolean, Optional Separator As Char = ";"c) As String
Dim HeadlineWritten As Boolean = False
Dim ExportText As String = String.Empty
If Data.GetType().IsGenericType AndAlso TypeOf Data Is IEnumerable Then
For Each elem In TryCast(Data, IEnumerable)
Dim Properties = (From prop In elem.GetType().GetProperties()
Where Attribute.IsDefined(prop, GetType(Entity.OrderAttribute))
Order By TryCast(prop.GetCustomAttributes(GetType(Entity.OrderAttribute), False).FirstOrDefault(), Entity.OrderAttribute).Order
Select prop).ToList()
If HeaderVisible AndAlso Not HeadlineWritten Then
HeadlineWritten = True
add(ExportText, String.Join(Separator, Properties.Select(Function(n) TryCast(n.GetCustomAttributes(GetType(Entity.ElementNameAttribute), False).FirstOrDefault(), Entity.ElementNameAttribute).ElementName).ToList()))
End If
add(ExportText, String.Join(Separator, Properties.Select(Function(n) n.GetValue(elem)).ToList()))
Next
Else
Dim Properties = (From prop In Data.GetType().GetProperties()
Where Attribute.IsDefined(prop, GetType(Entity.OrderAttribute))
Order By TryCast(prop.GetCustomAttributes(GetType(Entity.OrderAttribute), False).FirstOrDefault(), Entity.OrderAttribute).Order
Select prop).ToList()
If HeaderVisible AndAlso Not HeadlineWritten Then
HeadlineWritten = True
add(ExportText, String.Join(Separator, Properties.Select(Function(n) TryCast(n, Reflection.PropertyInfo).GetCustomAttributes(GetType(Entity.ElementNameAttribute), False).FirstOrDefault()).ToList()))
End If
add(ExportText, String.Join(Separator, Properties.Select(Function(n) n.GetValue(n)).ToList()))
End If
Dim ret As String = ExportText
Using x As New StreamWriter(FileName, False, Text.Encoding.UTF8)
x.WriteLine(ret)
End Using
Return ret
End Function
Public Shared Function Deserialize(FileName As String, SkipFirstLine As Boolean, Optional Separator As Char = ";"c) As List(Of T)
Dim ret As String
Dim FirstLineSkipped As Boolean = False
Using x As New StreamReader(FileName, Text.Encoding.UTF8)
ret = x.ReadToEnd()
End Using
Dim Properties As List(Of Reflection.PropertyInfo) = (From prop In GetType(T).GetProperties()
Where Attribute.IsDefined(prop, GetType(Entity.OrderAttribute))
Order By TryCast(prop.GetCustomAttributes(GetType(Entity.OrderAttribute), False).FirstOrDefault(), Entity.OrderAttribute).Order
Select prop).ToList()
Dim Liste As New List(Of T)
Dim elem As New T
Dim Lines As List(Of String) = ret.Split(Chr(10), Chr(13)).ToList()
For Each Line In Lines
If Not String.IsNullOrWhiteSpace(Line) Then
If SkipFirstLine AndAlso Not FirstLineSkipped Then
FirstLineSkipped = True
Continue For
End If
Dim Values As List(Of String) = Line.Split(Separator).ToList()
Dim Counter As Integer = 0
For Each Proper In Properties
Select Case Proper.PropertyType
Case GetType(String)
GetType(T).GetProperty(Proper.Name).SetValue(elem, Values(Counter).ToString)
Case GetType(Char)
GetType(T).GetProperty(Proper.Name).SetValue(elem, CChar(Values(Counter)))
Case GetType(Short)
GetType(T).GetProperty(Proper.Name).SetValue(elem, CShort(Values(Counter)))
Case GetType(Integer)
GetType(T).GetProperty(Proper.Name).SetValue(elem, CInt(Values(Counter)))
Case GetType(Long)
GetType(T).GetProperty(Proper.Name).SetValue(elem, CLng(Values(Counter)))
Case GetType(Single)
GetType(T).GetProperty(Proper.Name).SetValue(elem, CSng(Values(Counter)))
Case GetType(Double)
GetType(T).GetProperty(Proper.Name).SetValue(elem, CDbl(Values(Counter)))
Case GetType(Decimal)
GetType(T).GetProperty(Proper.Name).SetValue(elem, CDec(Values(Counter)))
Case GetType(Boolean)
GetType(T).GetProperty(Proper.Name).SetValue(elem, CBool(Values(Counter)))
Case GetType(Date)
GetType(T).GetProperty(Proper.Name).SetValue(elem, CDate(Values(Counter)))
Case GetType(Nullable(Of Short))
GetType(T).GetProperty(Proper.Name).SetValue(elem, If(Values(Counter) Is Nothing, CType(Nothing, Nullable(Of Short)), CShort(Values(Counter))))
Case GetType(Nullable(Of Integer))
GetType(T).GetProperty(Proper.Name).SetValue(elem, If(Values(Counter) Is Nothing, CType(Nothing, Nullable(Of Integer)), CInt(Values(Counter))))
Case GetType(Nullable(Of Integer))
GetType(T).GetProperty(Proper.Name).SetValue(elem, If(Values(Counter) Is Nothing, CType(Nothing, Nullable(Of Long)), CLng(Values(Counter))))
Case GetType(Nullable(Of Single))
GetType(T).GetProperty(Proper.Name).SetValue(elem, If(Values(Counter) Is Nothing, CType(Nothing, Nullable(Of Single)), CSng(Values(Counter))))
Case GetType(Nullable(Of Double))
GetType(T).GetProperty(Proper.Name).SetValue(elem, If(Values(Counter) Is Nothing, CType(Nothing, Nullable(Of Double)), CDbl(Values(Counter))))
Case GetType(Nullable(Of Decimal))
GetType(T).GetProperty(Proper.Name).SetValue(elem, If(Values(Counter) Is Nothing, CType(Nothing, Nullable(Of Decimal)), CDec(Values(Counter))))
Case GetType(Nullable(Of Boolean))
GetType(T).GetProperty(Proper.Name).SetValue(elem, If(Values(Counter) Is Nothing, CType(Nothing, Nullable(Of Boolean)), CBool(Values(Counter))))
Case GetType(Nullable(Of Date))
GetType(T).GetProperty(Proper.Name).SetValue(elem, If(Values(Counter) Is Nothing, CType(Nothing, Nullable(Of Date)), CDate(Values(Counter))))
End Select
Counter += 1
Next
Liste.Add(elem)
elem = New T
End If
Next
Return Liste
End Function
End Class

Und anschließend legst du dir für jeden Importtyp eine Klasse an, die vom Basisdatenmodel erbst. Die Reihenfolge der Spalten in der CSV steuerst du über das OrderAttribut, Spaltenüberschriften über das ElementName-Attribut.
Ein Entität würde dann beispielsweise so aussehen:

ExampleClass

Export zu CSV:

Export CSV

Import CSV

Ich weiß nicht ob sich das auf deinen speziellen Fall anwenden lässt, aber eine generische Liste ist mit Lamda durchsuchbar und filterbar.

"Suchfunktion"

Dksksm · 19. Januar 2022, 16:27

Sehr cool, ein echter POCO Luxusdampfer für seine Listen. Die Frage ist, was genau gemeint ist mit

DerSmurf schrieb:

Mein Problem ist aber, dass ja die Anzahl der Columns immer variiert.

Wenn sie immer, also auch in Zunkunft und permanent variiert, dann hat @DerSmurf jedenfalls einen gesicherten Job.

unbekannte csv (und xls) importieren und filtern

unbekannte csv (und xls) importieren und filtern

VB.NET-Quellcode

ErfinderDesRades schrieb:

VaporiZed schrieb:

VB.NET-Quellcode

DerSmurf schrieb:

DerSmurf schrieb:

VB1963 schrieb:

VB1963 schrieb:

VB1963 schrieb:

VB.NET-Quellcode

VB.NET-Quellcode

DerSmurf schrieb:

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

DerSmurf schrieb:

Benutzer online 1

Ähnliche Themen

6 Benutzer haben hier geschrieben