Dynamische LINQ Abfrage (gestaffelte Abfragen mit wechselndem SearchTerm)

nogood · 3. März 2021, 10:43

Hi,
ich hoffe ich hab den Titel nicht ganz falsch gewählt.

Ich lese eine Csv-Datei ein und parse jede Zeile/Datensatz in ein eigenes Klassenmodel und erstelle eine Liste der Obj. ca. 4000 Stk.
Die einzelnen Klassenmodele haben unter anderem folgende Propertys:

ID, Typ, Herstellername, Modelfamilie, Modelname, ...

Ich lass mir die Gesamtliste nun in einem Datagriedview anzeigen. Alles i.O.

Der Benutzer soll nun in der Lage sein, einzelne Teile aus der Liste raussuchen zulassen.
Für jedes Property nach dem gesucht werden soll, erstelle ich eine Txtbox.
User kann also alle Teile vom Hersteller "Metzler" anzeigen lassen, die in der Modelfamlie "Masterlock" sind.
Diese neue kleinere Ergebnisliste wird unter dem ersten Datagridview in einem zweiten Dgv angezeigt.

Zum Bsp. so:

C#-Quellcode

List<MeList> match = new List<MeList>();
//erste Eingrenzung
match = LstAllObjCsvs.Where(x => Regex.IsMatch(x.Hersteller, SearchTermHersteller)).ToList();
//zweite Eingrenzung
match = match.Where(x => Regex.IsMatch(x.Familie, SearchTermFamilie)).ToList();

Hier wäre das Problem, dass der User zwangsweise den Hersteller kennen muss damit so gesucht werden kann.

Wie mache ich es, dass der User mal nur nach einem Property suchen kann oder nach beliebigen Konstellationen?
z.B. Hersteller, ModelName oder Typ, ModelFamilie und Modelname
Der User soll dazu noch in der Lage sein, die Suche nach einer Suche noch zu verfeinern, in dem er noch ein SuchProperty eintippt.
z.B. erste Suche nur Hersteller. Dann danach noch die Modelfamilie ...

Ich kann im Moment nur auf Lösungen kommen, die mal wieder nach feinstem SpaghettiCode aussehen.
Was übersehe ich da?

nogood · 3. März 2021, 11:57

Versuch einfacher zu beschreiben was ich machen möchte:
Beispiel Schrottplatz 4000 Autos.
Alle Autos bei Eingang in Computer eingetragen mit Merkmalen z.B. Hersteller, Farbe, Sitzplätze, PS,..

Jetzt will ich sehen: "Hab ich rote Autos?" -> Liste wird nach rot durchsucht und von 4000 Stk. sind 300 rot
jetzt will ich wissen wieviel von den roten Autos haben 120 Ps -> nur noch 20 Stk. gefunden die rot sind und 120 Ps haben.

Und nun würde ich die Suche gerne so programmieren, dass verschiedene Suchreihenfolgen möglich sind.
Mal nach Farbe mal Gewicht mal nach Sitzplätzen und Farbe etc.

----------
Ich hab jetzt einen Ansatz gefunden, der nicht ganz schlecht ist.
Kurzfassung:
Ich erzeuge eine Liste aus Suchwortobjekten bestehend, aus dem TextString aus der Txtbx und je nach Txtbx (Herstellertxbx, Modeltxbx) dann noch das Property (nameOf(ModelProperty)) als String.
Nur für das erste Suchwort such ich die Komplette Liste an Teilen durch. Für die weiteren Suchen nehme ich dann jeweils schon die "feinere" Liste.

Ob das nun schlauch ist !?!? Es schein das zu machen was ich wollte und ist verständlich jedenfalls für mich ... in diesem Moment. Frag mich bloß nicht nach Sachen die ich vor 2 Wochen gecodet habe

C#-Quellcode

for (int i = 0; i < searchTerms.Count; i++)
{
if (i==0)
{
match = LstAllCsvs.Where(x => AddIfMatch(x, searchTerms[i].PropertyNameTooSearch, searchTerms[i].SearchTermString)).ToList();
}
match = match.Where(x => AddIfMatch(x, searchTerms[i].PropertyNameTooSearch, searchTerms[i].SearchTermString)).ToList();
}

Das echte "matchen" der Treffer erfolgt in einer extra Methode

C#-Quellcode

private bool AddIfMatch(MeList entrie, string propertyName, string searchTerm)
{
bool result = false;
switch (true)
{
case true when propertyName == nameof(MeList.Hersteller):
result = Regex.IsMatch(entrie.Hersteller, searchTerm, RegexOptions.IgnoreCase);
break;
case true when propertyName == nameof(MeList.Familie):
result = Regex.IsMatch(entrie.Familie, searchTerm, RegexOptions.IgnoreCase);
break;
case true when propertyName == nameof(MeList.Modell):
result = Regex.IsMatch(entrie.Modell, searchTerm, RegexOptions.IgnoreCase);
break;
case true when propertyName == nameof(MeList.Bauform):
result = Regex.IsMatch(entrie.Bauform, searchTerm, RegexOptions.IgnoreCase);
break;
default:
break;
}
return result;
}

exc-jdbi · 3. März 2021, 15:19

Ich glaube eine Lösung über LINQ zu suchen, würde mich auch gleich ein bisschen überfordern. Ich würde da eher eine statische SUCH-Klasse erstellen, die eine Einstiegs-Methode besitzt, in der die Liste und ein ganz spezifisches SuchObjekt eingegeben werden müssen. Dieses Suchobjekt ist ein Objekt (eine Klasse oder Struktur) die einerseits alle Eigenschaften auch enthält die deine Objekte in der Liste haben, aber anderseits auch noch genauere Definitionen wie ">", "<", "=" etc. aber auch Arrays {color1,color2} etc. zulässt. Und mit diesem SuchObjekt durchläufts du alle deine Objekte in der Liste, und prüfst, ob die Bedingungen erfüllt werden. Erfüllt ein Objekt in der Liste die gewünschten Bedingungen, so wird die Instanz des Objektes in einer Return-Liste gesammelt, und am Schluss zurückgegeben.

Ich glaube das wäre meine erste Vorgehensweise die ich prüfen würde, ob sie in allem funkst.

Freundliche Grüsse

exc-jdbi

Kasi · 3. März 2021, 16:05

eine möglichkeit wäre mit OLEDB und einer Schema.ini die
CSV Datei direkt auszulesen. Mit Sql kannst du deine Filter angeben.

habe eine einfache Datei erstellt mit zwei filter

VB.NET-Quellcode

Private Sub Button1_Click(sender As System.Object, e As System.EventArgs) Handles Button1.Click
Dim dt As Data.DataTable = Nothing
Dim FileName As String = "Users.txt"
Dim sCon As String = "Provider=Microsoft.Jet.OleDb.4.0;Data Source=D:\TestFolder;Extended Properties='Text;HDR=Yes;Schema=schema.ini;';"
Dim Cn As OleDb.OleDbConnection = New OleDb.OleDbConnection(sCon)
Cn.Open()
Dim SchemeFile As String = "D:\TestFolder\Schema.ini"
If File.Exists(SchemeFile) Then File.Delete(SchemeFile)
Using SchemaStream As FileStream = New FileStream(SchemeFile, FileMode.CreateNew)
Using writer As StreamWriter = New StreamWriter(SchemaStream)
writer.AutoFlush = True
writer.WriteLine("[" & System.IO.Path.GetFileName(FileName) & "]")
writer.WriteLine("ColNameHeader=True")
writer.WriteLine("Format=Delimited(;)")
writer.WriteLine("DecimalSymbol=,")
writer.WriteLine("CharacterSet=ANSI")
writer.WriteLine("Col1=Firstname Text Width 25")
writer.WriteLine("Col2=Lastname Text Width 25")
writer.WriteLine("Col3=City Text Width 65")
Debug.Print("[" & System.IO.Path.GetFileName(FileName) & "]")
Debug.Print("ColNameHeader=True")
Debug.Print("Format=Delimited(;)")
Debug.Print("CharacterSet=ANSI")
Debug.WriteLine("Col1=Firstname Text Width 25")
Debug.WriteLine("Col2=Lastname Text Width 25")
Debug.WriteLine("Col3=City Text Width 65")
End Using
SchemaStream.Close()
End Using
Dim sSql As String = "SELECT Firstname,Lastname,City FROM " & FileName
Dim sWhere As String = Nothing
If TextBox1.Text <> Nothing Then
sWhere &= " And (Lastname Like '" & TextBox1.Text & "%')"
End If
If TextBox2.Text <> Nothing Then
sWhere &= " And (City Like '" & TextBox2.Text & "%')"
End If
If sWhere <> Nothing Then
sWhere = " Where " & sWhere.Substring(4)
End If
sSql &= sWhere & " Order by LastName"
Debug.Print(sSql)
Dim Cmd As New OleDb.OleDbCommand(sSql, Cn)
Dim Dr As OleDb.OleDbDataReader
Dr = Cmd.ExecuteReader
dt = New Data.DataTable
dt.Load(Dr)
Me.DataGridView1.DataSource = dt
End Sub

wenn du keine Filter in den Textboxen setzt, sieht deine SQL so aus

VB.NET-Quellcode

SELECT Firstname,Lastname,City FROM Users.txt Order by LastName

mit 1 filter (Textbox1)

VB.NET-Quellcode

SELECT Firstname,Lastname,City FROM Users.txt Where (Lastname Like 'J%') Order by LastName

mit 2 filter (Textbox1 und Textbox2)

VB.NET-Quellcode

SELECT Firstname,Lastname,City FROM Users.txt Where (Lastname Like 'J%') And (City Like 'L%') Order by LastName

Die SQL passt sich an wie du siehst

VaporiZed · 3. März 2021, 16:31

Vielleicht bringt es Dir was: In einem Privatprojekt habe ich eine List(Of Spezialobjekt). Ein Spezialobjekt hat mehrere Properties. Ich lasse die Property-1-Werte aller Objekte in CheckListBox1 eintragen, die Property-2-Werte aller Objekte in CheckListBox2, usw.
Dann soll der User sich aus den CheckListBoxen raussuchen, welche Propertywerte zutreffen sollten.
Dann sage ich: Gib mir alle Prozesse, bei denen:

der Property-1-Wert mit der Auswahl 1 zusammenpasst UND
der Property-2-Wert mit der Auswahl 2 zusammenpasst
usw.

Also: alle möglichen Werte auflisten und vom User aussuchen lassen. Der Aufwand dafür ist gering.

ISliceUrPanties · 3. März 2021, 16:37

Hi,
vielleicht noch so als Zusatz: das, was du suchst, nennt sich PredicateBuilder. Da gibt es diverse Nuget-Pakete, bzw. so etwas ist schnell selbst implementiert albahari.com/nutshell/predicatebuilder.aspx. Ich habe zusätlich ein Beispiel angehängt, welches die Idee dahinter verdeutlicht. Ein Vorteil dieser Methode ist auch, dass "Where" nur ein einziges Mal auf deine Daten angewandt wird und nicht mehrmals, wie in deinem Beispiel. Evtl. hilft dir das in irgendeiner Weise

ErfinderDesRades · 3. März 2021, 17:43

Man kann Linq-Suchen eiglich problemlos miteinander verknüpfen. PseudoCode:

VB.NET-Quellcode

Dim SucheRoteAutos as Func(of IEnumerable(Of Auto), IEnumerable(Of Auto)) =Function(autos) from a in autos Where rot '(so ähnlich)
Dim Suche180Ps as Func(of IEnumerable(Of Auto), IEnumerable(Of Auto)) =Function(autos) from a in autos Where 180PS '(so ähnlich)
Dim SucheRot_180Ps = Autos.Where(SucheRoteAutos).Where(Suche180Ps)

Man kann auch eine Methode schreiben, der man beliebig viele solche Such-Filter übergeben kann, und die in einer Schleife alle Suchen anwendet auf das Ergebnis der jeweils vorherigen Suche.

Edit: Der PredicateBuilder find ich aber eiglich sogar hübscher. :thumbup:

nogood · 3. März 2021, 18:27

Danke an euch alle @exc-jdbi @Kasi @VaporiZed @ISliceUrPanties

Im Einzelnen
@exc-jdbi Klasse mit statischer Methode erstellen. Liste aller Objekte anhand eines "ObjektesMitExtraEigenschaften" durchlaufen und vergleichen bei "Übereinstimmung" in ResultList addieren.

@VaporiZed so was in der Art hatte ich glaub ich auch angedacht. Ich hoffe kaskadierende/verschaltete DropDownMenues beschreibt den Lösungsansatz (einigermaßen).

@Kasi Wenn ich ehrlich bin verstehe ich den Ansatz nicht. Nicht weil er falsch ist oder so ... sondern mein Wissen ist noch zu gering ist, dass ich Dir da folgen kann.

@ISliceUrPanties Kurze Verständnisfrage. Ich hab mir dein Programm runtergeladen und durchlaufen lassen (Polo, C60) und auch den Link angefangen zu lesen. Ich möchte ja nach verschiedenen Propertys suchen nicht nach mehreren Keywords in einem Property. Ich hab aus Deiner Info herausgelesen, dass man mit diesem Ansatz es schafft "matches" zu finden, wenn der Suchstring so aussehen würde " Farbe: rot oder blau".
Ich wollte ja eher alle Rote Autos -> dann alle SUVs -> dann eventuell davon alle VWs -> resultListe. Also "Property Color"=rot und dann "Property Hersteller"=VW -> ReusltLst. Ob das jetzt zwei unterschiedliche Paar Schuhe sind hab ich noch nicht verstanden.
Nichts destotrotz ist die Info super für den Fall, dass ich in einem Property mehrere SuchWorte habe mit AND/OR.

---------
Ich hatte erwartet, dass es da eher eine Standard Lösung für solche Aufgaben gibt. Die Vielfallt der Antworten besagt anderes

Hört sich jetzt blöd an ... ich bleib erstmal bei der Lösung die ich schon geschrieben habe. Aber...

Tolle, gedankenanregende Antworten von Euch ... Danke :thumbsup:

---------
Mist jetzt muss ich mir wohl doch den PredicateBuilder nochmal genauer ansehen ( @ErfinderDesRades Antwort nach dem verfassen gelesen )

ISliceUrPanties · 3. März 2021, 18:50

Alle deine Wünschen können damit umgesetzt werden. Mit predicate = predicate.And(p => p.ManufacturerName == "Volvo"); kannst du natürlich weitere Eigenschaften in dein Predicate mit aufnehmen. Mit PredicateBuilder.And() kannst du außerdem zwei Predicates miteinander verbinden. Damit hast du alles, was du brauchst. Richtig zusammensetzen musst nur du es noch

nogood · 4. März 2021, 10:08

@ISliceUrPanties Okay ... Ich hab mir Dein Programm jetzt nicht nur angeschaut, sondern auch rumgespielt/verändert.
Es macht doch Tatsache was ich erreichen wollte

So habe ich es zum testen geändert :

C#-Quellcode

var keywords = new[] { "Volkswagen","SUV"};
var predicate = PredicateBuilder.False<Car>();
foreach (var keyword in keywords)
{
predicate = predicate.And(p => p.Type == keyword);
predicate = predicate.Or(p => p.ManufacturerName == keyword);
}

Ergebnis alle Volkswagen der Klasse SUV (Tiguan, eGolf).

So jetzt müsste ich nur noch die Grundlagen dazu verstehen, die Du in Deiner Klasse PredicateBuilder benutzt hast.
Ich versuch mal mein LINQ-Wissen zu verbessern. Im Moment hört es bei einfachen Where ... Select auf. Expression Tree etc. hab ich nur mal so das Wort gesehen. Falls es möglich ist, wäre es toll wenn Du noch kurz antworten könntest...

1. Frage: Hab ich Dein Beispiel-Programm richtig verändert, um nach allen SUV der Marke VW zu suchen? Ich frage, da ich verschiedene Reihenfolgen OR / AND ausprobiert habe und es mir nicht sofort ersichtlich war warum es genau so
"anscheinend" geklappt hat!?

2. Ist das kein Problem, dass man in dem KeyWordsArray Begriffe der unterschiedlichen Propertys mischt (also {"Volkswagen"->ManufacturerName , "SUV"-> Typ})

3.Ich hab mein Wissen was LINQ betrifft von www.tutorialsteacher.com/linq. Ich hab die Seiten bis "Standard Query Operators // Union" einmalig gelesen. Ich würde jetzt mal versuchen alles bis jetzt gelesene nochmal zu überfliegen und dann dort weiterlesen. Es kommen noch Unterkapitel "Expression", "ExpressionTree" ... Danach dann würde ich den link von Dir und Dein Programm nochmal versuchen zu verstehen (also das ich wirklich weiß was Zeile für Zeile los ist). Hört sich das nach einem effektiven Plan an (nur so nach Bauchgefühl)?

Also nochmal Danke für die neuen Horizonte.

exc-jdbi · 4. März 2021, 10:35

Ich werde es auf jeden Fall auch noch genauer anschauen, wenn ich dazukomme.

Die Beispiele zeigen bis jetzt nur den Umgang mit Strings. Wie sieht es aber aus, wenn ein Property ein Datum oder eine Image ist, oder sogar ein selber erstelltes Klassenobjekt, dass nicht einfach so z.B. in einem DataGridView angezeigt werden kann, aber ich für die Such- und Filter-Verwendung doch irgendwie in Betracht ziehen möchte.

Wird sicher noch ganz spannen, was damit möglich ist.

Freundliche Grüsse

exc-jdbi

ISliceUrPanties · 4. März 2021, 13:26

@nogood
zu deinen Fragen.

Nein. Es ist nur ein Zufall, dass das Ergebnis "richtig" ist.
Ja, das ist ein Problem, wenn du so mehrere "Filter" für unterschiedliche Eigenschaften in eine Variable packst. Eine Möglichkeit, das über eine einzige Liste/Array zu lösen, bestünde darin eine eigene Filterklasse zu verwenden.
Ich habe das Projekt etwas erweitert und noch mal angehängt. Vielleicht bekommst du so noch einen besseren Einblick in die grundsätzliche Idee. Es ist nicht "schön" (weil viel wiederholter Code), aber funktionell.
Versuch nicht "seriell" eins nach dem anderen zu lesen um dann mein Beispiel "besser" zu verstehen. Schau dir das Beispiel an und das, was du nicht verstehst, schlägst du nach. Expressions (und auch ExpressionTree) ist da aber sicherlich ein gutes Stichwort.

Kasi · 4. März 2021, 13:50

nogood schrieb:

@Kasi Wenn ich ehrlich bin verstehe ich den Ansatz nicht. Nicht weil er falsch ist oder so ... sondern mein Wissen ist noch zu gering ist, dass ich Dir da folgen kann.

zeig doch mal die ersten 50 Zeilen deiner csv, dann kann ich dir ein Beispiel posten

ErfinderDesRades · 4. März 2021, 16:37

nogood schrieb:

um nach allen SUV der Marke VW zu suchen

ich denke so:

C#-Quellcode

var predicate = PredicateBuilder.False<Car>();
predicate = predicate.Or(p => p.ManufacturerName == "VW");
predicate = predicate.And(p => p.Type == "SUV");

oder

C#-Quellcode

var predicate = PredicateBuilder.False<Car>().Or(p => p.ManufacturerName == "VW").And(p => p.Type == "SUV");

nogood · 4. März 2021, 17:04

@ISliceUrPanties Zum Glück hab ich nochmal nachgefragt:). Danke für die Klärung
@Kasi Ich hab erstmal genug Neues was ich nacharbeiten muss.
@ErfinderDesRades Danke (Antwort gerade erst gesehen; keine Ahnung ob das so okay ist)

Ich versuch mich jetzt erstmal daran den PredicateBuilder Ansatz zu verstehen.

ErfinderDesRades · 4. März 2021, 21:15

Ich hab jetzt, aufbauend auf dem Sample aus post#12, einen PredicateBuilder ohne Queryable und Linq.Expressions gebaut:

C#-Quellcode

public static class PredicateBuilder2 {
public static Func<T, bool> From<T>(Func<T, bool> e) { return e; }
public static Func<T, bool> Or<T>(this Func<T, bool> expr1, Func<T, bool> expr2) {
return new Func<T, bool>(x => expr1(x) || expr2(x));
}
public static Func<T, bool> And<T>(this Func<T, bool> expr1, Func<T, bool> expr2) {
return new Func<T, bool>(x => expr1(x) && expr2(x));
}
}

geht genausogut.

C#-Quellcode

var carList = new List<Car>
{
new Car() { Id = 1, Family = "", ManufacturerName = "Volvo", Name = "C60", Type = CarType.SUV, RegistrationDate = new DateTime(2020, 4, 5) },
new Car() { Id = 2, Family = "", ManufacturerName = "Volvo", Name = "C50", Type = CarType.Limousine, RegistrationDate = new DateTime(2008, 8, 1) },
new Car() { Id = 3, Family = "", ManufacturerName = "Volkswagen", Name = "Polo", Type = CarType.Compact, RegistrationDate = new DateTime(2015, 12, 6) },
new Car() { Id = 4, Family = "", ManufacturerName = "Volkswagen", Name = "Golf", Type = CarType.Medium, RegistrationDate = new DateTime(2019, 11, 11) },
new Car() { Id = 5, Family = "", ManufacturerName = "Volkswagen", Name = "Passat", Type = CarType.Limousine, RegistrationDate = new DateTime(2004, 3, 5) },
new Car() { Id = 6, Family = "", ManufacturerName = "Volkswagen", Name = "Arteon", Type = CarType.Limousine, RegistrationDate = new DateTime(2018, 4, 5) },
new Car() { Id = 7, Family = "", ManufacturerName = "Volkswagen", Name = "T-ROC", Type = CarType.CUV, RegistrationDate = new DateTime(2018, 7, 23) },
new Car() { Id = 8, Family = "", ManufacturerName = "Volkswagen", Name = "eGolf", Type = CarType.Medium, RegistrationDate = new DateTime(2020, 1, 1) },
new Car() { Id = 9, Family = "", ManufacturerName = "Volkswagen", Name = "Tiguan", Type = CarType.SUV, RegistrationDate = new DateTime(2020, 9, 5) },
};
var cars = carList.AsQueryable();
List<Expression<Func<Car, bool>>> expressions = new List<Expression<Func<Car, bool>>>();
//AddNameFilter(expressions);
AddTypeFilter(expressions);
AddDateFilter(expressions);
foreach (var car in cars.Where(PredicateBuilder.CombineAnd(expressions))) {
Console.WriteLine($"{car.Id} - {car.Name}");
}
var p1 = PredicateBuilder.False<Car>().Or(c => c.Type == CarType.SUV).Or(c => c.Type == CarType.Compact);
var p2 = PredicateBuilder.False<Car>().Or(c => c.RegistrationDate >= new DateTime(2018, 1, 1));
var p3 = p1.And(p2);
foreach (var car in cars.Where(p3)) {
Debug.WriteLine($"{car.Id} - {car.Name}");
}
var ep = PredicateBuilder2.From<Car>(c => c.Type == CarType.SUV).Or(c => c.Type == CarType.Compact);
var ep2 = PredicateBuilder2.From<Car>(c => c.RegistrationDate >= new DateTime(2018, 1, 1));
var ep3 = ep.And(ep2);
foreach (var car in carList.Where(ep3)) {
Debug.WriteLine($"{car.Id} - {car.Name}");
}

ergibt dreimal dieselbe Ausgabe ins Output-Fenster

Dynamische LINQ Abfrage (gestaffelte Abfragen mit wechselndem SearchTerm)

Dynamische LINQ Abfrage (gestaffelte Abfragen mit wechselndem SearchTerm)

C#-Quellcode

C#-Quellcode

C#-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

C#-Quellcode

nogood schrieb:

nogood schrieb:

C#-Quellcode

C#-Quellcode

C#-Quellcode

C#-Quellcode

Ähnliche Themen

6 Benutzer haben hier geschrieben