Wir split ich schlau diese ListeOf string in ModelFamilie und ModelName

nogood · 12. Dezember 2020, 19:38

Moin,

ich knoble schon länger an diesem Problem rum und komme nicht so richtig auf eine saubere Lösung. Ich würde gerne Listen dieser Art:
(wobei jede Zeile einen String darstellt)
------------------------------------------
Button MD4
Button MD5
Style AQ LX R3
Style AQ LX Read 4
Style AQ Score3
Style AQ R9
Style Mach1
Style Mach4*
Regan Muster11
Rower 123 A1
Rower 123 B2
Rower 123 C4
Tao Tao
------------------------------------------

in folgendes KlassenModel übersetzen:

ModelFamily // ModelName

Button	MD4
Button	MD5
Style AQ LX	R3
Style AQ LX	Read 4
Style AQ	Score3
Style AQ	R9
Style	Mach1
Style	Mach4*
Regan	Muster11
Rower 123	A1
Rower 123	B2
Rower 123	C4
Tao	Tao

Was für eine Schleifenlogik trennt mir das richtig (die Ausgangsliste, die ich parsen will, ist im Urspung schon nach ModelFamily gruppiert)?

Versteige ich mich bei mein Lösungsansatz in unnötige Tiefen oder ist das einfach so komplex?

Spoiler anzeigen

ErfinderDesRades · 12. Dezember 2020, 20:07

Man kann auf diese Liste einen "Baum-Builder-Algo" anwenden. (genauer: "Forest-Builder", denn es entstehen mehrere Bäume)
Also die Zeilen als Space-getrennte Pfade auffassen, ähnlich den Pfaden, mit denen Dateien addressiert werden.
Die TopLevel-Nodes so eines Baumes und die Nodes, die mehrere ChildNodes haben - das wären dann die ModelNames.

Ich muss mal gucken, wo ich meine BaumBuilder-Codes habe.

Ansonsten gehts auch so, wie du das ausgedacht hast, und so oder so ist das algorithmisch eine herausforderung.

VaporiZed · 12. Dezember 2020, 20:09

Gegenfrage: Kannst Du die Stringlistenerstellung nicht einfach verbessern/abwandeln?

nogood · 12. Dezember 2020, 20:31

@ErfinderDesRades

... und so oder so ist das algorithmisch eine herausforderung.

Genau das beführchtete ich. Ich bekomme einen "Knoten" im Gehirn und debugge mich Stunde um Stunde durch die ganzen if then ... Hoffendlich bin ich da schon besser geworden und brauch nicht mehr so lange wie früher für so eine Stelle.

@VaporiZed Mir fällt keine bessere Möglichkeit ein das zu umgehen. Ich scrape mir Html-QuellCode und parse die TableCell Strings "raus". Ein TableCell-String ist: "HerstellerName + ModelFamilie + ModelName".
Klar den Herstellernamen kann ich easy löschen da der immer gleich ist pro Table. Aber Model und Familie sind immer "anders" siehe in etwas die Liste oben.
Eine Möglichkeit wäre fast gewesen alles <h3> ... </3> Überschriften der Table als FamilyModelNamen zu nehmen. Leider ist die Webseite da inkonsistent (h3-Tag fehlt häufiger mal oder wird auch mal als <img> Tag versehen Symbolbild der Familie ohne Name). Die Tables haben leider generische Header wie z.B. "Name", "Preis", ...

ErfinderDesRades · 12. Dezember 2020, 20:38

Hier habich was, was Dateipfade in einen treeview einliest. Baumstruktur im Treeview-Steuerelement erstellen
Genauso müssen deine Pfade eingelesen werden, nur Pfad-Separator ist bei dir " ", nicht "\".

Obwohl das vlt. nicht supercool ist einen Treeview zu missbrauchen aber erstmal wayne

Andere Frage: Wo kommen diese doofe Liste denn her? Also wenn da jemand so gnädig gewesen wäre, mw. 2 Spaces zwischen Model und Typ zu machen, oder einen Tab - schon würde sich dein lausiges Problem in Luft auflösen.
Vielleicht gibts ja noch Roh-Daten, wo derlei Info noch enthalten?

nogood · 12. Dezember 2020, 22:33

@ErfinderDesRades So wie ich das bis jetzt gesehen habe, ist es leider so, dass "nur" ein Whitespace/Leerzeichen die Trennung ist.

Ich versuch erstmal mit meinem Ansatz weiter zu kommen. Fall es damit nicht klappt, versuche ich mich mal in deinen Ansatz ein zudenken. Wäre, wie so oft, dann wieder ein ganz neues Thema für mich (also auch schwer).
Danke an Euch beide

nogood · 13. Dezember 2020, 00:43

Ich bin nicht fertig, aber ich denke die Lösung verbirgt sich in einem geschickten RegexPattern.
Zum Rumspielen

PadreSperanza · 13. Dezember 2020, 06:40

Und wenn du dir ein Dictionary anlegst, in dem du den gängigen Werten Zuweisung machst:
MD4 => Button
MD5 => Button
R3 => Style AQ LX
...

und dann bei der Foreach Schleife entsprechend aus dem Dictionary ausliest, was er erstellen soll

nogood · 13. Dezember 2020, 08:55

@PadreSperanza Guten Morgen

Dictionary sind doch Key Value Paare, richtig? Die "Aufbewahrung" und der Wiederaufruf sind nicht so mein Problem.
Meine Schwierigkeit liegt darin, dass ich aus einen gesamt String erstmal intelligent zum einen die Produktfamilie und dann in Abgrenzung dazu den Produktnamen trennen will (automatisch halt und nicht per Hand).

Das Aufteilen ist das Problem. Wie ich gestern noch geschrieben habe denke ich liegt die Lösung in dem richtigen Filtern mit regex / split etc. und eben noch ein bisschen sortier if's. Gestern hab ich mich da ein bisschen eingelesen.

VaporiZed · 13. Dezember 2020, 09:11

Andere Frage: Wenn Du die Model Family Names hast, warum nicht einfach:

VB.NET-Quellcode

For Each ModelFamilyName In ModelFamilyNames
If RawTextLine.StartsWith(ModelFamilyName) Then ModelName = RawTextLine.SubString(ModelName.Length).Trim
'…
Next

Müsstest Du nur die ModelFamilyNames so sortieren, dass die mit den spezifischeren Namen weiter oben stehen. Sonst wird Style AQ angenommen, obwohl Style AQ LX korrekt ist.

nogood · 13. Dezember 2020, 10:22

@VaporiZed Nein ich hab nur einen GesamtString der eben so aufgebaut ist "MusterHersteller MusterModelFamilien MusterModelName".

Also so was wie "Mercedes Benz A Klasse A 100" Hersteller rauslösen ist geklärt also bleibt "A Klasse A 100"
und nun kommt die Schwierigkeit "A" = Family oder doch "A Klasse" oder "A Klasse A" ...

Ich hab mich jetzt erstmal entschieden das so zu lösen, dass ich "einfach" das erste vollständige Wort nach dem Hersteller als ModelFamilie annehme, auch wenn das nicht zu 100% richtigen Ergebnissen führt, ich lass das erstmal so.
Lg

VaporiZed · 13. Dezember 2020, 10:29

Also, wenn Du gar keine Referenz hast, dann geht das m.E. gar nicht. Denn "Lorem ipsum dolo sic est romus": Wie soll man da ohne Referenz rausbekommen, was da was ist?

Kasi · 13. Dezember 2020, 11:20

ich hab mal deine daten aus post1 in eine Datatable gepackt
und sortiert

was/wie du mit RegEx prüfen willst raff ich nicht

VB.NET-Quellcode

Public Class ModelFamily
Dim tb As DataTable = New DataTable
Private Sub ModelFamily_Load(sender As System.Object, e As System.EventArgs) Handles MyBase.Load
tb.Columns.Add("ModelFamily")
tb.Columns.Add("ModelName")
tb.Rows.Add("Button", "MD4")
tb.Rows.Add("Button", "MD5")
tb.Rows.Add("Style AQ LX", "R3")
tb.Rows.Add("Style AQ LX", "Read 4")
tb.Rows.Add("Style AQ", "Score3")
tb.Rows.Add("Style AQ", "R9")
tb.Rows.Add("Style", "Mach1")
tb.Rows.Add("Style", "Mach4")
tb.Rows.Add("Regan", "Muster11")
tb.Rows.Add("Rowar 123", "A1")
tb.Rows.Add("Rowar 123", "B2")
tb.Rows.Add("Rowar 123", "C4")
tb.Rows.Add("Tao", "Tao")
'ein paar mehr zum Test
tb.Rows.Add("Button", "MD5")
tb.Rows.Add("Style AQ LX", "Read 4")
DataGridView1.DataSource = tb
DataGridView1.AllowUserToAddRows = False
End Sub
Private Sub Button1_Click(sender As System.Object, e As System.EventArgs) Handles Button1.Click
Dim ModelIDs As New List(Of String)
For Each row As DataGridViewRow In DataGridView1.Rows
If (Not ModelIDs.Contains(row.Cells("ModelFamily").Value)) Then
ModelIDs.Add(row.Cells("ModelFamily").Value)
End If
Next
For Each Model_ID As String In ModelIDs
Dim s1 As New Dictionary(Of String, Integer)()
For Each row As DataGridViewRow In DataGridView1.Rows
If row.Cells("ModelFamily").Value = Model_ID Then
If Not s1.ContainsKey(row.Cells("ModelName").Value) Then
s1.Add(row.Cells("ModelName").Value, 0)
End If
s1(row.Cells("ModelName").Value) += 1
End If
Next
Debug.WriteLine("ModelFamily:<" & Model_ID & ">")
For Each s2 As KeyValuePair(Of String, Integer) In s1
Debug.WriteLine(String.Format("{0} x {1} ", s2.Value, s2.Key))
Next
Debug.WriteLine("---------------")
Next
End Sub
End Class

Debug output

VB.NET-Quellcode

ModelFamily:<Button>
1 x MD4
2 x MD5
---------------
ModelFamily:<Style AQ LX>
1 x R3
2 x Read 4
---------------
ModelFamily:<Style AQ>
1 x Score3
1 x R9
---------------
ModelFamily:<Style>
1 x Mach1
1 x Mach4
---------------
ModelFamily:<Regan>
1 x Muster11
---------------
ModelFamily:<Rowar 123>
1 x A1
1 x B2
1 x C4
---------------
ModelFamily:<Tao>
1 x Tao
---------------

oder split nach dem ersten wort, würde dann so aussehen

VB.NET-Quellcode

Public Class ModelFamily
Dim tb As DataTable = New DataTable
Private Sub ModelFamily_Load(sender As System.Object, e As System.EventArgs) Handles MyBase.Load
tb.Columns.Add("ModelFamily")
tb.Columns.Add("ModelName")
'tb.Rows.Add("Button", "MD4")
'tb.Rows.Add("Button", "MD5")
'tb.Rows.Add("Style AQ LX", "R3")
'tb.Rows.Add("Style AQ LX", "Read 4")
'tb.Rows.Add("Style AQ", "Score3")
'tb.Rows.Add("Style AQ", "R9")
'tb.Rows.Add("Style", "Mach1")
'tb.Rows.Add("Style", "Mach4")
'tb.Rows.Add("Regan", "Muster11")
'tb.Rows.Add("Rowar 123", "A1")
'tb.Rows.Add("Rowar 123", "B2")
'tb.Rows.Add("Rowar 123", "C4")
'tb.Rows.Add("Tao", "Tao")
''ein paar mehr zum Test
'tb.Rows.Add("Button", "MD5")
'tb.Rows.Add("Style AQ LX", "Read 4")
tb.Rows.Add("Button", "MD4")
tb.Rows.Add("Button", "MD5")
tb.Rows.Add("Style", "AQ LX R3")
tb.Rows.Add("Style", "AQ LX Read 4")
tb.Rows.Add("Style", "AQ Score3")
tb.Rows.Add("Style", "AQ R9")
tb.Rows.Add("Style", "Mach1")
tb.Rows.Add("Style", "Mach4")
tb.Rows.Add("Regan", "Muster11")
tb.Rows.Add("Rowar", "123 A1")
tb.Rows.Add("Rowar", "123 B2")
tb.Rows.Add("Rowar", "123 C4")
tb.Rows.Add("Tao", "Tao")
'ein paar mehr zum Test
tb.Rows.Add("Button", "MD5")
tb.Rows.Add("Style", "AQ LX Read 4")
DataGridView1.DataSource = tb
DataGridView1.AllowUserToAddRows = False
End Sub
Private Sub Button1_Click(sender As System.Object, e As System.EventArgs) Handles Button1.Click
Dim ModelIDs As New List(Of String)
For Each row As DataGridViewRow In DataGridView1.Rows
If (Not ModelIDs.Contains(row.Cells("ModelFamily").Value)) Then
ModelIDs.Add(row.Cells("ModelFamily").Value)
End If
Next
For Each Model_ID As String In ModelIDs
Dim s1 As New Dictionary(Of String, Integer)()
For Each row As DataGridViewRow In DataGridView1.Rows
If row.Cells("ModelFamily").Value = Model_ID Then
If Not s1.ContainsKey(row.Cells("ModelName").Value) Then
s1.Add(row.Cells("ModelName").Value, 0)
End If
s1(row.Cells("ModelName").Value) += 1
End If
Next
Debug.WriteLine("ModelFamily:<" & Model_ID & ">")
For Each s2 As KeyValuePair(Of String, Integer) In s1
Debug.WriteLine(String.Format("{0} x {1} ", s2.Value, s2.Key))
Next
Debug.WriteLine("---------------")
Next
End Sub
End Class

und resultat output

VB.NET-Quellcode

ModelFamily:<Button>
1 x MD4
2 x MD5
---------------
ModelFamily:<Style>
1 x AQ LX R3
2 x AQ LX Read 4
1 x AQ Score3
1 x AQ R9
1 x Mach1
1 x Mach4
---------------
ModelFamily:<Regan>
1 x Muster11
---------------
ModelFamily:<Rowar>
1 x 123 A1
1 x 123 B2
1 x 123 C4
---------------
ModelFamily:<Tao>
1 x Tao
---------------

ErfinderDesRades · 13. Dezember 2020, 11:44

Kasi schrieb:

was/wie du mit RegEx prüfen willst raff ich nicht

Er will eine Heuristik haben, die entscheiden kann, ob bei zB die Eingabe
Style AQ LX Read 4
Der ModelName Style lautet, Style AQ, Style AQ LX oder Style AQ LX Read.
Alle 4 Varianten sind möglich, und der Datenbestand maht keine eindeutige Aussage, was richtig wäre.Bei deine DataTable hast du die Entscheidung gschwind selbst getroffen, aber das ist am Sinn des Threads vorbei.

Kasi · 13. Dezember 2020, 11:48

ah
jetzt gerafft

@nogood
aber wieviele kombitationen kann es geben

VB1963 · 13. Dezember 2020, 13:34

nogood schrieb:

dass ich aus einen gesamt String erstmal intelligent zum einen die Produktfamilie und dann in Abgrenzung dazu den Produktnamen trennen will (automatisch halt und nicht per Hand).

Vlt. bringt dich die Ähnlichkeiten von Wörtern zum Ziel...
codeproject.com/Tips/859415/Le…Algorithm-in-Visual-Basic
Vlt. hilft dir das...

PadreSperanza · 13. Dezember 2020, 13:35

Meine Antwort bezog sich auch eher darauf, dass du jeweils eine Collection haben könntest und anhand der Key-Value-Pairs entscheiden kannst, in welche der Collections du das einbindest. Hat den Vorteil, dass du eine semantisch korrekte Trennung hättest und danach für jede ModelFamily machen kannst, was du mit ihr machen willst. Oder ich hab es falsch verstanden

ErfinderDesRades · 13. Dezember 2020, 15:01

nogood schrieb:

Ich bin nicht fertig, aber ich denke die Lösung verbirgt sich in einem geschickten RegexPattern.

Ja, kann sein.
Mit Regex könnte man zB als ModelName den Bereich vom Anfang letztes Wort bis ZeilenEnde identifizieren - ungeachtet, ob da noch Ziffern folgen.
Wenn das eine gültige Definition ist, die auf alle Daten zutrifft, dann ist das wohl das einfachste.

exc-jdbi · 13. Dezember 2020, 15:55

@nogood

Bei solchen Stringszeugs arbeite ich gerne mit Indexes.

Ich definiere mir zuerst eine ModelFamilieListe und Sortiere sie nach länge abwärts (Grösste Länge zuoberst).
Dann mach ich mir eine ModelFamilyIndexListe in Kombination mit den Daten die du bekommen hast. Hat den Vorteil, dass du dich nicht mehr musst mit den ModelFamilies rumschlagen musst, da alle ModelFamily für jede Zeile schon bekannt ist.

Sobald du die hast ist es eine Kleinigkeit die ModelNamen, die ModelFamilies (schon als Index vorhanden) oder beides zusammen Modelname und die dazu gehörende ModelFamily aus dem String zu etrahieren.

Spoiler anzeigen

Ist zwar eine eher uneffiziente Art, aber dafür funkst sie garantiert. Wenn dieses Grundprinzip hast, kannst dann die Überlegungen machen, wie man solche sachen mit z.B. Linq löst, dazu gibt es Action, Substring etc.

Die Weg über Regex ist sicher irgendwie auch möglich, finde ich aber eher beschwerlich um die ModelFamilies exakt daraus zu extrahiern. Versuchen kann man's natürlich, und ein Lernerfolg ist sicher auch dabei.

Bin auf jedenfall gespannt, wie du es schlussendlich löst.

Freundliche Grüsse

exc-jdbi

nogood · 14. Dezember 2020, 01:30

Der Reihe nach:

@VaporiZed Du hast ja irgendwie recht das das ganze hinkt (ohne Referenze Lorem...). Jedoch wenn man sich die Liste im ersten Post ansieht kann jeder Mensch doch ein Art Muster erkennen:
"Button MD4", "Button MD5" -> Family=Button mit Modellen= MD4 und MD5 etc.
Zu meinem Erfolg/Misserfolg später mehr.

@Kasi Wooh das hat sicher Zeit und Mühe gekostet das alles zu programmieren und dann auch noch so sauber als Post zu verpacken. Dickes Danke dafür, auch wenn es nicht das ist was ich gesucht habe.

@VB1963 Ich hab schon einen Ansatz der ich glaube der richtige ist Regex-Pattern etc. Danke für die Alternative

@ErfinderDesRades wie geschrieben Regex ist glaub ich die richtige Richtung...

@exc-jdbi Danke auch Dir für deinen Ansatz. Leider bin ich im Moment zu durchgerockt die Logik da zu verstehen. Ich schau mir das Listing morgen an

So kurz zu meiner vermeintlichen Lösung. Ich pack den Code hier rein ohne Kommentare und Erklärungen. Wie gesagt mir qualmt noch der Kopf.

Fazit
Der Screenshot zeigt die Ausgangsliste und auf Knopfdruck werden die Möglichen ModelFamilienNamen angezeigt. Mit dieser Erkennung kann ich dann ja ModelName und ModelFamilie aus dem gesamt String rauslösen.
Es funktioniert jedenfalls ein bisschen

Problem:
Ich hab den Code mit diversen anderen Listen getestet leider liefert meine Logik immer auch fehlerhafte Listen und einzel Einträge gehen nicht. Naja ein Teilerfolg erstmal...

-------------
Idee/Konzept des Codes:

Lese jede Line Text ein teile jede Zeile nochmal in ein String Array
(Button MD4) -> ("Button" "MD4")
(Button MD5) -> ("Button" "MD5")
(Style AQ LX R3) -> ("Style" "AQ" "LX" "R3")
...

Davon erstelle ich dann ListOf ListOf Strings z.B:
"Button" "Button MD4"
...
"Style" "Style AQ" "Style AQ LX" "Style AQ LX R3"

Ich erstelle auch eine ListOf String vom Gesamten Text wobei jeweils einmal jede Zeile nicht dabei ist.
Gesamter Text ohne Zeile 1
Gesamter Text ohne Zeile 2
...

Ich will FamilyName für "Style AQ LX R3" automatisch definieren :

In der ListOf Sting Aller Texte (aber ohne diese eine Zeile "Style AQ LX R3") schaue ich ob erst
"Style" vorkommt wenn ja ist das der FamilyName temporär (da dieser String auch bei andern Einträgen drinsteht -> muss er zum ProduktFAmilienNamen gehören) und ich schaue ob nicht auch "Style AQ" bei anderen Einträgen vorkommt wenn ja ...usw... "Style AQ LX" (ja) "Style AQ LX R3"(nein) -> FamilyName für "Style AQ LX R3" ist "Style AQ LX"

Danach noch List Distinct machen das keine doppelten Einträge da sind! Fertig.

Für den sehr interessierten Leser mir freier Hinkapazität und einen Hang zum Masochismus:

Spoiler anzeigen

C#-Quellcode

private void Btn1_Click(object sender, EventArgs e)
{
var lines = RtxbxShow1.Text.Split('\n');
List<string> LstResultFamilyNames = new List<string>();
//All Words all Lines in a List of MatchCollections
List<List<String>> LstOfGrowingWordStrings = new List<List<string>>();
foreach (var line in lines)
{
var matches = Regex.Matches(line, @"\b[\w-]+\b");
List<string> GrowingLineWords = new List<string>();
string gWord = "";
for (int i = 0; i < matches.Count; i++)
{
gWord += matches[i]+ " ";
GrowingLineWords.Add(gWord);
}
LstOfGrowingWordStrings.Add(GrowingLineWords);
}
List<string> LstAllTextMinusInspectionLine = new List<string>();
//All Text without line0 the then all Text without line1 etc.
for (int i = 0; i < lines.Length; i++)
{
List<string> orig = new List<string>();
orig = lines.ToList();
orig.RemoveAt(i);
string textWithTheOneLine="";
foreach (var l in orig)
{
textWithTheOneLine += l + " ";
}
LstAllTextMinusInspectionLine.Add(textWithTheOneLine);
}
string finalFName="";
for (int i = 0; i < lines.Length; i++)
{
foreach (var gw in LstOfGrowingWordStrings[i])
{
if (Regex.IsMatch(LstAllTextMinusInspectionLine[i], gw))
{
finalFName = gw;
}
}
LstResultFamilyNames.Add(finalFName);
}
LstResultFamilyNames = LstResultFamilyNames.Distinct().ToList();
foreach (var fname in LstResultFamilyNames)
{
RtxbxShow2.Text += fname + "\n";
}
}

Wir split ich schlau diese ListeOf string in ModelFamilie und ModelName

Wir split ich schlau diese ListeOf string in ModelFamilie und ModelName

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

Kasi schrieb:

nogood schrieb:

nogood schrieb:

VB.NET-Quellcode

C#-Quellcode

Ähnliche Themen

8 Benutzer haben hier geschrieben