HTML zerlegen

faxe1008 · 29. März 2013, 16:17

Hallo,

ich würde gerne ein Programm erstellen mit dem man die Angebote auf Rebuy abrufen kann. Zuerst sollte man ja den HTML-Quelltext über den Webclienten downloaden und in einem String speichern. Dann müsste ich das ganze nach Preis, Name, Bild etc. zerlegen.

Beispiel Aufbau:
Suchergebnis: 1 - 19 von 19 Ergebnissen
</div>
</div>
<ul class="products">
<li>
<a href="/i,1782274/blu-ray-disc/ich-einfach-unverbesserlich-inkl-digital-copy" class="productConversion">
<img src="https://dksw3hw5iu1be.cloudfront.net/1782274/thumbs/110.gif" class="cover" alt=""/>
</a>

<h2>
<a href="/i,1782274/blu-ray-disc/ich-einfach-unverbesserlich-inkl-digital-copy" class="inverse productConversion">
Ich - Einfach unverbesserlich [Inkl. Digital Copy] </a>
<p class="usk 0"><label>Altersfreigabe:</label> freigegeben ohne Altersbeschränkung (<span class="link">?</span>)</p> <p class="category-icon category-cd">Blu-ray Disc</p> </h2>

<div class="data">
<p class="availability green">sofort lieferbar</p>

<p class="price">
Nur
<span class="alpha">
<strong>5,39 €</strong>
</span>
</p>

<p class="vat">
Preise sind Endpreise (kein USt-Ausweis gem. §25a UStG)<br/> zzgl.
<a href="/s/agb#versandkosten" class="deliveryCostsTooltip">
Versandkosten</a>
(Standardversand: 3,99 €)
</p>

Für die Kosten muss ich bei der Seite immer nur das filtern das zwischen <strong></strong> steht. Wie müsste der RegEx-Pattern dazu aussehen? (Probier jetzt schon ziemlich lange dran rum...)
Und gibt es einen einfacheren Weg als das Bild dann mit dem Link runterzuladen zwischen zuspeichern und dann einzulesen?

Edit by hal2000:
- Die Farbe ROT ist der Moderation vorbehalten.

Grasdackel1996 · 29. März 2013, 20:06

Mir fällt mit bestem Willen absolut kein Plattern ein, der das bewältigen könnte. Dein String ist außerdem untypisch lang. Du könntest deiner Form einen WebBroser hinzufügen und versuchen, den Inhalt des HTML Tags strong auzulesen. Problem dabei ist, dass es auf der Seite der Suchergebnisse mehrer Tags dieser Art gibt. Die vermutlich beste Lösung wäre, einfach dem User die Webseite mit den Suchergebnissen anzuzeigen.

LaMiy · 29. März 2013, 20:09

RegEx. Das ist einfach genial wenn man es kann.
Guck dir die Struktur bei mehreren Artikeln an und überleg dir erstmal nur wie du ohne Programmierung danach suchen würdest.
Dann kannst du dir ein Pattern schreiben, was diese Aufgabe erledigt. Das ist sicher nicht unmöglich. Da wirst du dann vielleicht viel mit "|", also "ODER"
arbeiten müssen

faxe1008 · 29. März 2013, 20:12

Naja wäre eine Option aber eigentlich wollte ich mich mehr mit RegEx auseinandersetzen. Wenn ich ein einen Webbrowser verwende steckt da ca. 1 Zeile selbst geschriebener Code drin

Ist das wirklich so problematisch längere Texte zu "Regexen"? Hat jemand falls es nur schwer möglich ist eine andere Idee?

EDIT: verdammt @LaMiy: hab deinen Post übersehen. Bin an meinem "Handy"....

Hier noch ein Beispiel für den typischen Aufbau:

Spoiler anzeigen

Hab jetzt auch mal die Stellen makiert auf dies ankommt.
Vielleicht könnten die RegEx Pros mir mal ein wenig auf die Sprünge helfen...

Edit by hal2000:
- Die Farbe ROT ist der Moderation vorbehalten.

Kangaroo · 29. März 2013, 20:43

faxe1008 schrieb:

Vielleicht könnten die RegEx Pros mir mal ein wenig auf die Sprünge helfen...

Ich dachte Du wolltest Dich selber mehr mit Regex auseiandersetzten ?

Regex ist ein mächtiges Tool um Texte zu analysieren, allerdings berücksichtigt es keine Baumstrukturen, so wie sie bei XML/HTML vorliegen. Für komplexes HTTP würde ich daher eher eine Library wie das Html Agility Pack verwenden, welches HTML Texte in ein HtmlDocument konvertiert.

Wenn Du mit Regex an Deinen Text rangehen möchtest, so mach das in 2 Schritten:
- auslesen eines 'Product' Teils zwischen den Tags <li> und </li>
- danach zerlegst Du die einzelnen Products mit Regex in die von Dir gewünschte Komponenten

hal2000 · 29. März 2013, 23:49

LINQ to XML funktioniert auch ganz gut, sofern man vorher die HTML-Besonderheiten entfernt. Je nach Auftreten ändert man per String.Replace alles, worüber der XML-Parser meckert, z.B. ä in ä oder <br> (ohne /) in <br></br>. Danach kann man ein XDocument erstellen, in dem man mit LINQ-Syntax bequem navigieren kann.

faxe1008 · 30. März 2013, 10:11

hal2000: Entschuldigung wegen dem Rot.

Habe jetzt mal folgendes Versucht, um den oberen unnötigen Teil zu entfernen:

VB.NET-Quellcode

Dim seitenquelltext As String = ""
Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
Dim weber As New WebClient
seitenquelltext = weber.DownloadString("http://www.rebuy.de/kaufen/suchen?q=" + TextBox1.Text.Replace(" ", "+") + "&submit-search=Suche")
Dim stelle As Integer
For u = 0 To seitenquelltext.Length - 1
If seitenquelltext.Substring(u, 12) = "Suchergebnis" Then
stelle = u
End If
Next
Dim zuersetzten As String = seitenquelltext.Substring(0, stelle)
seitenquelltext = seitenquelltext.Replace(zuersetzten, "")
MsgBox(seitenquelltext)
End Sub

Bekomme aber dabei folgende Fehlermeldung:
Der Index und die Länge müssen sich auf eine Position in der Zeichenfolge beziehen. Parametername: length

Das ist vermutlich ein Überlauf oder?
Kennt jemand eine Alternative?

Kangaroo · 30. März 2013, 10:46

Was erhält man wohl wenn man an der letzten Stelle der Textdatei immer noch versucht einen 12-stelligen Substring abzurufen ?

Ausserdem: wolltest Du Dein Problem nicht mit Regex angehen ?

faxe1008 · 30. März 2013, 10:51

Ok so funkts:

VB.NET-Quellcode

Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
Dim weber As New WebClient
seitenquelltext = weber.DownloadString("http://www.rebuy.de/kaufen/suchen?q=" + TextBox1.Text.Replace(" ", "+") + "&submit-search=Suche")
Dim stelle As Integer
For u = 0 To seitenquelltext.Length - 1
If u + 12 < seitenquelltext.Length Then
If seitenquelltext.Substring(u, 12) = "Suchergebnis" Then
stelle = u
End If
End If
Next
Dim zuersetzten As String = seitenquelltext.Substring(0, stelle)
seitenquelltext = seitenquelltext.Replace(zuersetzten, "")
MsgBox(seitenquelltext)
End Sub

Das Abtrennen funktioniert auch so (warum komplizierter als nötig?), der Rest muss nun in RegEx erfolgen.

Kangaroo · 30. März 2013, 10:57

Wie wäre es mit: For u = 0 To seitenquelltext.Length - 13

Warum komplizierter als nötig ? -> String.IndexOf-Methode

faxe1008 · 30. März 2013, 11:07

Das bedeutet:
Man kann mit IndexOf die Position des <strong> finden und dann einfach den substring ab der gefundenen stelle+8 bis das Euro zeichen drin ist raussplitten oder?

Aber wie kann ich das bei unspezifischen Sachen machen die nichts besonderes Voranstehen haben:

Quellcode

<a href="/i,1856592/dvd/harry-potter-und-die-heiligtuemer-des-todes-teil-1" class="productConversion">
<img src="https://dksw3hw5iu1be.cloudfront.net/1856592/thumbs/110.gif" class="cover" alt=""/>
</a>
<h2>
<a href="/i,1856592/dvd/harry-potter-und-die-heiligtuemer-des-todes-teil-1" class="inverse productConversion">
Harry Potter und die Heiligtümer des Todes - Teil 1 </a>
<p class="usk 12"><label>Altersfreigabe:</label> frei ab 12 Jahren (<span class="link">?</span>)</p> <p class="category-icon category-cd">DVD</p> </h2>
<div class="data">
<p class="availability">
Der Artikel ist nicht verfügbar.<br />

faxe1008 · 31. März 2013, 16:29

So habe den HTML-Code weiter zerlegt auf das Minimum:

Spoiler anzeigen

VB.NET-Quellcode

Dim seitenquelltext As String = ""
Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
Dim weber As New WebClient
seitenquelltext = weber.DownloadString("http://www.rebuy.de/kaufen/suchen?q=" + TextBox1.Text.Replace(" ", "+") + "&submit-search=Suche")
Dim stelle As Integer
For u = 0 To seitenquelltext.Length - 1
If u + 12 < seitenquelltext.Length Then
If seitenquelltext.Substring(u, 12) = "Suchergebnis" Then
stelle = u
End If
End If
Next
Dim zuersetzten As String = seitenquelltext.Substring(0, stelle)
seitenquelltext = seitenquelltext.Replace(zuersetzten, "")
Dim zeichen As String = "Artikel pro Seite"
Dim stelle2 As Integer
For u = 0 To seitenquelltext.Length - zeichen.Length
If seitenquelltext.Substring(u, zeichen.Length) = zeichen Then
stelle2 = u
End If
Next
seitenquelltext = seitenquelltext.Remove(stelle2, CInt(seitenquelltext.Length - stelle2 - 1))
MsgBox(seitenquelltext)
My.Computer.Clipboard.SetText(seitenquelltext)
End Sub
End Class

Bekomme das hier dabei raus:
Test.txt.txt

Hätte es gerne hier gepostet allerdings sind das mehr als 15000 Zeichen

.

Wie Kann ich jetzt die makierten Teile rausholen?

Spoiler anzeigen

Und kann man mit IndexOf mehrere male die u. Position ermitteln?

EDIT:\\ Probier jetzt schon ewig rum das Indexof auch String sucht aber es zeigt mir immer falsch an.....

HA!!!!
Ich habs hingekriegt. Aber der Code ist nicht undbedingt der sauberste........

Spoiler anzeigen

VB.NET-Quellcode

Private Sub Button1_Click(ByVal sender As System.Object, ByVal e As System.EventArgs) Handles Button1.Click
'' Downloaden des HTMl-Codes
Dim weber As New WebClient
seitenquelltext = weber.DownloadString("http://www.rebuy.de/kaufen/suchen?q=" + TextBox1.Text.Replace(" ", "+") + "&submit-search=Suche")
Dim stelle As Integer
For u = 0 To seitenquelltext.Length - 1
If u + 12 < seitenquelltext.Length Then
If seitenquelltext.Substring(u, 12) = "Suchergebnis" Then
stelle = u
End If
End If
Next
Dim zuersetzten As String = seitenquelltext.Substring(0, stelle)
seitenquelltext = seitenquelltext.Replace(zuersetzten, "")
Dim zeichen As String = "Artikel pro Seite"
Dim stelle2 As Integer
For u = 0 To seitenquelltext.Length - zeichen.Length
If seitenquelltext.Substring(u, zeichen.Length) = zeichen Then
stelle2 = u
End If
Next
seitenquelltext = seitenquelltext.Remove(stelle2, CInt(seitenquelltext.Length - stelle2 - 1))
Dim start As Integer
Dim ende As Integer
For u = 0 To seitenquelltext.Length - 11
If seitenquelltext.Substring(u, 9) = "<img src=" Then
start = u + 9
For o = start To start + 65
If seitenquelltext.Substring(o, 6) = "class=" Then
ende = o
Exit For
End If
Next
Try
Dim zeilen_arr As String() = seitenquelltext.Substring(start, ende).Split("class=")
Dim zu_adden As String = zeilen_arr(0).ToString + "c" + zeilen_arr(1).ToString
If zu_adden <> "" Then
links.Add(zu_adden.Substring(1, zu_adden.Length - 3))
'ListView1.Items.Add(New ListViewItem(New String() {zu_adden.Substring(1, zu_adden.Length - 3), "2Spalte", "3Spalte", "4Spalte"}))
End If
Catch ex As Exception
End Try
End If
Next
End Sub

HTML zerlegen

HTML zerlegen

faxe1008 schrieb:

VB.NET-Quellcode

VB.NET-Quellcode

Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

Tags

Ähnliche Themen

4 Benutzer haben hier geschrieben