Links auslesen Regex..

Load-soft.ch.vu · 1. Februar 2010, 14:46

Hey Leute,
Ich habe eine Funktion im Internet gefunden um links aus HTML Seiten auzulesen, das ist diese:

VB.NET-Quellcode

Public Function FindHrefs(ByVal inputString As String) As List(Of String)
Dim r As Regex
Dim m As Match
Dim regString As String = _
"href\s*=\s*(?:""(?<1>[^""]*)""|(?<1>\S+))"
r = New Regex(regString, _
RegexOptions.IgnoreCase Or RegexOptions.Compiled)
m = r.Match(inputString)
Dim bla As New List(Of String)
While m.Success
If m.Groups(1).Value.StartsWith("http") Or m.Groups(1).Value.StartsWith("www.") Then
bla.Add(m.Groups(1).Value)
End If
m = m.NextMatch()
End While
Return bla
End Function

Sollte auch alles gut funktionieren, aber wenn ich z.b The Coderz nehme Zeigt er mir nur Folgende Links an:

VB.NET-Quellcode

http://the-coderz.de
http://the-coderz.de/Board
http://the-coderz.de/Board/?coderzStyleType=2
http://the-coderz.de/Board/userlogin.html
http://the-coderz.de/Board/index.php?page=Register
http://the-coderz.de/Board/index.php?form=Search&action=unread
http://the-coderz.de/Board/index.php?form=Search&action=unreplied
http://the-coderz.de/Board/index.php?form=Search&action=24h
http://the-coderz.de/Board/index.php?form=Search
http://the-coderz.de/Board/index.php?form=Search
http://the-coderz.de/Board/index.php?page=Index

So hab ich die Funktion verwendet:

VB.NET-Quellcode

For Each bla In FindHrefs(qlltxt)
If bla.EndsWith(".css") Or bla.EndsWith(".ico") Or bla.EndsWith(".jpg") Or bla.EndsWith(".png") Or bla.EndsWith(".gif") Or bla.EndsWith(".exe") Then
GoTo 10
End If
' Anfang IF
If bla.EndsWith("/") Then
bla = bla.Remove(bla.Length - 1, 1)
End If
' Ende if
' Anfang if
If bla.Contains("www.") Or bla.Contains("http://") Then
bla = bla.Replace("www.", Nothing)
If Not bla.Contains("http://") Then
bla = "http://" & bla
End If
Else
GoTo 10
End If
' Ende if
' Anfang schleife
For Each blu In File.ReadAllText(sburls).Split(vbCrLf)
If blu = bla Then
vorhanden = True
End If
Next
' Ende schleife
' anfang if
If vorhanden = False Then
' Hier füge ich die URLS Hinzu
End If
' ende if
10:
Next

Jetzt wollte ich wissen wo der Fehler liegt bzw. ob jemand eine bessere Methode kennt (besser Funktion) um Links auszulesen. (Kein Webbrowser).
Freue mich über Antworten
Mfg
Confix

metakilla · 1. Februar 2010, 14:50

Was verstehst du unter Links auslesen? Willst du nur die tatsächlichen Links auslesen oder auch die Pfade zu den Mediadateien?

Load-soft.ch.vu · 1. Februar 2010, 14:53

Nein ich will nur die html dateien php dateien etc., also nur die dateien wo dann auch mehr Links sind^^.
Die kann ich ja auch alle rausfiltern also css ico und png

nikeee13 · 1. Februar 2010, 14:58

Das ist für deinen Super-Webbot, oder?

Wenn die eine Funktion schon funktioniert, was macht dann die andere?
Mehr Infos bitte.

'edit:
Ok, die scheint wohl zum sortieren da zu sein.
Ich würde die etwas abändern (und sauberer machen)

Wie wärs damit:

VB.NET-Quellcode

Sub Main()
Dim qlltxt As String = New Net.WebClient().DownloadString("http://www.youtube.com/")
Dim sburls As String = "C:\urls.txt"
Dim endungen As String() = {".css", ".ico", ".jpg", ".png", ".gif", ".exe"}
For Each currenturl In FindHrefs(qlltxt)
Dim vorhanden As Boolean = False
Dim jumpover As Boolean = False
For Each endung As String In endungen
If currenturl.EndsWith(endung) Then
jumpover = True
Exit For
End If
Next
If jumpover = True Then
Continue For
End If
If currenturl.EndsWith("/") Then
currenturl = currenturl.Remove(currenturl.Length - 1, 1)
End If
If currenturl.Contains("www.") Or currenturl.Contains("http://") Then
currenturl = currenturl.Replace("www.", String.Empty)
If currenturl.StartsWith("http://") = False Then
currenturl = "http://" & currenturl
End If
Else
Continue For
End If
Dim strreader As New IO.StreamReader(sburls)
Dim txtcontent() As String = strreader.ReadToEnd.Split(vbCrLf)
strreader.Dispose()
strreader.Close()
For Each dateilinie In txtcontent
If dateilinie = currenturl Then
vorhanden = True
Exit For
End If
Next
If vorhanden = False Then
Console.WriteLine(currenturl)
Dim str As New IO.StreamWriter(sburls)
str.WriteLine(currenturl)
Else
Continue For
End If
Next
Console.ReadLine()
End Sub
Public Function FindHrefs(ByVal inputString As String) As List(Of String)
Dim r As Regex
Dim m As Match
Dim regString As String = _
"href\s*=\s*(?:""(?<1>[^""]*)""|(?<1>\S+))"
r = New Regex(regString, _
RegexOptions.IgnoreCase Or RegexOptions.Compiled)
m = r.Match(inputString)
Dim bla As New List(Of String)
While m.Success
If m.Groups(1).Value.StartsWith("http") Or m.Groups(1).Value.StartsWith("www.") Then
bla.Add(m.Groups(1).Value)
End If
m = m.NextMatch()
End While
Return bla
End Function

[nicht getestet]
Was habe ich gemacht?
Den Code sauberer gemacht (Labels und Gotos ausgetauscht)

lass mich doch mal editieren. Da haste deinen Webbot. Ist aber noch nicht fertig. Wenn du willst kann ich dir ja mal die Source zu meinem geben, den ich auch nie fertig gemacht habe. xD

'edit2:

VB.NET-Quellcode

Ich weiß nicht genau welche von den beiden funktionen die Fehler machen.

Was für ein Fehler denn?

Load-soft.ch.vu · 1. Februar 2010, 15:12

Ich frag mich echt langsam ob du eigentlich lesen kannst, habe ich geschrieben dass das Programm fertig ist oder ich noch dran arbeite? Außerdem ist dass Offtopic was du da redest.
Ich weiß nicht genau welche von den beiden funktionen die Fehler machen.

Edit:
Kein Fehler, er zeigt nur alle urls nicht an.

Habs jetzt so geändert dass er alle anzeigt siehe hier:

VB.NET-Quellcode

Public Function FindHrefs(ByVal inputString As String) As List(Of String)
Dim r As Regex
Dim m As Match
Dim regString As String = _
"href\s*=\s*(?:""(?<1>[^""]*)""|(?<1>\S+))"
r = New Regex(regString, _
RegexOptions.IgnoreCase Or RegexOptions.Compiled)
m = r.Match(inputString)
Dim bla As New List(Of String)
While m.Success
If Not m.Groups(1).Value.EndsWith(".css") And Not m.Groups(1).Value.EndsWith(".ico") And Not m.Groups(1).Value.EndsWith(".jpg") And Not m.Groups(1).Value.EndsWith(".png") And Not m.Groups(1).Value.EndsWith(".exe") And m.Groups(1).Value.StartsWith("http") Or m.Groups(1).Value.StartsWith("www.") Then
For Each bläx In allurls
If bläx = m.Groups(1).Value Then
vorhanden = True
End If
Next
If vorhanden = False Then
bla.Add(m.Groups(1).Value)
Else
vorhanden = False
End If
End If
m = m.NextMatch()
End While
Return bla
End Function

Ich hab allurls (list of string) hinzugefügt wo alle urls drin stehen die durchgegangen sind.
Jetzt sollte er das Prüfen (macht er nicht) wieso, gute frage^^
Und Aufruf:

VB.NET-Quellcode

' Anfang IF
If bla.EndsWith("/") Then
bla = bla.Remove(bla.Length - 1, 1)
End If
bla = bla.Replace("www.", Nothing)
If Not bla.Contains("http://") Then
bla = "http://" & bla
End If
' Ende if
' Anfang schleife
For Each blu In allurls
If blu = bla Then
vorhanden = True
End If
Next
' Ende schleife
' anfang if
If vorhanden = False Then
allurls.add(bla)
SubURLS.Add(bla)
ListBox1.Items.Add(bla)
File.AppendAllText(sburls, vbNewLine & bla)
subitem = vbNewLine & bla & " wurde gerade hinzugefügt!"
Label2.Text = "Liest gerade " & addressen & " aus!" & vbNewLine & subitem
durchsucht += 1
Label1.Text = durchsucht
End If
' ende if
10:
vorhanden = False

Was ich vergessen war natürlich mal wieder schlau von mir -.- vorhanden = false am ende vergessen (sonst ist es ja immer vorhanden d.h keine neuen Kommen dazu).
Aber jetzt sind auch doppelte Vorhanden.

@nikeee13
joa ich werde mal schauen wie ich die beiden Codes jetzt zusammenbekomme.

nikeee13 · 1. Februar 2010, 16:17

Ich hab mal schnell nen mimi-bot zusammengebastelt. (ist nur ein Bot mit Einstellbaren maximalen Threads. Nicht zu hoch stellen, sonst entsteht enorm viel Traffic.) Ich habe deine Findhrefs-Funktion einfach reingebastelt.
Der Bot ist nicht wirklich sauber programmiert und weist noch Fehler und Performanceprobleme auf.
Da: ul.to/e6f3vh

Ist nur ein Anfang. Es gibt noch Probleme mit Doppelten Links.

Bitte die Kommentare über den Imports beachten.

Load-soft.ch.vu · 1. Februar 2010, 17:55

Mhh ja deins klappt eigentlich perfekt bis auf dass wenn zwei threads offen sind nicht beide auf die txt zugreifen können aber das lässt sich vlt auch nicht ändern, also ich habe dass ganze ja in einer Endlosschleife (Do Loop Schleife) der zeigt mir aber an:
Die Auflistung wurde geändert. Der Enumerationsvorgang kann möglicherweise nicht ausgeführt werden.
Ich gehe ja mit schleife die List of String durch aber diese wird nur außerhalb der for - next anweisung benutzt.
Wie kann dass sein?
Erwähnen tuhe ich dich trotztdem

Epic · 12. Dezember 2010, 01:06

@nike:
Knntest du den Bot nochmal posten (ich weiss, Thread alt)?

Links auslesen Regex..

Links auslesen Regex..

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

Benutzer online 1

Tags

Ähnliche Themen

2 Benutzer haben hier geschrieben