Problem mit Net.Webclient

Asana · 20. April 2016, 09:16

Huhu, bin hier gerade ein wenig am Verzweifeln.
Und zwar möchte ich den Sourcecode einer Seite verwerten, die ich per Webclient als String herunterlade.
Im Prinzip funktioniert das ganze auch, jedoch werden glaube ich dadurch nicht alle Scripts oder Plugins auf der entsprechenden Seite ausgeführt und erscheinen deshalb auch nicht im heruntergeladenen Quellcode, wenn ich die Webseite im Browser aufrufe und mir den Quellcode anzeigen lasse, sind die entsprechenden Codezeilen vorhanden.
Den heruntergeladenen String lass ich mir erstmal in die TextBox ausgeben, das sollte auch nicht weiter das Problem sein.

Im Prinzip läuft das ganze so:

VB.NET-Quellcode

Dim wc As New Net.WebClient
Dim WebAddress as String = "https://www.tradeskillmaster.com/black-market?realm=EU-"
Dim Servername as String = "Aegwynn"
TextBox1.Text = (wc.DownloadString(WebAddress & Servername))

Angezeigt wird mir dann:

Spoiler anzeigen

Jedoch, im Browser bekomme ich folgenden Quellcode:

Spoiler anzeigen

HTML-Quellcode

<div class="col-md-7">
<form class="navbar-form" action="user/realm-select">
<div class="form-group">
<div class="kv-plugin-loading loading-realmSelect"> </div><div class="kv-hide group-realmSelect input-group input-group-md select2-bootstrap-prepend"><span class="input-group-addon">Realm</span><select id="realmSelect" class="form-control kv-hide " name="globalRealmSelect" style="width: 300px;" data-krajee-select2="select2_81a1c529">
<option value="">-- Select a Realm --</option>
<option value="247">Aegwynn (EU)</option>
<option value="248">Aerie Peak (EU)</option>
<option value="250">Agamaggan (EU)</option>
<option value="256">Aggra (Português) (EU)</option>
<option value="258">Aggramar (EU)</option>
<option value="260">Ahn'Qiraj (EU)</option>
<option value="270">Al'Akir (EU)</option>
<option value="273">Alexstrasza (EU)</option>
<option value="275">Alleria (EU)</option>
<option value="277">Alonsus (EU)</option>
<option value="280">Aman'Thul (EU)</option>
<option value="281">Ambossar (EU)</option>
<option value="279">Anachronos (EU)</option>
<option value="283">Anetheron (EU)</option>
</select></div> <span style="font-size:10px; padding-left:5px;">Last Updated 6 minutes ago</span> </div>
</form>
</div>
</html>

Hierbei wird schonmal deutlich, dass die Server nicht stimmen, da ich gerne EU-Server möchte und nicht die US-Server, welches aber eher nebensächlich für mich ist.

Wichtig ist das

HTML-Quellcode

<span style="font-size:10px; padding-left:5px;">Last Updated 6 minutes ago</span>

an welches ich gerne rankommen würde.

Ih hoffe ihr habt ne Lösung oder Idee für mich parat

Mono · 20. April 2016, 09:41

Mit welchem Browser hast du es getestet?

//Edit

Nvm. Habe mir die Seite mal angeschaut. Es scheint als würde die Server und Region Auswahl nicht über GET Parameter geregelt werden.
Also wird es wohl ein POST sein. Dann erhältst du vermutlich Cookies und die musst du mitsenden mitm GET.
Also zB:

POST tradeskillmaster.com/user/realm-select
Als repsone erhältst ein realm cookie und das musst du bei GET tradeskillmaster.com/black-market mitsenden

Am besten mal mit nem HTTP Viewer genau anschauen wie das abläuft.

LG

Asana · 20. April 2016, 09:48

Dürfte keine Rolle spielen, Internet Explorer sowie Google Chrome.
Wichtig ist, dass das "Last Updated x ago" erst erscheint, wenn man oben die Server per Hand auswählt, folgt man nur den Link wird das nicht angezeigt, ich glaube das ist der Knackpunkt.

RodFromGermany · 20. April 2016, 09:58

Asana schrieb:

VB.NET-Quellcode

WebAddress & Servername

Wieso setzt Du diesen String zusammen?
Arbeite mal mit genau einem String, den Du per C&P sowohl im Browser als auch in Deinem Programm verwendest.
Bedenke, dass im Browser der Befehl .Navigate() ausgeführt wird, bei .DownloadString() ggf. nicht.

Asana · 20. April 2016, 10:14

Eigentlich wähle ich vorher in einer Combobox den Servernamen aus, deswegen setzte ich den String zusammen.
Öffne ich in bspw. Chrome die Seite inkl. Link zum Server, ist oben die Toolbar nicht ausgefüllt, obwohl eigentlich EU, Aegwynn stehen müsste. Wähle ich das per Hand aus aktualisiert kurz die Seite und zeigt mir "Last Updated" an. Wenn ich jetzt im selben Fenster einen Link zum anderen Server eingebe, pflegt er sowohl die Toolbar oben mit und zeigt mir auch "Last Updated" an, aber erst nachdem ich in der aktuellen Sitzung einmal die Toolbar per Hand gefüllt habe.

Mono · 20. April 2016, 11:08

Ich habe im Post drüber einen Edit eingefügt der die grundlegende Erklärung und Heransgehensweise beinhaltet. Wenn du dabei Probleme hast dann stell einfach weitere Fragen.

LG

Asana · 20. April 2016, 11:28

Mono schrieb:

Ich habe im Post drüber einen Edit eingefügt der die grundlegende Erklärung und Heransgehensweise beinhaltet. Wenn du dabei Probleme hast dann stell einfach weitere Fragen.

LG

Erstmal eine großes Dankeschön an dich!
Leider kann ich mit deiner erläuterten Herangehensweise nicht viel anfangen, da ich mich in diesem Kontext überhaupt nicht auskenne.
Ich denke ich werde mir das Cookie in ein Cookiecontainer speichern müssen und das Cookie bei jeder Anfrage mitsenden, oder?

Ich wäre sehr verbunden wenn du mir hierbei noch auf die Sprünge helfen könntest.

Danke und Liebe Grüße!

Mono · 20. April 2016, 14:46

Also ich habe leider nicht so viel Zeit mir dein Problem ganz genau anzuschauen.

Grundsätzlich würde ich wie folgt vorgehen:

- Schau dir die Seite an mit einem Programm oder Browser Addon ala HTTP Watch. Sie dir alle Requests an (welche Posts mit welchen Daten. Auf welche Seite, welche Cookies usw.)
- Bau das Ganze mit dem WebClient nach (die POST und GET Requests)
- Schau dir den Cookiecontainer an mit Hilfe von Goolge und Stackoverflow -> stackoverflow.com/questions/17…iner-with-webclient-class
- Bau die Cookies korrekt in die Requests ein und dann erhältst auch das korrekte Ergebnis.

LG

Asana · 20. April 2016, 16:13

Hm, ist das hier der richtige Ansatz? Bekomme immer Fehlermeldung 400 "Ungültige Anforderung"

VB.NET-Quellcode

Dim Request As Net.HttpWebRequest =
DirectCast(
Net.HttpWebRequest.Create("https://www.tradeskillmaster.com/user/realm-select"),
Net.HttpWebRequest
)
Dim Cookies As New Net.CookieContainer()
With Request
.CookieContainer = Cookies
.Method = "POST"
.ContentType = "application/x-www-form-urlencoded"
End With
Dim Writer As New IO.StreamWriter(Request.GetRequestStream())
Writer.Write("regionID=<1de8a1f36d12d6d93b180176e811127d35fb174f75e311c5025f1fb101c6194aa%3A2%3A%7Bi%3A0%3Bs%3A8%3A%22regionId%22%3Bi%3A1%3Bs%3A2%3A%22EU%22%3B%7D>")
Writer.Close()
Request.GetResponse().Close()
Writer.Write("realmID=<cd03175de6d9f8d0f022e2468b46bd3fc9ce8b0527f4c7c9f576b3e25c707fc0a%3A2%3A%7Bi%3A0%3Bs%3A7%3A%22realmId%22%3Bi%3A1%3Bi%3A247%3B%7D")
Writer.Close()
Request.GetResponse().Close()
Request =
DirectCast(
Net.WebRequest.Create("https://www.tradeskillmaster.com/black-market"),
Net.HttpWebRequest
)
Request.CookieContainer = Cookies
Dim Reader As New IO.StreamReader(Request.GetResponse().GetResponseStream())
MsgBox(Reader.ReadToEnd())
Reader.Close()

Asana · 27. April 2016, 09:13

Hm, stehen immer noch vor dem selben Problem.
Hat jemand Tipps, Ratschläge oder ähnliches für mich parat?

Mono · 27. April 2016, 12:43

Also ich habe es mir heute mal angeschaut.
Es ist wirklich etwas komplizierter, aber ich habe es hinbekommen.
Allerdings bin ich kein Fan davon, dir hier ein komplett fertiges Codebeispiel zu posten. Darum gebe ich dir die Basis. Die letzliche exakte Implementierung überlasse ich dir (betrifft vor allem das parsen der Responses)

Ich erläutere auch kurz die Herangehensweise die ich dir eh schon beschrieben habe.

Webseite mit Google Chrome öffnen und Str+Shift+I drücken. Dort auf Network gehen. Alle Cookies im Browser löschen und die Seite laden. Hier sieht man einen GET Request und das man 2 cookies benötigt. Dann den Realm ändern. Da sieht man im Network kurz einen POST auf tradeskillmaster.com/user/realm-select. Schnell stop drücken und den post anschauen (oder preserve log aktivieren ;))
Dort drauf klicken und man sieht:
X-CSRF-Token:Ll9sZ0g2X1B5NAIJEHIqBUEIOB5xQGYmYjkCIC1GMD1iBxoJLHMGMw==
im Request header.
Außerdem gibt es Formdata:
realmId=1

Im Responseheader sieht man ein neuen Cookie namens realmId= und ieien lange GUID. Ok. Danach folgt ein erneuter GET Request auf die erste Seite tradeskillmaster.com/black-market mit dem Cookie realmId.

Das ist der Ablauf. Diesen muss man nun nachbauen.

Cookies (PHPSessionID und _csrf) erhalten. Ohne die geht gar nichts.
Ich verwende gleich HTTPRequest und nicht den HTTPClient oder WebClient
Der HTTPClient ist ab 4.5 mit Asynchronen Methode eigentlich das Mittel der Wahl. Habe hier aber nur 4.0.

VB.NET-Quellcode

Private cc As CookieContainer
Private baseUrl As New Uri("https://www.tradeskillmaster.com/black-market")
Private realmUrl As New Uri("https://www.tradeskillmaster.com/user/realm-select")
Private Sub button1_Click(sender As Object, e As EventArgs)
Dim request As HttpWebRequest = DirectCast(WebRequest.Create(baseUrl), HttpWebRequest) 'webrequest mit get auf https://www.tradeskillmaster.com/black-marke
cc = New CookieContainer() 'neuer cookiecontainer mit anhängen
request.CookieContainer = cc 'enthalt nach dem request die cookies
Dim res As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse)
Dim streamResponse As Stream = res.GetResponseStream()
Using sr As New StreamReader(streamResponse)
richTextBox1.Text = sr.ReadToEnd() 'zur ausgabe der seite und weiter verarbeiten, das ist eine provisorische lösung. Du solltest das dann natürlich nicht mehr so machen
End Using
End Sub

So bleiben die Fragen nach den Daten die wir brauchen.
X-CSRF-Token
realmId=

Das X-CSRF-Token scheint ein Schutzmechanismus gege CSRF zu sein, in jedem Fall erhält man bei jedem Request im Meta Header der HTML Seite ein neuen Token. Diesen muss man im Post auf die Realm-Select mitsenden, sonst kommt keine Antwort. Das Token habe ich aktuell einfach händisch kopiert. Es befindet sich in der Richtextbox:

HTML-Quellcode

<!DOCTYPE html>
<html lang="en-US">
<head>
<meta charset="UTF-8"/>
<meta name="viewport" content="width=1120" />
<meta name="csrf-param" content="_csrf">
<meta name="csrf-token" content="bXhXUVJLNGxUGxQUFjhdXik7NQkoJGQhMhpifBYecUE/DiEOFw9.IQ==">

Und ist wie gesagt immer anders.
Ich habe mir eine Textbox hinzugefügt in die ich das händisch reinkopiere, da ich keine Lust hatte es zu parsen. Das ist dann deine Aufgabe

(Achtung, die 2 == gehören auch dazu).
So un dann fehlt noch die ID. In deiner HTML Ansicht sieht man ja auch die Options:

HTML-Quellcode

<option value="">-- Select a Realm --</option>
<option value="1" selected>Aegwynn (US)</option>
<option value="6">Aerie Peak (US)</option>
<option value="7">Agamaggan (US)</option>
<option value="12">Aggramar (US)</option>
<option value="14">Akama (US)</option>

Auch die parse ich nicht sondern trage sie in eine 2. Textbox rein(für Aegwynn also 1). Danach klicke ich den 2. Button für den Post und den finalen GET:

VB.NET-Quellcode

Private Sub button2_Click(sender As Object, e As EventArgs)
Dim request As HttpWebRequest = DirectCast(WebRequest.Create(realmUrl), HttpWebRequest) 'Request auf die REALMURL!!!
request.Method = "POST" 'Diesmal kein GET sondern POST (GET ist default)
request.Accept = "*/*" 'alle Header einfach aus chrome übernommen, vermutlich sind nicht alle erforderlich
request.ContentType = "application/x-www-form-urlencoded; charset=UTF-8"
request.CookieContainer = cc 'Cookiecontainer mit PHPSessionID und dem anderen Cookie mitgeben und dort befindet sich danach das realmid cookie
request.Headers.Add("X-CSRF-Token: " + textBox1.Text) 'zwingend erforderlich, das kopierte Token aus dem ursprünglichen Request
request.Headers.Add("X-Requested-With: XMLHttpRequest") ' steht auch mit im request header. kenn den nicht wirklich, vermutlich auch unnötig. kannst ja ein bissl experimentieren welche header wirklich erforderlich sind
Dim postData As [String] = "realmId=" + textBox2.Text 'postdata für den Postrequest, damit der Webserver weiss, welche Realm-id benötigt wird.
Dim data As [Byte]() = Encoding.ASCII.GetBytes(postData) 'als byte array
request.ContentLength = data.Length 'mit seiner länge
Using s As Stream = request.GetRequestStream() 'in den requeststream
s.Write(data, 0, data.Length) 'reinschreiben
End Using
richTextBox1.Text = ""
Dim res As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse) 'request senden und response holen
request = DirectCast(WebRequest.Create(baseUrl), HttpWebRequest) 'jetzt haben wir alles für den finalen request
request.CookieContainer = cc 'cookie container enthält nun alle 3 cookies
res = DirectCast(request.GetResponse(), HttpWebResponse)
Dim streamResponse As Stream = res.GetResponseStream()
Using sr As New StreamReader(streamResponse)
richTextBox1.Text = sr.ReadToEnd() 'response in rtb ausgeben. Dort findest du dann auch
End Using
End Sub

HTML-Quellcode

</select></div> <span style="font-size:10px; padding-left:5px;">Last Updated 2 hours ago</span> </div>

Ich hoffe es ist nachvollziehbar. Es ist keine Anfängeraufgabe. Aber ich denke, mit den Informationen solltest du es allein schaffen. Bin auch kein regex experte für das X-CSRF-Token. Aber das schaffst du schon.
Btw ist das mit der Region genau das Gleiche, nur ein etwas anderer POST (das solltest du mit den mitteln nun auch schaffen)
LG

Asana · 27. April 2016, 15:16

Erstmal ein ganz ganz großes Dankschön an dich Mono!
Genau sowas wollte ich und den Rest bekomme ich selber auch noch hin, vielen Dank!
Leider dauert die letzte Abfrage ca. eine Minute, was bei 267~ Servern dann leider den Zweck verfehlt oder dauert das nur bei mir so lange?

VB.NET-Quellcode

res = DirectCast(request.GetResponse(), HttpWebResponse)
Dim streamResponse As Stream = res.GetResponseStream()
Using sr As New StreamReader(streamResponse)
RichTextBox1.Text = sr.ReadToEnd()
End Using

Lässt sich das noch irgendwie beschleunigen?
Das mit dem Parsen sollte kein Problem darstellen.

Liebe Grüße

Mono · 27. April 2016, 15:19

Bei mir dauert es vll eine Sekunde oder zwei.

LG

Asana · 27. April 2016, 15:21

Okay, ich werde das Zuhause mal genauer testen und kümmer mich jetzt erst mal um den Rest.
Vielen Dank

markus.obi · 27. April 2016, 16:04

Asana schrieb:

Lässt sich das noch irgendwie beschleunigen?

Mit

VB.NET-Quellcode

webclient.Proxy = Nothing

sollte es schneller gehen.

Mono · 27. April 2016, 16:12

markus.obi schrieb:

Asana schrieb:

Lässt sich das noch irgendwie beschleunigen?

Mit

VB.NET-Quellcode

webclient.Proxy = Nothing

sollte es schneller gehen.

Es wird kein Webclient verwendet...

markus.obi · 28. April 2016, 19:56

Mono schrieb:

Es wird kein Webclient verwendet...

Dann eben den Proxy des Requests. Das hilft garantiert.

Asana · 29. April 2016, 12:25

Bei mir Zuhause ging es dann auch deutlich schneller.
Das Parsen funktioniert ohne Probleme, per ComboBox kann ich mir die verschiedenen Server auswählen, klappt alles.
Soweit so gut, nun möchte ich zwischen EU und US wählen und habe den POST für den Realm ein wenig frisiert.
Den Anfang habe ich um die regionUrl und um einen String fürs Token erweitert.

VB.NET-Quellcode

Public Class Form1
Private cc As CookieContainer
Private baseUrl As New Uri("https://www.tradeskillmaster.com/black-market")
Private regionUrl As New Uri("https://www.tradeskillmaster.com/user/region-select") 'Das müsste die Url für die Regionsauswahl sein
Private realmUrl As New Uri("https://www.tradeskillmaster.com/user/realm-select")
Private TokenStr As String 'Das ist das X-CSRF-Token

Die RegionsUrl habe ich mir aus dem POST Header nach Auswahl der Region auf EU geholt.

Quellcode

POST /user/region-select HTTP/1.1
Host: www.tradeskillmaster.com:443
Accept: */*
Accept-Encoding: gzip, deflate
Accept-Language: de-DE,de;q=0.8,en-US;q=0.6,en;q=0.4
Content-Type: application/x-www-form-urlencoded; charset=UTF-8

Nun alles wie gewohnt, bloß das hier das Token Parse und mir in der Textbox wiedergebe.

VB.NET-Quellcode

Private Sub GetToken()
Dim request As HttpWebRequest = DirectCast(WebRequest.Create(baseUrl), HttpWebRequest)
cc = New CookieContainer()
request.CookieContainer = cc
Dim res As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse)
Dim streamResponse As Stream = res.GetResponseStream()
Using sr As New StreamReader(streamResponse)
TokenStr = ParseToken(sr.ReadToEnd())
TextBox1.Text = TokenStr
End Using
End Sub

Anschließend versuche ich den Request zu starten.

VB.NET-Quellcode

Private Sub GetCode()
Dim request As HttpWebRequest = DirectCast(WebRequest.Create(regionUrl), HttpWebRequest) 'Hier der Request auf die REGION url
request.Method = "POST"
request.Accept = "*/*"
request.ContentType = "application/x-www-form-urlencoded; charset=UTF-8"
request.CookieContainer = cc
request.Headers.Add("X-CSRF-Token: " + TokenStr)
request.Headers.Add("X-Requested-With: XMLHttpRequest")
Dim postData As [String] = "region_select=EU" 'Hier auf die region_select anstatt realmid
Dim data As [Byte]() = Encoding.ASCII.GetBytes(postData)
request.ContentLength = data.Length
Using s As Stream = request.GetRequestStream()
s.Write(data, 0, data.Length)
End Using
Dim res As HttpWebResponse = DirectCast(request.GetResponse(), HttpWebResponse)
request = DirectCast(WebRequest.Create(baseUrl), HttpWebRequest)
request.CookieContainer = cc
res = DirectCast(request.GetResponse(), HttpWebResponse)
Dim streamResponse As Stream = res.GetResponseStream()
Using sr As New StreamReader(streamResponse)
TextBox3.Text = sr.ReadToEnd()
End Using
End Sub

Der Request an sich ist erfolgreich, jedoch steht letzenendes Folgendes im Quelltext:

Quellcode

<select name="region" id="region_select" class="form-control">
<option value="US" selected>US</option>
<option value="EU">EU</option>

Und mir werden weiterhin die US Server angezeigt.
Wo liegt mein Fehler? Den POST hab ich ja dementsprechend angepasst, trotzdem ändert er die Region nicht.

Mono · 29. April 2016, 12:38

VB.NET-Quellcode

Dim postData As [String] = "region_select=EU" 'Hier auf die region_select anstatt realmid

Der PostString ist falsch. Hast du dir die Formdaten angeschaut ? Es ist regionID

Asana · 29. April 2016, 12:51

Hab natürlich nur im Quelltext nachgeguckt :thumbdown:

Hab mir den POST nach deiner Antwort nochmal angeguckt und dann direkt das Cookie "RegionId" gesehen, da hätte ich auch selber drauf kommen können^^

Danke nochmal Mono, du hast mir sehr weiter geholfen!

So klappt es:

VB.NET-Quellcode

Dim postData As [String] = "RegionId=1"

Problem mit Net.Webclient

Problem mit Net.Webclient

VB.NET-Quellcode

HTML-Quellcode

HTML-Quellcode

HTML-Quellcode

Asana schrieb:

VB.NET-Quellcode

Mono schrieb:

VB.NET-Quellcode

VB.NET-Quellcode

HTML-Quellcode

HTML-Quellcode

VB.NET-Quellcode

HTML-Quellcode

VB.NET-Quellcode

Asana schrieb:

VB.NET-Quellcode

markus.obi schrieb:

Asana schrieb:

VB.NET-Quellcode

Mono schrieb:

VB.NET-Quellcode

Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

Ähnliche Themen

4 Benutzer haben hier geschrieben