HttpWebRequest - pro Seite?

Marcello · 3. August 2020, 13:08

Mahlzeit liebes Forum,

als ich das letzte mal was "programmiert" habe ist schon bestimmt 3 Jahre her. Nun brauch ein kleines Programmchen.
Es muss sich auf einer Webseite durch klicken. Das ganze läuft über POST Parameter man muss jede Seite über den Parameter BTN_WEITER=weiter bestätigen. Außerdem muss man als erste auf die Hauptseite um eine SessionID als Cookie bekommt. Sonst hätte ich einfach alle Parameter an die URI gepackt und fertig.
Leider Nein .. -.-"
Jetzt habe ich mal meine alten Funktionen aus früheren Projekten ausgepackt und naja. Bleibe immer auf der ersten Seite hängen, da er die Parameter irgenwie nicht bekommen (POST). Muss ich pro Seite und ausfüllen möchte ( über die Post Parameter ) einen neuen Request machen?

Ich weiß meistens habe ich hier wie Antworten bekommen wie GIDF etc. aber vllt ist ja jemand nettes bei.

Visual Basic-Quellcode

Imports System.IO, System.Net, System.Text
Imports System.Runtime.InteropServices
Public Class Form1
Public Class getKennzeichen
Dim cookieCon As New CookieContainer
Dim cook As Cookie
Dim request As HttpWebRequest
Dim response As HttpWebResponse
Dim url As String = "....Internetgeschaeftsvorfaelle?"
Public Function getContent(ByVal paramter As String) As String
Dim httpRequest As HttpWebRequest = HttpWebRequest.Create(url & paramter)
httpRequest.ContentType = "multipart/form-data; boundary=----WebKitFormBoundaryjBlqbVwvMnTqCYey"
httpRequest.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"
httpRequest.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
httpRequest.CookieContainer = cookieCon
Dim httpResponse As HttpWebResponse = httpRequest.GetResponse()
Dim reader As StreamReader = New StreamReader(httpResponse.GetResponseStream)
Dim httpContent As String = reader.ReadToEnd
Return httpContent
End Function
Public Function inputContent(ByVal post As String) As String
Dim httpRequest As HttpWebRequest = HttpWebRequest.Create(url & post)
httpRequest.Method = "POST"
httpRequest.CookieContainer = cookieCon
httpRequest.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"
httpRequest.ContentType = "multipart/form-data; boundary=----WebKitFormBoundaryjBlqbVwvMnTqCYey"
Dim byteArr() As Byte = Encoding.UTF8.GetBytes(post)
httpRequest.ContentLength = byteArr.Length
Dim dataStream As Stream = httpRequest.GetRequestStream()
dataStream.Write(byteArr, 0, byteArr.Length)
response = CType(httpRequest.GetResponse(), HttpWebResponse)
Return New StreamReader(response.GetResponseStream()).ReadToEnd()
End Function
End Class
Private Sub Button2_Click(sender As Object, e As EventArgs) Handles Button2.Click
' checkInfos()
With New getKennzeichen
Dim k As String = String.Empty
k = .getContent("AUFRUF=IZU&MANDANT=PIPPP")
If k.Contains(" <fieldset id='EINGABE_VORGANGSAUSWAHL'>") Then
TextBox1.Text = "Erste Seite aufgerufen - Check" & vbNewLine
End If
k = String.Empty
k = .getContent("DATENSCHUTZERKLAERUNG=T&FRAGEGRUNDAUSWAHL=WKZ&BTN_WEITER=weiter")
If k.Contains("") Then
TextBox1.Text = "Zweite Seite aufgerufen - Check" & vbNewLine
End If
End With
End Sub

Marcello · 4. August 2020, 09:54

Kann da sein, dass ich mit jedem neuen Post den Cookie Container überschreibe? Aber eig. dürfte das nicht das Problem sein. Mein Post funktioniert einfach nicht -.-"

petaod · 4. August 2020, 10:43

Marcello schrieb:

Mein Post funktioniert einfach nicht

Versuch den Vorgang in einem Browser durchzuführen und zeichne alles auf mit einem HTTP-Analyzer.
Dann vergleiche die POSTs des Browsers mit deinen handgestrickten.
Alles andere ist Spekulation.

Marcello · 4. August 2020, 10:54

Habe ich gemacht. Habe die Parameter dann kopiert und eingefügt. Er bleibt immer auf der ersten Seite.
Mann muss auf der Seite immer das Formular ausfüllen z.B. AUFRUF=IZU&MANDANT=WESEL&DATENSCHUTZERKLAERUNG=T&FRAGEGRUNDAUSWAHL=WKZ&BTN_WEITER=weiter und dann halt immer mit die Eingabe bestätigen um zur nächsten Seite zu kommen.

So ich mache da kein Geheimnis raus. Ich möchte für mich ein Programm machen, dass für mich Prüft ob ein KFZ Kennzeichen frei ist. Für mich ist es der Kreis Wesel.
Habe die Parameter mal raus geschrieben.

Spoiler anzeigen

Im Browser getestet -> Er nimmt Buttons "Weiter" und "suchen" einfach nicht über die URL an. Weiß aber nicht wieso..

Zitat entfernt, Beiträge zusammengefügt. ~Thunderbolt

Mono · 4. August 2020, 11:48

Hi,

der Tip petaod ist eigentlich schon das Wesentliche. Untersuche den Post. Beachte es gibt nicht nur PostParams sondern auch RequestHeader.
Viele Webanwendungen verwenden schon aufgrund der Sicherheit diverse RequestHeader die man immer schicken muss.
Du könntest die Seite auch hier posten damit man sich ein Bild machen kann.
Ich bin mir ziemlich sicher das es an irgendwelchen Headern hängt.

Unabhängig davon das man aus deinem CodeSnippet gar nicht erkennt das du überhaupt einen Post absetzt.. das inputContent mit der post Method wird ja nirgends aufgerufen

LG

//EDIT:

Ok hab mir die Posts angeschaut. Es ist kein normaler Post. Sondern es wird so ein Multipartdata Post verwendet.
Das heißt es gibt ein gewisses Template und nicht einfach nur Key=Value.
Du müsstest dir aus dem:

------WebKitFormBoundaryTBmddsssfGKhIkCH
Content-Disposition: form-data; name="FRAGEGRUNDAUSWAHL"

IFAB
------WebKitFormBoundaryTBmddsssfGKhIkCH
Content-Disposition: form-data; name="DATENSCHUTZERKLAERUNG"

T
------WebKitFormBoundaryTBmddsssfGKhIkCH
Content-Disposition: form-data; name="BTN_WEITER"

weiter
------WebKitFormBoundaryTBmddsssfGKhIkCH
Content-Disposition: form-data; name="ZEITSTEMPEL"

20200804114438
------WebKitFormBoundaryTBmddsssfGKhIkCH--

eine Art Template generieren.
Zum Beispiel

VB.NET-Quellcode

Dim PostDataTemplate as String = "\r\n------WebKitFormBoundaryTBmddsssfGKhIkCH\r\nContent-Disposition: form-data; \"{0}\";\r\n\r\n{1}"
poststring as string = string.Format(PostDataTemplate , key, value);

Das musst du dann für jeden key und value immer aufrufen und das dann als bytearray in den post content schreiben

Marcello · 4. August 2020, 12:51

Wie ich das mit dem Template etc mache muss ich mir dann gleich mal anschauen. Bisher sieht es für mich wie ein Rätzel aus

Hi @Mono,

aber das Template wird wohl so nicht funktionieren, da der Post ein Random Key hat...
Habe die Seit 1 - zwei mal aufrufen und das kam dabei raus..

Spoiler anzeigen

oder bin ich gerade blöd.. -.-"

//Edit

VB.NET-Quellcode

Public Function inputContent(ByVal post As String) As String
Dim httpRequest As HttpWebRequest = HttpWebRequest.Create(url & post)
httpRequest.Method = "POST"
httpRequest.CookieContainer = cookieCon
httpRequest.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"
httpRequest.ContentType = "multipart/form-data; boundary=----WebKitFormBoundary" + DateTime.Now.Ticks.ToString("x")
Dim PostDataTemplate As String = "\r\n------WebKitFormBoundary" & DateTime.Now.Ticks.ToString("x") & "\r\nContent-Disposition: form-data; \" {0} \ ";\r\n\r\n{1}" '<-- hier ist noch ein Fehler
post = String.Format(PostDataTemplate, key, value); ' <-- War das so gemeint von dir?? -> Muss ich wirklich jeden Key + Value übergeben und bearbeiten? Man würde es mit einer schleife mache - aber wie wüsste ich jetzt nicht
Dim byteArr() As Byte = Encoding.UTF8.GetBytes(post)
httpRequest.ContentLength = byteArr.Length
Dim dataStream As Stream = httpRequest.GetRequestStream()
dataStream.Write(byteArr, 0, byteArr.Length)
response = CType(httpRequest.GetResponse(), HttpWebResponse)
Return New StreamReader(response.GetResponseStream()).ReadToEnd()
End Function

Zitat entfernt, Beiträge zusammengefügt. ~Thunderbolt

Mono · 5. August 2020, 09:07

Ja das müsstest du für jeden key machen.
Zum Beispiel

VB.NET-Quellcode

Dim PostDataTemplate As String = "\r\n------WebKitFormBoundary" & DateTime.Now.Ticks.ToString("x") & "\r\nContent-Disposition: form-data; \" {0} \ ";\r\n\r\n{1}" '<-- hier ist noch ein Fehler
post = String.Format(PostDataTemplate, "ZEITSTEMPEL", Now.ToString());
post &= String.Format(PostDataTemplate, "BTN_WEITER", "weiter")
etc

Hab kein VB.NET zur Verfügung und hab es nur aus dem Kopf geschrieben. Aber also Hilfe reichts ja hoffentlich.

LG

Marcello · 5. August 2020, 16:21

Moin Moin,

habe es mal versucht. Leider ohne Erfolg.
Ausgabe der Webseite

Spoiler anzeigen

meine Klasse

Spoiler anzeigen

VB.NET-Quellcode

Imports System.Net
Imports System.IO
Imports System.Text
Public Class Kennzeichen
#Region "Definiton"
Dim cookieCon As New CookieContainer
Dim cook As Cookie
Dim request As HttpWebRequest
Dim response As HttpWebResponse
Dim keySideOne As New Dictionary(Of String, String)
Dim keySidetwo As New Dictionary(Of String, String)
Dim keySidethree As New Dictionary(Of String, String)
Dim reader As StreamReader
Dim httpCache As String
Dim url As Uri = New Uri("/servlet/Internetgeschaeftsvorfaelle?AUFRUF=IZU&MANDANT=WESEL")
#End Region
Public Function getRequest() As String
request = HttpWebRequest.Create(url)
request.Method = "GET"
request.ContentType = "multipart/form-data; boundary=----WebKitFormBoundary" + DateTime.Now.Ticks.ToString("x")
request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"
request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
request.CookieContainer = cookieCon
response = request.GetResponse()
reader = New StreamReader(response.GetResponseStream)
httpCache = reader.ReadToEnd
Return httpCache
End Function
Public Function postRequest(ByVal PostParamter As String) As String
#Region "POST Parameter"
keySideOne.Add("FRAGEGRUNDAUSWAHL", "WKZ")
keySideOne.Add("DATENSCHUTZERKLAERUNG", "T")
keySideOne.Add("BTN_WEITER", "weiter")
keySidetwo.Add("ANREDE", "0")
keySidetwo.Add("NAME", "XYZ GmbH")
keySidetwo.Add("ORT", "PPPP")
keySidetwo.Add("STRASSE", "PPPP")
keySidetwo.Add("BTN_WEITER", "weiter")
keySidethree.Add("WKZ_UNTERSCH_Z", "M")
keySidethree.Add("WKZ_ERKENN_Z", "P")
keySidethree.Add("WKZ_ZIFFERN", "??")
keySidethree.Add("WKZ_SUCHMERKMAL", "NULL")
keySidethree.Add("BTN_WKZSUCHE", "suchen")
#End Region
'------WebKitFormBoundaryBMNZzZOU0VAgAggF
'Content-Disposition: Form-Data; name="FRAGEGRUNDAUSWAHL"
'WKZ
Dim PostDataTemplate As String = "------WebKitFormBoundary" & DateTime.Now.Ticks.ToString("x") & vbNewLine & "Content-Disposition: Form-Data; name={0}" & vbNewLine & "{1}" & vbNewLine
If httpCache.Contains("<fieldset id='EINGABE_VORGANGSAUSWAHL'>") Then
For Each key As KeyValuePair(Of String, String) In keySideOne
PostParamter &= String.Format(PostDataTemplate, key.Key, key.Value)
request = HttpWebRequest.Create(url.ToString & PostParamter)
Next
ElseIf httpCache.Contains("<h2>Weitere Informationen</h2>") Then
For Each key As KeyValuePair(Of String, String) In keySidetwo
PostParamter &= String.Format(PostDataTemplate, key.Key, key.Value)
request = HttpWebRequest.Create(url.ToString & PostParamter)
Next
ElseIf httpCache.Contains("<h2>Auswahl eines Kennzeichens</h2>") Then
For Each key As KeyValuePair(Of String, String) In keySidethree
PostParamter &= String.Format(PostDataTemplate, key.Key, key.Value)
request = HttpWebRequest.Create(url.ToString & PostParamter)
Next
End If
request.Method = "POST"
request.ContentType = "multipart/form-data; boundary=----WebKitFormBoundary" + DateTime.Now.Ticks.ToString("x")
request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"
request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
request.CookieContainer = cookieCon
Dim byteArr() As Byte = Encoding.UTF8.GetBytes(PostParamter)
request.ContentLength = byteArr.Length
Dim dataStream As Stream = request.GetRequestStream()
dataStream.Write(byteArr, 0, byteArr.Length)
response = CType(request.GetResponse(), HttpWebResponse)
Return New StreamReader(response.GetResponseStream()).ReadToEnd()
Return New StreamReader(response.GetResponseStream()).ReadToEnd()
End Function
End Class

Ausgabe von dem PostParameter:
------WebKitFormBoundary8d8395b7d46bbb7
Content-Disposition: Form-Data; name=FRAGEGRUNDAUSWAHL
WKZ
------WebKitFormBoundary8d8395b7d46bbb7
Content-Disposition: Form-Data; name=DATENSCHUTZERKLAERUNG
T
------WebKitFormBoundary8d8395b7d46bbb7
Content-Disposition: Form-Data; name=BTN_WEITER
weiter

Mono · 5. August 2020, 19:06

FRAGEUNDAUSWAHL usw müssen in Hochkommas sein.

LG

Marcello · 6. August 2020, 07:41

Leider ohne Erfolg. PostParamter.

Mein Post

Spoiler anzeigen

Orginaler Post ( Kopier aus meinem Browser )

Spoiler anzeigen

HTML OutPut der Seite

Spoiler anzeigen

d.h. Er ist auf der Seite nur hat wohl nicht ausgewählt? Den Zeitstempel findet man wieder.

HTML-Quellcode

<div><input type='hidden' name='ZEITSTEMPEL' value='20200806080351' /></div>

//EDIT
Habe herausgefunden der Request wird über diese URL gemacht Request URL:
verkehr-igv.krzn.de/verkehr-ig…orfaelle;jsessionid=DIEID

Habe jetzt die CookieContainer ausgelesen und die URL angepasst. Funktioniert immer noch nicht. Jetzt kommt dieser HTML Fehler. Glaube es liegt an die action bei der Form, oder?
Ohne die SeesionID ->

HTML-Quellcode

<form id='okWeb' method='post' action='/verkehr-igv/servlet/Internetgeschaeftsvorfaelle' enctype='multipart/form-data' accept-charset='UTF-8'>

Spoiler anzeigen

Mono · 6. August 2020, 10:35

Hi,

es müsste ungefähr so gehen:

Spoiler anzeigen

Deine Klasse:

VB.NET-Quellcode

Imports System.Net
Imports System.IO
Imports System.Text
Public Class Kennzeichen
#Region "Definiton"
ReadOnly _cookieCon As New CookieContainer
Dim _request As HttpWebRequest
Dim _response As HttpWebResponse
Dim ReadOnly _keySideOne As New Dictionary(Of String, String)
Dim ReadOnly _keySidetwo As New Dictionary(Of String, String)
Dim ReadOnly _keySidethree As New Dictionary(Of String, String)
Dim _httpCache As String
Private ReadOnly _boundary As String = Now.Ticks.ToString("x")
Dim ReadOnly _url As Uri = New Uri("https://verkehr-igv.krzn.de/verkehr-igv/servlet/Internetgeschaeftsvorfaelle?AUFRUF=IZU&MANDANT=WESEL")
Dim ReadOnly _postUrl As New Uri("https://verkehr-igv.krzn.de/verkehr-igv/servlet/Internetgeschaeftsvorfaelle")
Public Sub New()
_keySideOne.Add("FRAGEGRUNDAUSWAHL", "WKZ")
_keySideOne.Add("DATENSCHUTZERKLAERUNG", "T")
_keySideOne.Add("BTN_WEITER", "weiter")
_keySidetwo.Add("ANREDE", "0")
_keySidetwo.Add("NAME", "XYZ GmbH")
_keySidetwo.Add("ORT", "PPPP")
_keySidetwo.Add("STRASSE", "PPPP")
_keySidetwo.Add("BTN_WEITER", "weiter")
_keySidethree.Add("WKZ_UNTERSCH_Z", "M")
_keySidethree.Add("WKZ_ERKENN_Z", "P")
_keySidethree.Add("WKZ_ZIFFERN", "??")
_keySidethree.Add("WKZ_SUCHMERKMAL", "NULL")
_keySidethree.Add("BTN_WKZSUCHE", "suchen")
End Sub
#End Region
Public Function GetRequest() As String
_request = HttpWebRequest.Create(_url)
_request.Method = "GET"
_request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"
_request.CookieContainer = _cookieCon
_response = _request.GetResponse()
_httpCache = New StreamReader(_response.GetResponseStream).ReadToEnd
Return _httpCache
End Function
Public Function PostRequest(timestamp As String) As String
Dim postParamter As String = String.Empty
Dim postDataTemplate As String = vbCrLf & "------WebKitFormBoundary" & _boundary & vbCrLf & "Content-Disposition: form-data; name=""{0}""" & vbCrLf & vbCrLf & "{1}"
If _httpCache.Contains("<fieldset id='EINGABE_VORGANGSAUSWAHL'>") Then
For Each key As KeyValuePair(Of String, String) In _keySideOne
postParamter &= String.Format(postDataTemplate, key.Key, key.Value)
Next
ElseIf _httpCache.Contains("<h2>Weitere Informationen</h2>") Then
For Each key As KeyValuePair(Of String, String) In _keySidetwo
postParamter &= String.Format(postDataTemplate, key.Key, key.Value)
Next
ElseIf _httpCache.Contains("<h2>Auswahl eines Kennzeichens</h2>") Then
For Each key As KeyValuePair(Of String, String) In _keySidethree
postParamter &= String.Format(postDataTemplate, key.Key, key.Value)
Next
End If
postParamter &= String.Format(postDataTemplate, "ZEITSTEMPEL", timestamp)
_request = HttpWebRequest.Create(_postUrl.ToString)
_request.Method = "POST"
_request.ContentType = "multipart/form-data; boundary=----WebKitFormBoundary" + _boundary
_request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.105 Safari/537.36"
_request.Accept = "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.9"
_request.CookieContainer = _cookieCon
_request.Referer = "https://verkehr-igv.krzn.de/verkehr-igv/servlet/Internetgeschaeftsvorfaelle?AUFRUF=IZU&MANDANT=WESEL"
Dim byteArr() As Byte = Encoding.UTF8.GetBytes(postParamter)
_request.ContentLength = byteArr.Length
Dim dataStream As Stream = _request.GetRequestStream()
dataStream.Write(byteArr, 0, byteArr.Length)
_response = CType(_request.GetResponse(), HttpWebResponse)
_httpCache = New StreamReader(_response.GetResponseStream()).ReadToEnd()
Return _httpCache
End Function
End Class

Aufruf:

VB.NET-Quellcode

Dim k As New Kennzeichen
Dim s As String = k.GetRequest()
Dim timestamp = New Regex("[0-9]{14}").Match(s).Value
Dim r1 = k.PostRequest(timestamp)
Dim r2 = k.PostRequest(timestamp)
Dim r3 = k.PostRequest(timestamp)

petaod · 6. August 2020, 11:36

Marcello schrieb:

Content-Disposition: Form-Data; name="FRAGEGRUNDAUSWAHL"
WKZ

Zwischen diesen Zeilen muss immer eine Leerzeile sein!

HttpWebRequest - pro Seite?

HttpWebRequest - pro Seite?

Visual Basic-Quellcode

Marcello schrieb:

VB.NET-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

HTML-Quellcode

VB.NET-Quellcode

Quellcode

Quellcode

HTML-Quellcode

HTML-Quellcode

HTML-Quellcode

HTML-Quellcode

VB.NET-Quellcode

VB.NET-Quellcode

Marcello schrieb:

Benutzer online 1

Ähnliche Themen

3 Benutzer haben hier geschrieben