Hallo.
Ich frage mich, welches die beste Lösung für mein Vorhaben ist.
Nebeninfo: Ich nutze eine Windows Forms Anwendung (ja, ich weiß, WPF und so.. bitte erschlagt mich nicht :D)
Was habe ich vor ?
Ich möchte auf einer Website Daten sammeln, ziemlich viele sogar.
Ich spreche von ungefähr 2.000.000 Strings, jeder kann minimal 3
und maximal 15 Zeichen lang sein.
Wie werden die Daten herangezogen?
Per HttpWebRequest. Sowohl GET als auch Antworten von POST Requests.
Pro Request erhalte ich ungefähr 20-25 Ergebnisse.
Gibt es Einschränkungen serverseitig?
Ja. Die Requests dürfen nicht zu schnell nacheinander gemacht werden.
Der Grund warum ich frage ist: Ich denke, dass
ich noch etwas performance rausholen kann. Aktuell
habe ich eine Funktion, die mir immer ein Tuple(of String, String) per yield gibt.
Sprich immer wenn zwei Strings verfügbar sind, yielde ich direkt.
Das läuft schon wirklich sehr gut, aber mit dem Gedanken, dass
die Requests synchron sind, kann ich mich noch nicht anfreunden.
Ebenfalls habe ich den Eindruck, dass das GUI etwas hängt ab und zu,
ich denke das liegt auch an den Requests (merkt man auch beim Login auf der Page, sprich
genau wenn der Login Request abgesendet wird).
Was würdet ihr vorschlagen, wie kann man bestmögliche Performance rausholen?
Ich frage mich, welches die beste Lösung für mein Vorhaben ist.
Nebeninfo: Ich nutze eine Windows Forms Anwendung (ja, ich weiß, WPF und so.. bitte erschlagt mich nicht :D)
Was habe ich vor ?
Ich möchte auf einer Website Daten sammeln, ziemlich viele sogar.
Ich spreche von ungefähr 2.000.000 Strings, jeder kann minimal 3
und maximal 15 Zeichen lang sein.
Wie werden die Daten herangezogen?
Per HttpWebRequest. Sowohl GET als auch Antworten von POST Requests.
Pro Request erhalte ich ungefähr 20-25 Ergebnisse.
Gibt es Einschränkungen serverseitig?
Ja. Die Requests dürfen nicht zu schnell nacheinander gemacht werden.
Der Grund warum ich frage ist: Ich denke, dass
ich noch etwas performance rausholen kann. Aktuell
habe ich eine Funktion, die mir immer ein Tuple(of String, String) per yield gibt.
Sprich immer wenn zwei Strings verfügbar sind, yielde ich direkt.
Das läuft schon wirklich sehr gut, aber mit dem Gedanken, dass
die Requests synchron sind, kann ich mich noch nicht anfreunden.
Ebenfalls habe ich den Eindruck, dass das GUI etwas hängt ab und zu,
ich denke das liegt auch an den Requests (merkt man auch beim Login auf der Page, sprich
genau wenn der Login Request abgesendet wird).
Was würdet ihr vorschlagen, wie kann man bestmögliche Performance rausholen?