Hallo zusammen,

Was ist die SItuation? Ich habe eine Anzahl von X Objekten mit Properties. X ist nicht bekannt. Ich weiß nur dass es etwas mehr als 500.000 sind
Was habe ich bis jetzt? Momentan ist es mir möglich, die Objekte in eine SQL Tabelle zu schreiben da ich alles in 100er Blöcke abarbeite. (zum einfacherem rechnen, ist auch erst mal egal)
D.h. Ich lese die Daten aus, schreibe das in eine DataTable, gleiche das mit meinem Block-int ab und wenn dieser erreicht ist werden die Objekte in die SQL-Tabelle geschrieben
und die Datatable wieder geleert. Klappt alles einwandfrei..
Was ist jetzt mein Problem? Ich kann nur ganzzahlen schreiben, d.h. dass wenn z.B. 521.235 Objekte da wären dann würden mir die 35 Fehlen (35 < 100).
Was waren meine Ansätze? Ich habe versucht mit "<=" zu arbeiten, aber da ja auch 1 kleiner als 100 ist würde immer die 1 genommen werden, was wiederum dafür sorgt dass 1. die Performance absoluter Mist ist und 2. zu viel WriteToServer Anfragen auftauchen,
was wieder rum dazu führt dass die Connection zusammenbricht. Ein weiterer Ansatz war, alle objekte zu zählen, die wurzel daraus zu ziehen und das dann als "Block" zu setzen -> was ebenfalls Performance technisch absoluter quatsch ist und außerdem vermutlich 10x so lange dauert.

Ich bin mir ziemlich sicher dass es mit irgendeinem Operator in der if-Condition geht aber ich komm einfahc nicht drauf. Evtl. hat jemand noch ne bessere Idee

Thead aus Tipps und Tricks verschoben ~ EaranMaleasi

Wie zeigen?
Die Objekte kommen aus einer json

Ach so, ja. Mir gehts eigentlich viel mehr darum ob jemand eine Idee hat wie ich das umsetzen kann.
Also einen Gedanken wie man da ran gehen kann, das ist ja unabhängig von meinem Code an der Stelle
Leider bin ich auch grade nicht in der Lage den Code hier rien zu stellen...

Das Problem ist dass ich nicht weis wieviele Elemente "übrig" sind. D.h ich kann keine Zahl definieren. Mitt "kleiner Gleich" komm ich nicht weit. "ein Between" macht auch keinen Sinn, die Zahl kann ja immer anders sein.
Leider kann ich auch nicht einfach alles in einer Variable speichern, das dreht mir den RAM zu hoch und die auslastung ist gigantisch, deshalb die BLockweise abarbeitung

Ich weis dass eine Zahl existiert die größer als eine halbe Million ist aber ich weis nicht was hier steht: 500.XXX. Also brauch ich irgendwas um diesen einen letzten "Block" in meine Datatable zu schreiben. Von dem ich nicht weis wieviele Objekte darin enthalten sind.
Allerdings wird nur immer in die Datatable geschrieben wenn die Anzahl der Objekte 100 ist. Wenn ich aber 100 nie erreiche wird auch nix geschrieben.

Also [X-Anzahl Objekte] -> Abfrage in 100er Blöcken -> bei erreichen von 100 Objekten -> schreiben in Datatable -> Datatable in SQL Übertragen(ich nutze BulkCopy) -> Datatable leeren. (und dann wieder von vorne bis alle Objekte in der SQL Tabelle sind)
jetzt haben wir z.b 523.123 Elemente. Das macht dann 5.231 Datensätze die in die SQL Tabelle eingetragen werden. Aber wo sind die restlichen 23? Nicht da weil "23 < 100" -> also wird der Punkt nicht erreicht und die datatable wird nicht übertragen.

Wegen dem Stichwort "Letzter Datensatz" wie kann ich das definieren oder woher weis ich das wann dieser letzte Block kommt?
Or- / OrElse bringt mir nichts weil ich die Condition für das letzte nicht kenne, also die Zahl.Klar könnte ich die Objekte davor alle zählen lassen aber
dann muss ich ja durch alles 2x durchloopen und in der zwischenzeit kann ja wieder was neues dazu gekommen sein, also fehlt mir trotzdem wieder was am schluss.
Daher macht das auch keinen Sinn.

Mithilfe eines Webrequests. Ich frage die ersten X ergebnisse ab, dann arbeite ich alle durch, schicke eine neue Abfrage mit X ergebnissen und so weiter. Bis alles eben abgearbeitet ist.

Doch er antwortet schon, das ist es ja. Ich bekomme auch die User, das ist alles kein Problem. Nur ich habe das Problem mit der Datatable.
Für den Code ist es unerheblich ob Webrequest, Excel, XML, oder meinetwegen auch Word Dokument. Sogar die Sprache dafür ist egal, ich frage ja nur nach der Logik
Objekt bleibt Objekt und ich will einfach nur wissen wie es mir möglich ist die Objekte zwischen Nr. 101 und Nr. 199 in die DataTable zu schreiben. Mehr will ich ja gar nicht.

ganz Banal gesagt:
get-Objects
if objectAnzahl = 100 then write to Datatable
write to sql
Empty DataTable

jetzt haben wir nur noch 5121XX Objekte.
Dann machen wir das ganze so lange bis nur noch XX Objekte da sind.
Aber wie kann ich das jetzt der if-Condition sagen "Hey jetzt sind es keine 100 mehr sondern nur noch weniger, ich hab zwar null plan wieviele aber das musst du rausfinden, schreib mir das in meine DataTable und mach so weiter"

MOmentan brauche ich für 10.000 Objekte etwa 20 Sekunden mit einer Abfrage von 100
Mit einer Abfrage von 1 brauche ich für 10.000 Objekte etwa 35 Minuten.
35 Minuten x 50.000 = verdammt lange

Ja wenn ich das mache dann schreibt er alles einzeln. das is ja genau mein Problem.

Er schreibt doch alle Objekte, außer eben die, die dann als Rest bleiben..
Ich suche doch nur eine Möglichkeit wie ich diesen letzten Rest übertragen kann?