Größere Datenmengen in Anwendung einbinden

  • VB.NET
  • .NET (FX) 4.5–4.8

Es gibt 3 Antworten in diesem Thema. Der letzte Beitrag () ist von Haudruferzappeltnoch.

    Größere Datenmengen in Anwendung einbinden

    Hallo,

    könnt ihr mir erklären wie ihr große Datenmengen mit einer Anwendung verarbeitet und anzeigt?

    Die Sache ist Folgende: Ich möchte Daten verknüpfen die zum Teil in einer MSSQL Datenbank und zum Teil in einer MySQL Datenbank liegen.

    Normalerweise hab ich immer nur aus einer DB die Daten geholt, weshalb ich alles was ich brauche schon in der DB vorbereiten kann und somit die abgerufene Datenmenge auf ein Minimum reduzieren.
    Jetzt denke ich kann ich das so nicht mehr machen in diesem Fall. Anzeigen will ich ja nur eine kleine Menge, die muss aber in unterschiedlichen Konstellationen immer aus den recht große Quellen produziert werden.

    Korrigiert mich, aber ich gehe hier auch davon aus, dass man nicht mehrere 10000 Zeilen in einem tDS hat.

    Viele Grüße

    Dann gehst Du von einer falschen Annahme aus. Ein tDS hat gar keine Zeilen, sondern DataTables. Und jede DataTable kann deutlich mehr als 10000 Zeilen haben. Wenn Du natürlich einen DataColumn-Datentyp als Int16 einstellst und Testdaten reinfüllst à la

    VB.NET-Quellcode

    1. For i = 0 to 20000
    2. DeinTds.DeineDataTable.AddDeineDataTableRow(i)
    3. Next
    dann ist natürlich beim Int16-Maxwert (16384) aus die Maus. Aber das hat ja nix mit den DataTable-Zeilenanzahl an sich zu tun. Das Ende dürfte wohl bei … 2^32 liegen. 4 Milliarden irgendwas.
    Dieser Beitrag wurde bereits 5 mal editiert, zuletzt von „VaporiZed“, mal wieder aus Grammatikgründen.

    Aufgrund spontaner Selbsteintrübung sind all meine Glaskugeln beim Hersteller. Lasst mich daher bitte nicht den Spekulatiusbackmodus wechseln.

    Haudruferzappeltnoch schrieb:

    Korrigiert mich, aber ich gehe hier auch davon aus, dass man nicht mehrere 10000 Zeilen in einem tDS hat.
    haben sollte.
    sowas hab ich mal postuliert, weil ein tDS mit viele Daten belegt natürlich viel Speicher.
    Daher darf man diese "Hausnummer" erfreulicherweise wohl ständig nach oben korrigieren - ist eh nur ein extrem grober Richtwert - kommt ja auch auf den Speicherbedarf der einzelnen Datensätze an.
    10.000 Datensätze mit Bildern zu je 12MB tät ich nu auch nicht direkt empfehlen, in ein tDS zu laden.
    Hingegen 100.000 Datensätze mit Pfaden zu Bild-Dateien - phh! - wen interessierts?

    Haudruferzappeltnoch schrieb:

    Anzeigen will ich ja nur eine kleine Menge
    na dann ist ja alles paletti.
    Füll deine kleine Menge ins tDS und freu sich.
    Dem tDS ists egal, wo die Daten herkommen.
    Wo die Daten herkommen wird logischerweise erst wieder relevant, wenn du Änderungen rückspeichern willst.

    Na es müssen viele verschiedene "kleine Mengen" sein. Da die aus zwei verschiedenen DBs kommen weiß nicht wie ich die in einer Abfrage zusammenkriegen könnte.
    Wenn ich zwei Tabellen Joine, dann reduziere ich ja die Datenmengen oft beträchtlich. Durch den Join habe ich ja dann ja den Filter drauf z.B. On t1.ID = t2.ID.
    Also nur was in beiden Tabellen enthalten ist. Aber das geht ja nun nicht, wegen der unterschiedlichen DBs.

    Ich habe auch keine Ahnung wieviel Speicher so eine Zelle einer DataTable zieht, skaliert das linear hoch? Also wenn ich jetzt eine 100x10 Tabelle teste, kann ich dann Rückschlüsse auf eine 200x10 version mit ähnlichem Inhalt machen?

Facebook
Telefonspende