Sqlite - Bulk Insert

  • C#
  • .NET (FX) 1.0–2.0

Es gibt 7 Antworten in diesem Thema. Der letzte Beitrag () ist von ErfinderDesRades.

    Sqlite - Bulk Insert

    Hallo,
    ich versuche gerade eine Menge Datensätze in eine SQLite Datenbank zu schreiben. Nach etwas suche im Web bin ich auf die möglichkeit gestossen den Insert-Prozess mit "Bulk Insert" wesentlich zu beschleunigen.

    Leider durchläuft meine foreach-Schleife nicht alle Einträge sondndern nur 2 und ich finde den Fehler nicht. Liegt es an der Schleife selbst oder am umgeschriebenen Code mit Bulk.
    Kann mir mal jemand einen Tip geben, finde leider nicht heraus warum die Schleife nicht bis zum Ende läuft.

    C#-Quellcode

    1. void backgroundWorker1_DoWork(object sender, DoWorkEventArgs e)
    2. {
    4. //Durchlaufe das Verzeichniss und finde alle Audiodatein
    5. var allfiles = System.IO.Directory.GetFiles(Dirpath,
    6. "*.*",
    7. System.IO.SearchOption.AllDirectories).Where(
    8. s => s.EndsWith(".mp3") ||
    9. s.EndsWith(".wav") ||
    10. s.EndsWith(".wma") ||
    11. s.EndsWith(".flac") ||
    12. s.EndsWith(".ape"));
    14. using (var connection = new SQLiteConnection(@"Data Source = musikdb.db"))
    15. {
    16. connection.Open();
    17. using (var command = new SQLiteCommand(connection))
    18. {
    19. using (var transaction = connection.BeginTransaction())
    20. {
    21. int i = 0;
    22. foreach (string file in allfiles)
    23. {
    24. i++;
    26. try
    27. {
    28. TagLib.File soundfile = TagLib.File.Create(file);
    29. string[] filename_vor_split = file.Split('\\');
    30. string filename = filename_vor_split[filename_vor_split.Length - 1];
    31. string title = soundfile.Tag.Title;
    32. string[] artist = soundfile.Tag.Performers;
    33. string album = soundfile.Tag.Album;
    34. string tracknr = soundfile.Tag.TrackCount.ToString();
    35. string year = soundfile.Tag.Year.ToString();
    36. string genre = soundfile.Tag.TitleSort;
    38. command.Parameters.AddWithValue("@filename", filename);
    39. command.Parameters.AddWithValue("@title", title);
    40. command.Parameters.AddWithValue("@artist", artist);
    41. command.Parameters.AddWithValue("@album", album);
    42. command.Parameters.AddWithValue("@track", tracknr);
    43. command.Parameters.AddWithValue("@year", year);
    44. command.Parameters.AddWithValue("@genre", genre);
    45. command.Parameters.AddWithValue("@pfad", file);
    47. command.CommandText = String.Format(
    48. "INSERT INTO title (filename, title, artist, album, track, year, genre, pfad) VALUES (@filename, @title, @artist, @album, @track, @year, @genre, @pfad)");
    49. command.ExecuteNonQuery();
    53. int percentage = (i + 1) * 100 / anzahl;
    54. // Report progress to 'UI' thread
    55. backgroundWorker1.ReportProgress(i);
    57. }
    58. catch (Exception)
    59. {
    61. }
    65. transaction.Commit();
    66. }
    67. }
    68. connection.Close();
    69. }
    71. }
    78. MessageBox.Show("Fertig. Es wurden alle Titel importiert.");
    80. }

    Soweit ich weiß, musst du zuerst den Command Text erstellen und dann erst die Daten per AddWithValue reinpacken. Schiebt einfach mal Zeilen 47 bis 49 vor Zeile 38
    In general (across programming languages), a pointer is a number that represents a physical location in memory. A nullpointer is (almost always) one that points to 0, and is widely recognized as "not pointing to anything". Since systems have different amounts of supported memory, it doesn't always take the same number of bytes to hold that number, so we call a "native size integer" one that can hold a pointer on any particular system. - Sam Harwell

    Habe den Fehler schon gefunden. Es lag daran das ich ​transaction.Commit() in die foreach-Schleife gepackt habe.
    Damit habe ich die Zeit fürs eintragen der Daten von 17 Sek. auf 2 Sek. reduzieren können.

    Habe den Try Block weil nicht alle Audiodateien auch Metadaten haben und dann das Programm abstürtzt. Das das keine gute Lösung ist weiß ich, hatte es aber erstmal so geschrieben und will später den Teil des Codes umschreiben.

    @ErfinderDesRades Ich bin grad dabei anstelle des großen Try-Blocks eine vernünftige Fehlerbehandlung zu schreiben.

    Ich hänge gerade aber fest. Mit folgendem Code lese ich aus der Audiodatei den Artisten aus:

    C#-Quellcode

    1. string[] artist = soundfile.Tag.Performers;

    Natürlich ist nicht bei allen Dateien der Tag hinterlegt und deswegen bekomm ich eine OutOfRange Meldung.

    Wie kann ich das am besten behandeln, komme leider nicht zurecht.

    echt - eine IndexOutOfRange - Meldung?
    Kann eiglich nicht sein. In der Zeile wird ja gar kein Index verwendet,
    Oder die Bibliothek ist ziemlich mangelhaft.

    Wie du das behandelst, musst du doch konzipieren, das kann ich dir doch nicht sagen, wie du das haben willst.
    Ich würde evtl. die Datei in einen gesonderten Ordner verschieben.
    Evtl würde ich acuh garnix machen - wenn die Datei keinen Performer-Tag eingetragen hat, dann hat sie halt ein Performer.

    Dieser Beitrag wurde bereits 4 mal editiert, zuletzt von „ErfinderDesRades“ ()

    Ja, das ist klar aber ich wusste nicht genau wie ich das am besten mache.
    Habe jetzt aber nach etwas suche im Netz die Funktion Array.Resize gefunden und sobald kein Tag hinterlegt ist und das Array somit leer ist, lege ich eine neue Größe fest und schreibe einen eigenen String hinein.

    Trotzdem danke :).

Facebook
Telefonspende