CSCore - Highperformance Audiobibliothek

    • Release
    • Open Source

    Es gibt 589 Antworten in diesem Thema. Der letzte Beitrag () ist von simpelSoft.

      Jetzt auf die Schnelle kann ich dir keine guten Formeln nenne um die Werte zusammenzufassen. Jedoch habe ich kürzlich eine gute Bibliothek ausprobiert(und auch erfolgreich mit CSCore zum laufen gebracht -> war das auf dem Screenshot). Hier ist ein Code welcher aus den Rohen FFT-Werten eine recht gute Visualisierung errechnet: wpfsvl.codeplex.com/SourceCont…alizationLibrary/Spectrum Analyzer/SpectrumAnalyzer.cs

      Was die Kanäle(links, rechts,...) angeht. Ist natürlich möglich. Jedoch würde ich mich an deiner Stelle erst darauf beschränken einfach nur den linken Kanal zu verwenden(was du im Moment auch tust). Wenn du wirklich Kanäle willst, dann musst du im Moment selbst anfangen an den Komponenten rumzudrehen was eigentlich nicht wirklich kompliziert wäre, jedoch im Moment sicher den Aufwand nicht wirklich Wert ist.
      Ist aber prinzipiell recht einfach möglich(wie gesagt... die Lib ist zu 100% erweiterbar).


      Opensource Audio-Bibliothek auf github: KLICK, im Showroom oder auf NuGet.

      Soo, ich habe das jetzt einfach mal so gemacht (soll ne Übergangslösung sein, bis ich was besseres gefunden habe, was auch einigermaßen übersichtlich ist ;). Mein Code sieht so aus:

      VB.NET-Quellcode

      1. Imports CSCore.DSP
      2. Imports CSCore.SoundIn
      3. Imports CSCore.Streams
      4. Imports System.Runtime.CompilerServices
      6. Public Class Form1
      8. Dim Values As IEnumerable(Of Byte) = Nothing
      9. Private Sub Timer1_Tick(sender As Object, e As EventArgs) Handles Timer1.Tick
      10. If Not Values Is Nothing Then
      11. ProgressBar1.Value = Values(0)
      12. ProgressBar2.Value = Values(1)
      13. ProgressBar3.Value = Values(2)
      14. ProgressBar4.Value = Values(3)
      15. End If
      16. End Sub
      18. Private Sub Aggregator_FFTCalculated(sender As Object, e As FFTCalculatedEventArgs)
      19. 'Die ersten 512 Werte abspeichern und den Real in einen Single umwandeln
      20. 'Dim Values As IEnumerable(Of Single) = e.Data.Take(512).Select(Function(c) c.Value)
      21. 'Testausgabe, Form: 'Output: {0.23, 0.00, 0.01, [...] }'
      22. Values = e.Data.Take(512).Select(Function(c) c.Value).Reduce(4).Select(Function(s) CByte(Math.Max(Math.Min((s * 100 * 200), 255), 0)))
      23. 'Debug.WriteLine(String.Format("Output: {{{0}}}", String.Join(", ", ReducedValues.Select(Function(s) s.ToString).ToArray)))
      24. End Sub
      26. Private Buffer() As Byte
      27. Private Sub SoundInSource_OnNewData(sender As Object, e As DataAvailableEventArgs)
      28. While Aggregator.Read(Buffer, 0, Buffer.Length) > 0
      29. 'Mit den Daten einfach nichts machen
      30. End While
      31. End Sub
      33. Dim SoundIn As ISoundIn
      34. Dim SoundInSource As SoundInSource
      35. Private WithEvents Aggregator As FFTAggregator
      36. Private Sub Form1_Load(sender As Object, e As EventArgs) Handles Me.Load
      37. SoundIn = New WasapiLoopbackCapture
      38. SoundIn.Initialize()
      39. SoundInSource = New SoundInSource(SoundIn)
      40. Aggregator = New FFTAggregator(SoundInSource)
      41. Buffer = New Byte(Aggregator.WaveFormat.BytesPerSecond) {}
      43. AddHandler SoundInSource.DataAvailable, AddressOf SoundInSource_OnNewData
      44. AddHandler Aggregator.FFTCalculated, AddressOf Aggregator_FFTCalculated
      46. SoundIn.Start()
      47. Timer1.Start()
      48. End Sub
      50. Private Sub Form1_FormClosing(sender As Object, e As FormClosingEventArgs) Handles Me.FormClosing
      51. Timer1.Stop()
      52. SoundIn.Stop()
      53. SoundIn.Dispose()
      54. End Sub
      56. End Class
      58. Public Module EnumerableExtensions
      60. <Extension()>
      61. Public Function Reduce(source As IEnumerable(Of Single), count As Integer) As IEnumerable(Of Single)
      62. Dim [Step] As Double = source.Count / count
      63. Dim Output As New List(Of Single)
      64. For Counter As Integer = 0 To count - 1
      65. Output.Add(source.Skip(CInt([Step] * Counter)).Take(CInt([Step])).Average())
      66. Next
      67. Return Output
      68. End Function
      70. End Module

      Die 4 Progressbars sollten eigentlich die Werte anzeigen, jedoch kriege ich da nur eine wirre Art "Flackern" hin. Außerdem zeigt eigentlich nur die ProgressBar1 einen wirklichen Ausschlag.

      Ich habe mich mit solchen Dingen nicht viel befasst. Jedoch wird dir a) eine Progressbar mit der "Animation" wohl zu langsam sein. b) sind 4 Progressbars meiner Meinung nach zu wenig um da ernsthaft was darzustellen. c) Die ersten Frequenzbänder sind in über 99% der Lieder etc. die stärksten -> deshalb der höchste Ausschlag. Damit sich das aber besser verteilt, gibt es da verschiedene Sakalierungen etc. mit welchen ich mich jedoch nicht wirklich auskenne. Aber du kannst mal hier schauen: wpfsvl.codeplex.com/SourceCont…lyzer/SpectrumAnalyzer.cs. Recht weit unten siehst du wie dort die Frequenzbänder zusammengefasst werden und berechnet werden. Diese Lib bietet auch 3 verschiedene Skalierungsverfahren an(Decibel, Linear, Wurzel). Ist sicherlich eine gute Implementation welche du mir recht wenig Aufwand abkucken kannst.


      Opensource Audio-Bibliothek auf github: KLICK, im Showroom oder auf NuGet.

      @thefiloe

      Auch wenn wir uns nicht gut verstehen,muss ich dir sagen das diese Lib einfach beeindruckend ist,man kann einfach so viel machen wo von ich nie gedacht hätte das das allgemein überhaupt in irgend einer Weise möglich ist(Musikkurve auslesen usw.).Hut ab und Respekt :)

      Hey, erstmal super Lib! Jedoch habe ich ein kleines Problem:
      ich möchte ein Wasapi Loopback Stream aufzeichnen und anschließend durch eine FFT jagen. Ich habe mir hier den Thread durchgelesen und wollte das Beispiel hier in C# übernehmen, jedoch ist der Typ SoundInSource nicht vorhanden. Außerdem fordert der FFTAggregator ein WaveIn-Objekt als Parameter, ich kann mein WasapiCaptureLoopback jedoch nicht nach WaveIn casten. Hat da jemand n Beispiel wie ich den FFTAggregator anweden kann? Ich nutze die letzte Version der Bibliothek.

      Die Probleme sind bzw. waren alle bekannt. Müssten jedoch schon alle beim NuGet-Build behoben sein: docs.nuget.org/docs/start-here/installing-nuget


      Opensource Audio-Bibliothek auf github: KLICK, im Showroom oder auf NuGet.

      Hey!

      Ich war mal so frei, und hab CSCore fest in GameUtils integriert, ich hoffe du hast nichts dagegen (bekommst auch ne Erwähnung).

      Ich hätte dann auch zwei klitzekleine Fragen, wegen denen ich mich jetzt nicht auf Codeplex anmelden wollte. :P
      1. Was muss man bei CodecFactory.Instance.GetCodec(obejct key, Stream stream) als Key angeben?
      2. Was bewirken der eventSync- und der latency-Parameter beim WasapiOut-Konstruktor?
      Ich weiß, ist bestimmte ne heiden Arbeit, aber bei sowas wäre ne XML-Doku schon recht hilfreich. ;)

      Also erstmal: Freut mich natürlich, dass du dir das antust :P. Bin über jeden der das Teil verwendet und vll. zur Behebung eines Fehlers beitragen kann wirklich froh! Also :thumbup:

      Jetzt zu
      1. Der key gibt den Codec an, da die Engine nicht wissen kann welches Format sich in dem Stream verbirgt(bei manchen schon, jedoch nicht bei allen). Deshalb gibt es nen Key welcher eigentlich immer nen String wie z.B. "mp3" ist und dadurch wird der Stream als MP3-Stream interpretiert. Werde im nächsten Update mitbringen, dass das durch die Mediafoundation etwas erleichtert wird(sprich wenn null angegeben wird, wird versucht das Format zu ermitteln). Ist jedoch wie immer bei Mediafoundation erst ab Vista verfügbar(es sei denn mit zusätzlichen Installationen auf XP). Wenn du keine keys angeben willst, dann kannst du einfach die Überladung mit einem filename angeben. Dort wird der Typ des Streams aufgrund des Dateinamen ermittelt(z.B. .mp3 => mp3, .flac => flac,...).
      2. EventSync ist etwas was intern von WasapiOut abläuft. Es gibt zwei Möglichkeiten mit dem Treiber zu kommunizieren. a) über EventWaitHandles was in dem Fall eventSync ist und b) durch warten und regelmäßiges anstupsen des Treibers und schauen ob dieser wieder Platz für neue Daten hat. Latency ist die Latenz mit welcher das Playback abläuft. Dies ist von SoundOut zu SoundOut verschieden. Wasapi ist hier am leistungsstärksten und schafft bei mir bis zu 20ms. DirectSoundOut schafft maximal 50 (eher 80-90) und WaveOut kannste mal bei so 100-150 ansetzen. Diese Einstellung beeinflusst die Puffergröße und somit auch das Interval in welchem der Treiber mit neuen Rohdaten gefüttert wird. Bei reinem Playback hat eine etwas höhere Latenz den Vorteil, dass das Playback weniger anfällig für kurze Lags oder Performanceinbrüche ist. Lässt man jedoch z.B. ne Visualisierung in Realtime laufen, dann wirst du nicht froh sein, wenn sich die Anzeige alle 2 Sekunden aktualisiert sondern eher bei 60-70ms. Gleiches Prinzip wenn du z.B. nen Equalizer verwendest und du veränderst die einzelnen Filter. Verwendest du hier eine Latenz von 2000 => 2 sek., dann kann es sein, dass die neuen Einstellungen erst zwei Sekunden später zum Tragen kommen, da bereits der Treiber die Daten für die nächsten 2 Sekunden im Puffer hat, welche jedoch noch nicht die neuen Eq Einstellungen bekommen haben.

        Alles in allem ist das immer so ne Gratwanderung zwischen Benutzerfreundlichkeit, Aktualisierungszeit,... und Performance. Wie gesagt oben sind so paar Richtwerte wobei ich bei Wasapi auch so bei 50ms ansetzen würde damit es auf den meisten Rechnern schön flüssig läuft.


      Ansonsten bei Fragen/Fehlen/Anliegen immer her damit :!: :!:


      Opensource Audio-Bibliothek auf github: KLICK, im Showroom oder auf NuGet.

      Dass es auch mit dem Dateinamen geht, ist mir klar. Der Vollständigkeit halber wollte ich aber beides in die Engine einbauen.
      Dann löse ichs am besten so, dass ich das einfach nach oben weiterreiche und der Aufrufer sich drum kümmern muss, oder?

      Also in Sachen Bugs: entweder ich mach was falsch, oder mit dem WasapiOut läuft was schief. Ich kann den nur genau einmal abspielen, auch wenn ich die Position in der zugrundeliegende IWaveSource auf 0 setze oder ihn neu initialisiere. Benutze ich nen DirectSoundOut funktioniert mein Code bestens, aber Wasapi spielt wohl besser ab (bei Directsound bekomme ich imme son Knacken am Anfang und Ende).

      Wasapi ist definitiv neuer und hat weniger knacken etc.
      Abspielen solltest du theoretische mehrmals können. Wie sieht denn dein Code genau aus?


      Opensource Audio-Bibliothek auf github: KLICK, im Showroom oder auf NuGet.

      Der Code sieht so aus (den ersten Teil hab ich aus dem Startpost):
      Spoiler anzeigen

      C-Quellcode

      1. public class CSCoreEngine : AudioEngine
      2. {
      3. private ISoundOut CreateSoundOut(ref IWaveSource source)
      4. {
      5. ISoundOut soundOut;
      6. if (WasapiOut.IsSupportedOnCurrentPlatform)
      7. soundOut = new WasapiOut(false, AudioClientShareMode.Shared, 100);
      8. else
      9. {
      10. soundOut = new DirectSoundOut() { Latency = 100 };
      11. if (source.WaveFormat.BitsPerSample > 16)
      12. source = source.ToSampleSource().ToWaveSource(16);
      13. }
      14. return soundOut;
      15. }
      17. public override AudioHandle CreateHandle(Stream stream)
      18. {
      19. IWaveSource source = CodecFactory.Instance.GetCodec(null, stream);
      20. ISoundOut soundOut = this.CreateSoundOut(ref source);
      22. return new CSCoreHandle(soundOut, source);
      23. }
      25. public override AudioHandle CreateHandle(string file)
      26. {
      27. IWaveSource source = CodecFactory.Instance.GetCodec(file);
      28. ISoundOut soundOut = this.CreateSoundOut(ref source);
      30. return new CSCoreHandle(soundOut, source);
      31. }
      32. }
      34. internal class CSCoreHandle : AudioHandle
      35. {
      36. readonly ISoundOut soundOut;
      37. readonly IWaveSource source;
      39. public override TimeSpan Length
      40. {
      41. get { return source.GetLength(); }
      42. }
      44. public override TimeSpan Position
      45. {
      46. get { return source.GetPosition(); }
      47. set { source.SetPosition(value); }
      48. }
      50. public override float Volume
      51. {
      52. get { return soundOut.Volume; }
      53. set { soundOut.Volume = value; }
      54. }
      56. public override PlaybackState State
      57. {
      58. get { return (PlaybackState)soundOut.PlaybackState; }
      59. }
      61. internal CSCoreHandle(ISoundOut soundOut, IWaveSource source)
      62. {
      63. this.soundOut = soundOut;
      64. this.source = source;
      66. soundOut.Initialize(source);
      67. soundOut.Stopped += (sender, e) => this.OnPlaybackStopped(EventArgs.Empty);
      68. }
      70. public override void Play()
      71. {
      72. if (soundOut.PlaybackState == sOut.PlaybackState.Stopped)
      73. {
      74. source.Position = 0;
      75. soundOut.Play();
      76. }
      77. else if (soundOut.PlaybackState == sOut.PlaybackState.Paused)
      78. soundOut.Resume();
      79. }
      81. public override void Pause()
      82. {
      83. soundOut.Pause();
      84. }
      86. public override void Stop()
      87. {
      88. soundOut.Stop();
      89. }
      91. protected override void Dispose(bool disposing)
      92. {
      93. soundOut.Dispose();
      94. source.Dispose();
      95. }
      96. }

      Aber wie gesagt, wenn ich in CSCoreEngine.CreateSoundOut einfach immer nen DirectSoundOut erstelle, anstatt nen WasapiOut, dann funktionierts so, deswegen kannst doch eigentlich nicht an meinem Code liegen.

      Kann auf die Schnelle jetzt keinen Fehler entdecken. Habe deshalb das auch noch extra bei mir ausprobiert mit folgendem ganz simplen Code:

      Quellcode

      1. WasapiOut soundOut = new WasapiOut(); IWaveSource source = CodecFactory.Instance.GetCodec(@"C:\Temp\test.mp3");
      3. while (true)
      4. {
      5. soundOut.Initialize(source);
      6. soundOut.Play();
      8. Thread.Sleep(300);
      10. soundOut.Stop();
      11. source.Position = 0;
      12. }


      Und das jetzt knapp 15 Minuten laufen lassen. Ohne Probleme.
      Es KANN und wird wahrscheinlich so sein, dass ich grad ne neuere Version habe. Ich kann dir die mal geben, da ich eigentlich laufend am Fehler suchen bin und schon über einen Monat nix mehr auf NuGet geladen habe.
      Dateien

      • CSCore.dll

        (365,57 kB, 114 mal heruntergeladen, zuletzt: )


      Opensource Audio-Bibliothek auf github: KLICK, im Showroom oder auf NuGet.

      Gut, dass es jetzt noch schlimmer geworden ist. :thumbsup:
      Jetzt wird nichtmal beim ersten mal richtig abgespielt.

      Edit: ich nehm gleich einfach WaveOut, das funktioniert wunderbar.

      Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „Artentus“ ()

      So, hab nochmal ein bisschen in nem Testprojekt rumprobiert.
      Ist deine Testdatei länger als 300ms? Wenn ja, dann erklärt das, warum es bei dir funktioniert. Bei mir funktionierts nämlich auch, solange ich manuell Stop aufrufe, bevor die Datei zu Ende ist. Lasse ich aber bis zum Ende durchlaufen, dann gehts nicht mehr.

      Ja ist sie. Wenn die Datei fertig ist, dann wird automatisch gestoppt. Ich schau mal kurz.
      Dateien

      • CSCore.dll

        (365,57 kB, 119 mal heruntergeladen, zuletzt: )


      Opensource Audio-Bibliothek auf github: KLICK, im Showroom oder auf NuGet.

      Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „thefiloe“ ()

      Ich versuche gerade, etwas aufzunehmen und verwende im Grunde genommen den Code aus deinem Startpost. Das funktioniert auch super, alles so, wie ich will. Nun möchte ich aber den abgespeicherten Dateien ID3-Tags hinzufügen. Auslesen kann ich die Dinger schon, das Schreiben ist aber noch nicht möglich. Kurz zusammengefasst, was ich momentan mache:
      ISoundIn -> WaveWriter -> Datei und bei Beenden der Aufnahme wird die Datei in eine weitere kopiert. Hier möchte ich halt ein paar ID3-Infos hinzufügen, vorzugsweise ID3v2. Hoffe, du kannst mir helfen :).

      //EDIT:
      Was mir gerade noch aufgefallen ist: Ein einziges Lied ist bei dieser Aufnahmevariante ca. 100MB groß, gibt es dafür auch Workarounds?

      Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „nafets3646“ ()

    Facebook
    Telefonspende