CSCore - Opus Codec funktioniert nicht

  • C#
  • .NET (FX) 4.5–4.8

Es gibt 9 Antworten in diesem Thema. Der letzte Beitrag () ist von thefiloe.

    CSCore - Opus Codec funktioniert nicht

    Hi,
    weil ich auf der Suche nach eine Audio Codec war und @Manawyrm den Opus Codec empfohlen hat, habe ich mir diesen nun einmal angeguckt und bin auf einen C# Wrapper gestoßen: github.com/JohnACarruthers/Opus.NET Dieser benutzt als Audio Bibliothek NAudio, welches ich dann durch CSCore ersetzt habe. Soweit, so gut, jedoch funktioniert das alles nicht so, wie gedacht. Hier ist der gekürzte Code, den ich benutze:
    Spoiler anzeigen

    C#-Quellcode

    1. void StartEncoding()
    2. {
    3. _startTime = DateTime.Now;
    4. _bytesSent = 0;
    5. _segmentFrames = 960;
    6. _encoder = OpusEncoder.Create(48000, 1, FragLabs.Audio.Codecs.Opus.Application.Voip);
    7. _encoder.Bitrate = 8192;
    8. _decoder = OpusDecoder.Create(48000, 1);
    9. _bytesPerSegment = _encoder.FrameByteCount(_segmentFrames);
    11. MMDevice captureDevice = null;
    12. using (var deviceEnumerator = new MMDeviceEnumerator())
    13. using (
    14. var deviceCollection = deviceEnumerator.EnumAudioEndpoints(DataFlow.Capture, DeviceState.Active)
    15. )
    16. {
    17. foreach (var device in deviceCollection)
    18. {
    19. if (device.FriendlyName == comboBox1.Text)
    20. {
    21. captureDevice = device;
    22. break;
    23. }
    24. }
    25. }
    27. if (captureDevice == null)
    28. return;
    30. //var waveFormatExtensible = new WaveFormatExtensible(44100, 32, 2, Guid.Parse("00000003-0000-0010-8000-00aa00389b71"));
    32. var waveFormatExtensible = new WaveFormat(48000, 16, 1);
    34. _waveIn = new WasapiCapture(true, AudioClientShareMode.Shared, 100, waveFormatExtensible)
    35. {
    36. Device = captureDevice
    37. };
    38. _waveIn.Initialize();
    39. _waveIn.DataAvailable += _waveIn_DataAvailable1;
    41. _writeableBufferingSource = new WriteableBufferingSource(waveFormatExtensible) {FillWithZeros = true};
    43. _waveOut = new WasapiOut();
    44. _waveOut.Initialize(_writeableBufferingSource);
    46. _waveOut.Play();
    47. _waveIn.Start();
    49. if (_timer == null)
    50. {
    51. _timer = new Timer();
    52. _timer.Interval = 1000;
    53. _timer.Tick += _timer_Tick;
    54. }
    55. _timer.Start();
    56. }
    58. private void _waveIn_DataAvailable1(object sender, DataAvailableEventArgs e)
    59. {
    60. //_writeableBufferingSource.Write(e.Data, e.Offset, e.ByteCount);
    61. //return;
    62. byte[] soundBuffer = new byte[e.ByteCount + _notEncodedBuffer.Length];
    63. for (int i = 0; i < _notEncodedBuffer.Length; i++)
    64. soundBuffer[i] = _notEncodedBuffer[i];
    65. for (int i = 0; i < e.ByteCount; i++)
    66. soundBuffer[i + _notEncodedBuffer.Length] = e.Data[i];
    68. int byteCap = _bytesPerSegment;
    69. int segmentCount = (int)Math.Floor((decimal)soundBuffer.Length / byteCap);
    70. int segmentsEnd = segmentCount * byteCap;
    71. int notEncodedCount = soundBuffer.Length - segmentsEnd;
    72. _notEncodedBuffer = new byte[notEncodedCount];
    73. for (int i = 0; i < notEncodedCount; i++)
    74. {
    75. _notEncodedBuffer[i] = soundBuffer[segmentsEnd + i];
    76. }
    78. for (int i = 0; i < segmentCount; i++)
    79. {
    80. byte[] segment = new byte[byteCap];
    81. for (int j = 0; j < segment.Length; j++)
    82. segment[j] = soundBuffer[i * byteCap + j];
    83. int len;
    84. byte[] buff = _encoder.Encode(segment, segment.Length, out len);
    85. _bytesSent += (ulong)len;
    86. buff = _decoder.Decode(buff, len, out len);
    87. _writeableBufferingSource.Write(buff, 0, len);
    88. }
    89. }


    Wie man sehen kann, ist dort bestimmter Code auskommentiert. Dies ist Testcode, welcher den Codec aushebelt und wodurch es wunderbar funktioniert (zum Test, damit der Fehler nicht irgendwo anders ist).
    Das Problem scheint darin zu liegen, dass ich dem WasapiCapture zwar das richtige WaveFormat gebe (48000 Hz), er jedoch dies nach dem Initialize() aufruf wieder ändert:


    Der WriteableBufferingSource scheint damit jedoch kein Problem zu haben:


    Daran liegt es wohl auch, dass wenn man nur den Encoding Prozess ausklammert (die ersten zwei Zeilen in _waveIn_DataAvailable1 unkommentiert), ohne das WaveFormat zu ändern, sehr unangenehme Töne entstehen (weil WasapiCapture das WaveFormat ablehnt, der WriteableBufferingSource damit jedoch kein Problem hat, wodurch es unterschiedliche WaveFormats werden). Also habe ich mal einen Blick in den Source von CSCore auf Github geworfen und festgestellt, dass wenn der Audio Client das WaveFormat nicht unterstützt, er sich einfach ein anderes sucht: github.com/filoe/cscore/blob/9…dIn/WasapiCapture.cs#L474

    Im Anhang ist ein lauffähiges Beispiel, aus welchem auch der Code oben entstammt. Vielleicht hat ja jemand ne Idee, was man da machen kann. Das Problem ist auch, dass Orpus 44100 Hz nicht unterstützt, wodurch wir nicht einfach dies ändern können.
    Vielleicht hat ja jemand ne Idee :)
    Dateien
    Mfg
    Vincent

    Dieser Beitrag wurde bereits 1 mal editiert, zuletzt von „VincentTB“ ()

    Ich war gerade dabei, diesen ​WaveFormatConversionStream zu studieren und für CSCore umzuschreiben, da ist mir aufgefallen, dass in dem funktionieren NAudio Beispiel WaveIn verwendet wird. Ich dachte beim Umschreiben eigentlich, dass Wasapi einfach das neuere ist, aber als ich es dann mit WaveIn ausprobiert habe, hat es geklappt.

    Funktioniert nun alles, in dem Beispiel muss einfach nur WasapiCapture durch WaveIn ersetzt werden. Danke :)
    Mfg
    Vincent

    So, jetzt kann ich antworten:
    WaveIn kann ich nur abraten. Dir geht es um SampleRate, BitsPerSample und Channels richtig?
    Sieh mal im Anhang.
    Dateien

    • opus.zip

      (1,61 MB, 342 mal heruntergeladen, zuletzt: )


    Opensource Audio-Bibliothek auf github: KLICK, im Showroom oder auf NuGet.

    Sehr schön, vielen Dank :)
    Cool, dass es so einfach geht, das zu konvertieren.
    Für alle, die diesen Thread lesen und merken, dass in dem Beispielprojekt von @thefiloe alles funktioniert, aber Opus deaktiviert ist:
    So könnte das DataAvailable-Event dann aussehen: (du hattest dann direkt in den ​WriteableBufferingSource geschrieben)
    Spoiler anzeigen

    C#-Quellcode

    1. private void _waveIn_DataAvailable1(object sender, DataAvailableEventArgs e)
    2. {
    3. int read;
    4. var buffer = new byte[_captureSource.WaveFormat.BytesPerSecond];
    6. while ((read = _captureSource.Read(buffer, 0, buffer.Length)) > 0)
    7. {
    8. byte[] soundBuffer = new byte[read + _notEncodedBuffer.Length];
    9. for (int i = 0; i < _notEncodedBuffer.Length; i++)
    10. soundBuffer[i] = _notEncodedBuffer[i];
    11. for (int i = 0; i < read; i++)
    12. soundBuffer[i + _notEncodedBuffer.Length] = buffer[i];
    14. int byteCap = _bytesPerSegment;
    15. int segmentCount = (int) Math.Floor((decimal) soundBuffer.Length/byteCap);
    16. int segmentsEnd = segmentCount*byteCap;
    17. int notEncodedCount = soundBuffer.Length - segmentsEnd;
    18. _notEncodedBuffer = new byte[notEncodedCount];
    19. for (int i = 0; i < notEncodedCount; i++)
    20. {
    21. _notEncodedBuffer[i] = soundBuffer[segmentsEnd + i];
    22. }
    24. for (int i = 0; i < segmentCount; i++)
    25. {
    26. byte[] segment = new byte[byteCap];
    27. for (int j = 0; j < segment.Length; j++)
    28. segment[j] = soundBuffer[i*byteCap + j];
    29. int len;
    30. byte[] buff = _encoder.Encode(segment, segment.Length, out len);
    31. _bytesSent += (ulong) len;
    32. buff = _decoder.Decode(buff, len, out len);
    33. _writeableBufferingSource.Write(buff, 0, len);
    34. }
    35. }
    36. }



    Vielen Dank
    Mfg
    Vincent

    Logo, kein Problem. Die Woche war nur sehr stressig, konnte nicht wirklich antworten. Wenn man weiß wies geht ists kein Problem :).


    Opensource Audio-Bibliothek auf github: KLICK, im Showroom oder auf NuGet.