core3.1: Große Datenmengen in StdIn und StdOut mit Process

LuaX · 8. Februar 2021, 09:41

Guten Tag,

Ich versuche, mittels Process ein Programm (namentlich Inkscape) zu starten, und via StandardInput und StandardOutput Daten damit auszutauschen.

Mit folgendem Befehl (unter Linux (Ubuntu) mit bash) funktioniert das:
cat assets/resources/svg/input.svg | inkscape --export-type="png" --pipe --export-filename=- 2> /dev/null >out/out.png.
(Ist nach unter einer halben Sekunde fertig)

Kurz aufgeschlüsselt:
cat liest die Datei assets/resources/svg/input.svg und schickt sie an den StdIn von inkscape, welches auf seinem StdOut wiederrum Daten ausgibt, die dann in out/out.png geschrieben werden. StdErr wird hierbei einfach verworfen.

Ich habe (mit meinen doch sehr eingeschränkten Kentnissen zum Thema Process) dann folgenden Test-Code aufgebaut,
die Betonung liegt auf Test

C#-Quellcode

using (var reader = new StreamReader(@"assets/resources/svg/input.svg"))
using (var memory = new MemoryStream())
using (var memoryWriter = new StreamWriter(memory))
using (var proc = new Process
{
StartInfo = new ProcessStartInfo("inkscape", "--export-type=\"png\" --export-filename=- --pipe")
{
RedirectStandardOutput = true,
RedirectStandardInput = true
}
})
{
proc.Start();
proc.BeginOutputReadLine();
//Datei einlesen und an Programm übergeben
proc.StandardOutput.DiscardBufferedData();
await proc.StandardInput.WriteAsync(await reader.ReadToEndAsync());
await proc.StandardInput.FlushAsync();
proc.WaitForExit(5_000); //Max 5 Sekunden
//Bis hierher kommen wir noch
await memoryWriter.WriteAsync(await proc.StandardOutput.ReadToEndAsync());
//Hierher kommen wir nicht....
}
}

Das Programm scheint jedoch nie zu beenden, und gibt keine Daten im StdOut aus.
Nach einiger ~~Zeit auf StackOverflow~~ Recherche, mit dem Zwischenergebnis "Wenn ich den Stream nicht lese gibt es einen Deadlock" bin ich dann bei folgendem Code gelandet (Auch wenn ich nicht verstehe, was das AutoResetEvent hier helfen soll - werde mal Nachforschen):

Spoiler anzeigen

C#-Quellcode

using (var reader = new StreamReader(@"assets/resources/svg/input.svg"))
using (var memory = new MemoryStream())
using (var memoryWriter = new StreamWriter(memory))
using (AutoResetEvent outputWaitHandle = new AutoResetEvent(false))
{
using (Process process = new Process
{
StartInfo = new ProcessStartInfo("inkscape", "--export-type=\"png\" --export-filename=- --pipe")
{
RedirectStandardOutput = true,
RedirectStandardInput = true
}
})
{
try
{
process.OutputDataReceived += (sender, e) =>
{
if (e.Data == null)
{
outputWaitHandle.Set();
}
else
{
memoryWriter.WriteLine(e.Data);
}
};
process.Start();
process.StandardInput.Write(reader.ReadToEnd());
process.StandardInput.Flush();
process.BeginOutputReadLine();
if (process.WaitForExit(5_0000))
{
// Kein Timeout
logger.Info("LÄUFT");
}
else
{
// Timeout
logger.Info("TIMEOUT");
}
}
finally
{
outputWaitHandle.WaitOne(100);
}
}
memoryWriter.Flush();
memory.Position = 0;
//Hier stream lesen
}

Hier passiert jedoch genau das gleiche... das Programm eendet nicht und gibt nichts in StOut.

Ich habe mich nun entschieden, diesen gesammten Code einfach in die Tonne zu hauen, und es neu zu machen.

Kann/Möchte mir jemand erläutern, wie ich dies umsetzen kann, oder mir sagen, was genau ich falsch Mache

Grüße

RodFromGermany · 8. Februar 2021, 10:51

@LuaX Sieh Dir folgendes Beispiel an:
TextBox, RichTextBox, 3 Button (Connect, Send, Clear).
Es wird hidden cmd.exe gestartet, der Text der TextBox wird an cmd übertragen,
die Antwort von cmd wird in der RichTextBox ausgegeben.

Spoiler anzeigen

C#-Quellcode

using System;
using System.Diagnostics;
using System.Globalization;
using System.Text;
using System.Windows.Forms;
namespace WindowsFormsApplication1
{
public partial class Form1 : Form
{
Process cmd;
public Form1()
{
this.InitializeComponent();
}
private void btnConnect_Click(object sender, EventArgs e)
{
this.StartProcess();
}
private void btnSend_Click(object sender, EventArgs e)
{
this.cmd.StandardInput.WriteLine(this.textBox1.Text);
}
private void StartProcess()
{
Encoding enc = Encoding.GetEncoding(CultureInfo.CurrentUICulture.TextInfo.OEMCodePage);
this.cmd = new Process();
this.cmd.StartInfo.FileName = "cmd.exe";
this.cmd.StartInfo.WorkingDirectory = "";
this.cmd.StartInfo.CreateNoWindow = true;
this.cmd.StartInfo.UseShellExecute = false;
this.cmd.StartInfo.RedirectStandardOutput = true;
this.cmd.StartInfo.RedirectStandardInput = true;
this.cmd.StartInfo.RedirectStandardError = true;
this.cmd.StartInfo.StandardOutputEncoding = enc;
this.cmd.StartInfo.StandardErrorEncoding = enc;
this.cmd.OutputDataReceived += new DataReceivedEventHandler(this.WriteProcessOutput);
this.cmd.Start();
this.cmd.BeginOutputReadLine();
}
void WriteProcessOutput(object sender, DataReceivedEventArgs e)
{
if (e.Data != null)
{
Action<string> action = new Action<string>(this.AppendText);
this.BeginInvoke(action, e.Data);
}
}
private void AppendText(string txt)
{
this.richTextBox1.AppendText(txt + Environment.NewLine);
}
private void btnClear_Click(object sender, EventArgs e)
{
this.richTextBox1.Clear();
}
}
}

LuaX · 8. Februar 2021, 15:22

Guten Tag,

Dein Beispielcode funktioniert zwar, funktioniert jedoch mit Inkscape genauso wenig.
Wie ich jetzt allerdings erkannt habe, funktioniert es, wenn ich nachdem ich die Daten geschrieben habe den InputStream schließe.

Jetzt stehe ich allerdings vor einem neuen Problem: Die Ausgabe in StdOut ist ein PNG-Bild. wenn ich dieses herauslese und in eine Datei schreibe, bekomme ich jedoch eine kaputte Datei, die offensichtlich nicht richtig formattiert ist.

Die Datei startet mit ï¿œPNG, sollte jedoch einfach nur mit PNG starten, ich bin am grübeln wo diese zusätzlichen Daten herkommen. Das führt sich fort durch die ganze Datei.

RodFromGermany · 8. Februar 2021, 15:28

LuaX schrieb:

Die Datei startet mit

Sieht aus, als stüne da ein BOM oder so was (Kennung für Unicode-Reihenfolge).
Spiele mal ein wenig mit dem Parameter Encoding (Variable enc).

LuaX · 8. Februar 2021, 16:05

Ja tatsächlich, durch ändern des Encoding funktioniert das ganze, jedoch ist die PNG immernoch nicht zu nutzen.

Meine Recherchen haben mich dazu gebracht, das \r\n und \n von OutputDataReceived gleich behandelt wird, was auch der Fehler zu seien scheint. Da es keine Möglichkeit gibt, das zu prüfen, muss ich wohl auf den BaseStream ausweichen, wo ich jedoch wieder das Problem haben das dieser kein Ereignis bereitstellt, weswegen ich in einem Deadlock landen würde. Hier wäre, meiner Ansicht nach, eine "unsaubere" while mit Thread.Sleep() die einzige möglichkeit.

-Franky- · 8. Februar 2021, 16:57

Hi

Schaut so aus als wolltest Du ein SVG-Bild in ein PNG-Bild konvertieren. Das kannst Du auch mit Direct2D und dem Interface ID2D1DeviceContext5::CreateSvgDocument und dann weiter über die Windows Imaging Component (WIC) oder auch per GDI+ direkt konvertieren. Da brauchst kein externes Programm für. Das ganze funktioniert aber auch erst ab dem Windows 10 Creators Update.

RodFromGermany · 8. Februar 2021, 18:07

@LuaX Das Problem besteht darin, dass der Stream denkt, es sei ein Text. Das wird so nicht funktionieren.
Du musst zurück auf die Byte-Ebene, dann soll es gehen. Encoding ist auf Bytes nicht anwendbar.

LuaX · 8. Februar 2021, 20:23

@-Franky-
Vielen Dank für einen Hinweis, aber ich habe vergessen zu erwähnen, das das ganze unter Linux laufen soll, nicht unter Windows

.
GDI+ wäre zwar unter Linux auch möglich, jedoch nur mit Umwegen, und ich habe mir sagen lassen, dass GDI eher zur langsameren Sorte gehört (nicht das ich hier Rekorde aufstellen wöllte).

@RodFromGermany
Ja das habe ich nun auch bemerkt, mit *putStream.BaseStream komme ich auch auf diese Ebene, jedoch zerbreche ich mir den Kopf darüber, wie ich das Elegant lösen kann. Der Stream verfügt über keine Ereignisse, was bedeutet das er regelmäßig geleert werden muss. Am simpelsten erscheint mir dies in einer Schleife.

Jedoch glaube ich, das das "besser" geht, hier wird ja doch sehr oft der Stream abgefragt, auch wenn eventuell garkeine Daten da sind.

Ich gebe offen zu das ich, wenn es um solche Sachen geht, kein Experte bin, bin also doch sehr erfreut wenn mir ein kleiner Hinweis in die richtige Richtung gegeben werden könnte.

Pseudo-Code:

Quellcode

while(!process.HasExited())
{
buffer.Write(process.StandardInput.BaseStream.Read());
}

ErfinderDesRades · 8. Februar 2021, 22:43

Also mir kommt das gePipe ganz un-netmässig vor.
Imo kannst du dem Ink-Ding einfach als Argumente das Input-File und das Output-File übergeben und gut - vlt. so:

C#-Quellcode

private static void CallInkscape() {
using (var proc = new Process()) {
var args = "--export-type=\"png\"";
args += " --import-filename=\"assets/resources/svg/input.svg\"";
args += " --export-filename=\"assets/resources/svg/output.png\"";
proc.StartInfo = new ProcessStartInfo("inkscape") {
Arguments = args
};
proc.Start();
}
}

Wobei ich nicht weiss, ob --import-filename tatsächlich ein zulässiger KommandozeilenParameter von inkscape ist. Aber ich denke, da wird es einen geben, und dass man dessen richtige Bezeichnung herausfinden kann.

LuaX · 11. Februar 2021, 08:23

Hallo,
In der Tat gibt es diesen Paramter, doch möchte ich ihn nicht unbedingt nutzen, da die Daten nicht auf meinem Festspeicher gespeichert werden sollen. Für "normale" Anwendungen wäre das wahrscheinlich die beste Variante

Bluespide · 11. Februar 2021, 09:39

Also hat das jetzt funktioniert? Ich habe das auch mal kurz ausprobiert. Bei mir klappt das so:

C#-Quellcode

using (Process proc = new Process()) {
proc.StartInfo = new ProcessStartInfo(@".\..\..\..\..\inkscape\bin\inkscape.exe", "--pipe --export-type=png --export-filename=-");
proc.StartInfo.RedirectStandardInput = true;
proc.StartInfo.RedirectStandardOutput = true;
proc.StartInfo.UseShellExecute = false;
proc.Start();
using (FileStream fs = new FileStream(@".\Test.svg", FileMode.Open, FileAccess.Read, FileShare.ReadWrite)) {
fs.CopyTo(proc.StandardInput.BaseStream);
}
proc.StandardInput.Close();
using (FileStream fs = new FileStream(@".\Test.png", FileMode.Create, FileAccess.Write, FileShare.ReadWrite)) {
proc.StandardOutput.BaseStream.CopyTo(fs);
}
}

core3.1: Große Datenmengen in StdIn und StdOut mit Process

core3.1: Große Datenmengen in StdIn und StdOut mit Process

C#-Quellcode

C#-Quellcode

C#-Quellcode

LuaX schrieb:

Quellcode

C#-Quellcode

C#-Quellcode

Tags

Ähnliche Themen

5 Benutzer haben hier geschrieben