Bilderkennung mit positionsrückgabe (X,y)

C.O.D.E · 29. April 2021, 18:18

Hallo,

wie einfach ist es realisierbar wenn ich einen Screenshot habe und darin dann einen Bildausschnitt suchen möchte? Am besten mit Positionsrückgebe mit den Koordinaten! Gibt es dafür evtl gut benutzbare Bibliotheken?

Natürlich könnte ich jetzt eine Doppelschleife und pixel für pixel vergleichen aber es wäre cool wenn ich dazu noch Toleranzen berücksichtige!

liebe grüße

*Topic verschoben*

RodFromGermany · 29. April 2021, 18:20

@C.O.D.E Die Aufgabenstellung ist suboptimal.
Was genau soll mit diesen Koordinaten passieren?

C.O.D.E · 29. April 2021, 18:50

Also ich habe einen Screenshot von meinem Bildschirm, in diesem ist ein bereich den ich gerne ausschneiden möchte. Das Problem ist das ich mich an verschiedene auflösungen anpassen muss und dieser bereich dann nicht immer an der gleichen stelle ist und auch nicht immer gleich groß. Ich muss also die position von 2 Markern finden um das ganze dann auszuschneiden!

lg

RodFromGermany · 29. April 2021, 19:26

@C.O.D.E Kannst Du mal den Screenshot posten und dabei die Ecken markieren?

VaporiZed · 29. April 2021, 22:06

Frag (auch) mal @xored, wie weit er mit seinem Thread/Programm gekommen ist.

xored · 30. April 2021, 10:57

Habe in meinem Thread mal geantwortet. Hilft dem TE aber wahrscheinlich nicht, weil es bei mir keine Toleranzen gibt, wie C.O.D.E wünscht. Das wäre wirklich noch was interessantes.
AutoIT bietet ja eine ImageSearch DLL, welche mit Toleranzen arbeitet (kann man einstellen). Aber in .net..

C.O.D.E · 30. April 2021, 12:54

RodFromGermany schrieb:

@C.O.D.E Kannst Du mal den Screenshot posten und dabei die Ecken markieren?

Ich habe die beiden Bilder mal angehangen. Bild Nummer 1 ist der komplette Screenshot und Bild Nummer 2 der Bereich den ich gerne hätte.

@xored ich gucke mir das mal an!

RodFromGermany · 30. April 2021, 12:58

@C.O.D.E Kannst Du Dir zunächst das Fenster als solches holen?
Schau dazu mal hier rein:
Andere Programme fernsteuern

Facebamm · 30. April 2021, 13:35

code-ai.mk/image-search/
Jetzt machst du dir eine Matrix und rennst über das bild

C#-Quellcode

public double CalculateSimilarity(Bitmap bmpImage1, Bitmap bmpImage2)
{
int correct = 0;
for (int i = 0; i < bmpImage1.Width; i++)
{
for (int j = 0; j < bmpImage1.Height; j++)
{
// hier bitte optimieren !!!!!
Color c1 = bmpImage1.GetPixel(i, j);
Color c2 = bmpImage2.GetPixel(i, j);
if (c1.ToArgb() == c2.ToArgb())
correct++;
}
}
int maxPixels = bmpImage1.Width * bmpImage1.Height;
double SimilarityPercent = (100.0 * correct)/maxPixels;
return SimilarityPercent;
}

Takafusa · 30. April 2021, 15:36

Ich hab mich jetzt auch mal dran versucht, für dieses Bild pass mein Code, ist allerdings gurkig.

Was mir auf dem Bilde sofort aufgefallen ist, sind die beiden hellen Rahmen, so viele Pixel mit dieser Farbrange gibt es nur in 2 Zeilen. Somit lassen sich StartZeile und EndZeile leicht finden. Damit kann man dann auch leicht die Höhe ermitteln. In diesen Beiden Zeilen sind jeweils 2 Linien mit dieser Farbrange, nurnoch start und end positionen der 2. Linie ermitteln und wir haben alles was wir brauchen. Sogar Toleranz ist mit drin.

Der Code sollte aber noch verbessert werden, da hab ich keine Lust mehr drauf.
Laufzeit ist auch flott: 00:00:00.1699079

//hab noch schnell Option Strict On konform gemacht

VB.NET-Quellcode

Private Function ColorMatch(c As Color) As Boolean
If c.R > 100 AndAlso c.R < 150 Then
If c.G > 195 Then
If c.B > 200 Then
Return True
End If
End If
End If
Return False
End Function
Private Sub Button1_Click(sender As Object, e As EventArgs) Handles Button1.Click
Dim startTime As DateTime = DateTime.Now
Using bmp As New Bitmap("1.bmp")
Dim bmpData As BitmapData = bmp.LockBits(New Rectangle(0, 0, bmp.Width, bmp.Height), ImageLockMode.ReadWrite, bmp.PixelFormat)
Dim scan0 As IntPtr = bmpData.Scan0
Dim bytes As Integer = Math.Abs(bmpData.Stride) * bmp.Height
Dim pixelData(bytes - 1) As Byte
Marshal.Copy(scan0, pixelData, 0, bytes)
bmp.UnlockBits(bmpData)
Dim bytesPerLine As Integer = bmp.Width * 3
Dim lineNumbers As New List(Of Integer)
For y = 0 To bmp.Height - 1
Dim matchInLine As Integer = 0
For x = 0 To bmp.Width - 1
Dim pos As Integer = y * bytesPerLine + x * 3
Dim c As Color = Color.FromArgb(pixelData(pos + 2), pixelData(pos + 1), pixelData(pos))
If ColorMatch(c) Then
matchInLine += 1
If matchInLine > 500 Then
If Not lineNumbers.Contains(y) Then
lineNumbers.Add(y)
End If
Exit For
End If
End If
Next
Next
Dim startX As Integer = -1
Dim endX As Integer = -1
If lineNumbers.Count = 2 Then
Dim firstLineStarted As Boolean = False
Dim firstLineEnded As Boolean = False
Dim secondsLineStarted As Boolean = False
For x = 0 To bmp.Width - 1
Dim pos As Integer = lineNumbers(0) * bytesPerLine + x * 3
Dim c As Color = Color.FromArgb(pixelData(pos + 2), pixelData(pos + 1), pixelData(pos))
If ColorMatch(c) Then
If Not firstLineStarted Then
firstLineStarted = True
Debug.WriteLine("1st line start : " & x)
End If
If firstLineStarted AndAlso firstLineEnded Then
If Not secondsLineStarted Then
startX = x
secondsLineStarted = True
Debug.WriteLine("2nd line start : " & x)
End If
End If
Else
If firstLineStarted AndAlso Not firstLineEnded Then
firstLineEnded = True
Debug.WriteLine("1st line end : " & x)
End If
If secondsLineStarted Then
endX = x
Debug.WriteLine("2nd line end : " & x)
Exit For
End If
End If
Next
Dim r As New Rectangle(startX, lineNumbers(0), endX - startX, lineNumbers(1) - lineNumbers(0))
Using bmp2 As New Bitmap(r.Width, r.Height)
Using g As Graphics = Graphics.FromImage(bmp2)
Dim destRect As New Rectangle(0, 0, bmp2.Width, bmp2.Height)
g.DrawImage(bmp, destRect, r, GraphicsUnit.Pixel)
BackgroundImage = CType(bmp2.Clone(), Image)
BackgroundImageLayout = ImageLayout.None
End Using
End Using
End If
Debug.WriteLine((DateTime.Now - startTime).ToString)
End Using
End Sub

Facebamm · 30. April 2021, 16:52

Im empfehl die GPU

(12 Kerne a 12sec mit bpp32)

Ist zwar etwas overkill aber ...

How to use:

C#-Quellcode

using Bitmap screen = (Bitmap) Bitmap.FromFile("Screenshot.png");
using Bitmap toFind = (Bitmap) Bitmap.FromFile("toFind.png");
using MemoryImage screenMI = new MemoryImage(screen);
using MemoryImage toFindMI = new MemoryImage(toFind);
var p = MemoryImageService.FindImage(toFindMI, screenMI);

Source:

Spoiler anzeigen

C#-Quellcode

public class MemoryImageService
{
/// <summary>
///
/// </summary>
/// <param name="src">image to search for</param>
/// <param name="dest">image for search</param>
/// <returns></returns>
public static Point FindImage(MemoryImage src, MemoryImage dest)
{
int bestPoints = 0;
Point location = Point.Empty;
object locker = new object();
//Parallel.For(0, dest.Height - src.Height, yDest =>
for (int yDest = 0, n = dest.Height - src.Height; yDest < n; yDest++)
{
Parallel.For(0, dest.Width - src.Width, xDest =>
//for(int xDest = 0, n = dest.Width - src.Width; xDest < n; xDest++)
{
unsafe
{
int points = 0;
Pixel* destPtr = dest.Buffer + (yDest * dest.Width) + xDest;
Pixel* srcPtr = src.Buffer;
for (int ySrc = 0; ySrc < src.Height; ySrc++)
{
for (int xSrc = 0; xSrc < src.Width; xSrc++)
{
Pixel destPixle = *(destPtr + xSrc);
Pixel srcPixel = *(srcPtr);
if (destPixle.Value == srcPixel.Value) points += 4;
else
{
if (destPixle.Channel1 == srcPixel.Channel1) points++;
if (destPixle.Channel2 == srcPixel.Channel2) points++;
if (destPixle.Channel3 == srcPixel.Channel3) points++;
if (destPixle.Channel4 == srcPixel.Channel4) points++;
}
srcPtr++;
}
destPtr += dest.Width;
srcPtr++;
}
lock (locker)
{
if (bestPoints < points)
{
bestPoints = points;
location.X = xDest;
location.Y = yDest;
}
}
}
}
);
}
//);
return location;
}
}
public readonly unsafe struct MemoryImage : IDisposable
{
public readonly int Width;
public readonly int Height;
public readonly int PixelCount;
public readonly int ByteCount;
public readonly int PixelWidth;
public readonly Pixel* Buffer;
public MemoryImage(Bitmap bmp)
{
Width = bmp.Width;
Height = bmp.Height;
Rectangle bmpRect = new Rectangle(0, 0, Width, Height);
BitmapData bmpData = bmp.LockBits(bmpRect, ImageLockMode.ReadOnly, bmp.PixelFormat);
PixelCount = Width * Height;
ByteCount = bmpData.Stride * Height;
Buffer = (Pixel*)Marshal.AllocHGlobal(ByteCount);
PixelWidth = GetPixelWidth(in bmp);
System.Buffer.MemoryCopy(
(int*)bmpData.Scan0,
Buffer,
ByteCount,
ByteCount);
bmp.UnlockBits(bmpData);
}
private static int GetPixelWidth(in Bitmap bmp)
{
switch (bmp.PixelFormat)
{
case PixelFormat.Format32bppRgb:
case PixelFormat.Format32bppArgb:
return 4;
default:
throw new NotSupportedException(nameof(Bitmap.PixelFormat));
}
}
public void Dispose()
{
Marshal.FreeHGlobal((IntPtr) Buffer);
}
}
[StructLayout(LayoutKind.Explicit)]
public readonly struct Pixel
{
[FieldOffset(0)]
public readonly int Value;
[FieldOffset(0)]
public readonly byte Channel1;
[FieldOffset(1)]
public readonly byte Channel2;
[FieldOffset(2)]
public readonly byte Channel3;
[FieldOffset(3)]
public readonly byte Channel4;
}

Takafusa · 30. April 2021, 17:13

@C.O.D.E
Ist 2.bmp bekannt bei der Suche? Oder war es Ziel diesen Bereich zu finden und die Koordinaten zurückzugeben, ohne 2.bmp als vergleich zu nutzen?

Hab was vergessen wegen der verschiedenen Auflösungen, du müsstest wenn du meinen Code verwendest die Anzahl der Pixel in einer Zeile anpassen, ich hab fix 500 genommen, bei kleineren Auflösungen könnte das zu hoch sein.

VB.NET-Quellcode

If matchInLine > 500 Then

C.O.D.E · 30. April 2021, 19:30

Vollzitat des direkten Vorposts entfernt ~VaporiZed

Nein, 2.bmp ist nicht bekannt. Hier sind viele Codes nun gepostet worden und ich gucke mir jetzt erst mal alle an.

Danke an euch alle!

RodFromGermany · 30. April 2021, 19:45

C.O.D.E schrieb:

VB.NET-Quellcode

If matchInLine > 500 Then

Solche Tests sind stets mit Vorsicht zu genießen und können im wahren Leben sehr dynamisch sein.
Ich würde den Wert dafür in die Settings packen.

Takafusa · 30. April 2021, 20:01

Für alle Fälle auch noch, mein Code funtioniert so nur mit 24bbp Bildern, da deine Bitmap 3 Bytes pro Pixel für die Farbe nutzt und keine Alphakanal hat. Du kannst aber das Format auslesen und es anpassen, falls Transparenz ins Spiel kommt. Dann hast du 32bbp also 4 Bytes pro Pixel.

Das Array pixelData ist so aufgebaut: 24bbp

byte b //pixel x0 y0
byte g
byte r
byte b //pixel x1 y0
byte g
byte r

Mit alpha 32bbp

byte b
byte g
byte r
byte a
byte b
byte g
byte r
byte a

C.O.D.E · 2. Mai 2021, 01:19

@Facebamm Leider kann ich diesen Code nicht in vb.net übersetzen. Sieht aber spannend aus! Gibt es eine Möglichkeit den elegant und funktionierend in vb.net zu übernehmen?

Takafusa · 2. Mai 2021, 07:23

Nimm das:
converter.telerik.com/

RodFromGermany · 2. Mai 2021, 08:47

@C.O.D.E Die VMLLib kannst Du doch als solche Deinem Projekt hinzufügen, das würde ich nicht übersetzen.
Das Testprogramm kannst Du einfach übersetzen.

Takafusa · 2. Mai 2021, 09:00

Auch fiel mir grad ein, das Facebamm in seinem 2. Code unsafe verwendet, das kannste so nicht in VB machen.

RodFromGermany · 2. Mai 2021, 09:04

Und ich merke grade, dass dieses Programm (Link von @Facebamm in Post #9) wenig getestet wurde, es knallt an allen Ecken und Kanten.
Werd mich mal eine Weile damit befassen.
====
Man muss die Gebrauchsanleitung im Video ansehen, um die richtige Reihenfolge der Button zu erfahren.
Leider erhalte ich bei 2 und 4 Centroids unterschiedliche Best Match Images, das spricht nicht unbedingt für Stabilität und Robustheit.

Bilderkennung mit positionsrückgabe (X,y)

Bilderkennung mit positionsrückgabe (X,y)

RodFromGermany schrieb:

C#-Quellcode

VB.NET-Quellcode

C#-Quellcode

C#-Quellcode

VB.NET-Quellcode

C.O.D.E schrieb:

VB.NET-Quellcode

Ähnliche Themen

7 Benutzer haben hier geschrieben