Eigenes Protokoll? Oder nur eigener Client / Server? Da die C++-Standardbibliothek keine Netzwerkfunktionen mitbringt, wirst du dich zumindest für eine andere Bibliothek entscheiden müssen, bevor dir jemand Literatur empfehlen kann.

Das Prinzip is ganz einfach, Bildschirmfoto erstellen, mit dem vorigen Abgleichen und nur die Änderungen übertragen um Overhead zu sparen. Mauskoordinaten können auch einfach übertragen werden sowie Mausklicks oder Tastertureingaben.

Wie schätzt du denn deine Skills in C++ oder anderen Sprachen ein? Denn sowas macht man nicht mal so eben schnell. Hier gabs mal ein Community Projekt, welches mit VB.NET so ein Remotetool realisieren wollte, wo schon einige mitgemacht haben die Proggen können und trotzdem wurde es nie fertig, weils einfach zu Komplex war letztendlich. Hierfür sind schon sehr Fortgeschrittene Kenntnisse nötig und glaub nicht das du genau zu diesem Thema Infos findest, sondern musst dich halt allgemeiner Informieren und das für dich notwendige dann rausfiltern und anwenden.

Mal so aus Interesse: Da du das anscheinend nicht aus Langeweile machen willst ("es soll ein Tool erstellt werden"), frage ich mich, warum denn die oben genannten Alternativen nicht in Frage kommen (sprich: VNC oder TeamViewer).

Weißt du denn überhaupt genau, was du machen willst, außer, dass es in C++ geschrieben sein soll?

Dann schau in eine der zahlreichen Veröffentlichungen zu VNC (RFC, Alternative) oder RDP (Spezifikation). Sehr viele Protokolle, die heute im Internet und anderen Netzwerken verwendet werden, sind öffentlich dokumentiert. Du kannst quasi alles nachlesen. Was es hingegen nur selten gibt sind Dokumente der Art "Tutorial zu Protokoll X". Wer sich ernsthaft damit beschäftigt, braucht sowas nicht und daher existiert sowas nur zu einigen wenigen Protokollen, die oft als Lehrbeispiel herhalten müssen (SMTP wäre so ein Kandidat).

Wenn ich mich nicht ganz irre hatte @LaMa5: sowas ähnliches auf seiner Firmen HP, vielleicht könnte er dir was dazu sagen?