Du könntest Dir einfach im Form_MouseDown-EventHandler die Startkoordinaten der Maus merken und im MouseUp die Endkoordinaten und dann alle Controls durchgehen und schauen, ob Deine Panels dabei sind.
Ich weiß zwar nicht, was es werden soll, aber das Form_MouseMove-Event feuert doch. Nutze es. Ausbaufähig, aber vom Prinzip her funktionierend: VB.NET-Quellcode (23 Zeilen) ########## Achso. Das ist nicht, was Du willst, ok.
Du kannst einen kleinen Trick anwenden: Missbrauche Drag&Drop für Deine Zwecke. Stelle bei allen Panels AllowDrop auf True und dann: VB.NET-Quellcode (27 Zeilen)