Soll wohl angeblich auch ohne gehen, wenn man sich C#-Designer-Code zum einen und den VB.NET-Code mit MyButton.GenerateMembers = False anschaut. Gefallen tut es mir zwar nicht, aber ich habe bisher noch kein Szenario gehabt, in dem es da ohne RemoveHandler Probleme gab. Vielleicht sind meine Apps zu simpel.
Hier ein Text, den ich dazu fand.

nein, da passiert nix.
AddHandler schreibt einen Delegaten in eine EventhandlerList des Buttons.
Wird mit weggeschmissen, wenn der Button Disposet.

So können wir uns wohl merken: Ist der EventSender Eigentum der EventHandler-Klasse (Button ist Eigentum der FormKlasse), ist es wurscht.
Ist diese Beziehung nicht gegeben, ist es nicht wurscht. Das wär dann z.B. bei Objekten, die beide Eigentum einer Klasse sind, aber trotzdem mittels Events miteinander reden sollen. Oder auch bei Objekten, die programmübergreifend existieren. Das wär z.B. bei UIAutomation der Fall, bei dem die eigene App auf Ereignisse eines Controls einer anderen reagieren soll, da dann nicht klar ist, wer länger existiert: FremdApp-Control oder eigene App.