Bei so geringen Anforderungen solltest du dir bei keiner Datenbank wirklich Sorgen machen müssen. Du hast recht. Der Verbindungsaufbau kostet recht viel Zeit. Aus meiner Erfahrung heraus ist das vor allem auch beim ersten Mal wo eine Verbindung aufgebaut wird der Fall. Ich schlussfolgere daher, dass es intern wahrscheinlich einen Cache oder etwas ähnliches gibt. Ich weiß nicht wie du auf die Datenbank zugreifst. Ich verwende meistens etwas LinqToSql basiertes. Hier habe ich vor allem auch die Erfahrung gemacht, dass Abfragen die das Erste mal laufen länger dauern als wenn sie schon öfters durchlaufen wurden. Hatte kürzlich ein Projekt wo in einer einzigen Abfrage eine ganze Statistik errechnet wurde. Die gesamte SQL Abfrage die am Ende raus ging war fast 150 Zeilen lang und recht komplex. Da hatte ich schon gemerkt, dass es beim Ersten mal etwas länger dauerte. Es handelte sich dabei ebenfalls um eine ASP.NET Anwendung und muss sagen, dass es das Erste mal bei fast 3-4 Sekunden liegt (wenn ich den IIS neu hoch fahre). Nachdem man die Seite jedoch ein paar mal aufgerufen hat und 10 Minuten darauf herumnavigiert ist, gehen die Abfragen innerhalb von Bruchteilen einer Sekunde über die Bühne.
Würde mir da also nicht allzu viele Gedanken machen. Was mir gerade auch beim Anlegen von Datensätzen beim SQL Server schon öfters recht viel Performance gebracht hat, war das Arbeiten mit Transaktionen. Heißt nicht zu oft commiten. Außerdem wenn du LinqToSql verwenden solltest, würde ich versuchen möglichst alles was du brauchst in eine Abfrage zu verpacken. Wenn im Hintergrund zig Abfragen raus gehen so verzögert sich das alles doch recht stark.

Glaub mir. Ein z.B. SQL-Server ist für ganz andere Belastungen ausgelegt. Am meisten kannst du da bei deinem Code ausrichten. Ich weiß nicht welche Version von Visual Studio du hast. Wenn du Ultimate (oder auch Prof??) hast, dann kannst du mit Hilfe von IntelliTrace die Datenbankabfragen anschauen und so sehen wo noch eventuell etwas zu holen. Diverse Profiler können das auch anzeigen (z.B. Redgate Performance Profiler) oder es gibt sogar auch eigene Datenbankprofiler (wobei das bei dir sicherlich zu übertrieben ist).