Vermutlich um das Jahr 1200 wurde die Anlage als Reichsburg erbaut. Ihre erste urkundliche Erwähnung ist schließlich für das Jahr 1268 belegt, als der Name im Zusammenhang mit einer Witwe von „Stoltzinecke“ erscheint. Wenige Jahre später erwirbt Pfalzgraf Ludwig II. die Burg, mit der in der Folgezeit verschiedene Adelsfamilien belehnt wurden. 1418 kam Stolzeneck nach dem Tod Albrechts von Erligheim wieder direkt an die Kurpfalz, um 1454 an die Horneck von Hornberg erneut verlehnt zu werden. Als mit Hans von Frauenberg 1611 der letzte Lehensnehmer starb, wurden die Burggebäude nur noch kurzzeitig von einem Hirten-Ehepaar bewohnt. Ab 1612 baute man auf Beschluss des Kurfürsten das noch verwertbare Baumaterial der Burg aus und überließ sie dem Verfall.
Die Burg Stolzeneck ist in eine großzügige, zum Tal orientierte Vorburg mit geringen Gebäuderesten und die bergseitige Hauptburg mit vorgelagertem Zwinger gegliedert. Nach Südwesten setzt ein mächtiger Halsgraben mit sichtbar belassenen Sandsteinfelsen die Anlage vom höheren Berg ab. Ursprünglich besaß die Hauptburg eine völlig andere Gestalt. 1964 kamen bei Ausgrabungen die Fundamente eines Vorgängergebäudes und des früheren Ringmauerverlaufes zu Tage, die im Innenhof deutlich erkennbar sind. Heute besitzt Stolzeneck besitzt keinen Bergfried oder andere Türme. Ihr Markenzeichen ist vielmehr eine mächtige Schildmauer mit einer Höhe von 21 m und Mauerstärken von fast 3 m. Ein mit Buckelquadern verkleideter unterer Bereich lässt vermuten, dass die Schildmauer ältere Bausubstanz abgebrochener Bauten zweitverwendet und vermutlich erst im 14. Jahrhundert entstanden ist.
Gut zu erkennen sind die wiederverwendeten Buckelquader im unteren Teil der Schildmauer.
Diese, die Hauptburg wie ein vorgelagerter „Schild“ schützende, heute noch begehbare Schildmauer war einst vom deutlich tiefer gelegenen Wehrgang der Ringmauer zugänglich. Über eine Holzkonstruktion entlang der Hofseite erreichte man den Eingang in zwei Dritteln der Höhe. Dieser Höhenunterschied wird heute durch eine Treppe in Stahlkonstruktion erschlossen. Das letzte Drittel zum begehbaren Wehrgang überwindet man über eine steinerne Treppe im Innern der Mauer. Wenn auch der Ausblick durch die nahen Baumbestände heute stark eingeschränkt ist, so wird der Besuch der eindrucksvollen Schildmauer dennoch zu einem herausragenden Erlebnis. Auf der gegenüberliegenden Seite des Innenhofes befindet sich der mehrgeschossige Palas. Er tritt weit über die nördliche Flucht der alten Hauptburg hinaus, die hier bei seiner Erbauung komplett abgerissen worden war. Trotz einiger wiederverwendeter Bauteile seines Vorgängers, lässt sich der Wohnbau anhand der spätgotischen Fensterformen ins 15. oder 16. Jahrhundert datieren.