Das Gebäude besteht aus verputztem Bruchsteinmauerwerk. Die hohen ziegelgedeckten Satteldächer, und die schematisch angeordneten, mit Sandsteinrahmen versehenen Steinpfostenfenster vermitteln den Eindruck einer fürstlichen Schlossanlage.
An der Außenseite des Nord- und Westflügels befinden sich langrechteckige Fensterschlitze. Sie verweisen immer noch auf die Funktion als Lagerort von Waffen. Eine Besonderheit des Gebäudes sind die am westlichen Hauptflügel errichteten dreigeschossigen, geschweiften Rollwerkgiebel. Die einzelnen Giebel werden durch das Gesims optisch gleichmäßig unterteilt. Sie sind die ältesten und zugleich am meisten geschmückten ihrer Art in Mainz.
An der nördlichen Giebelseite des Hauptflügels befindet sich am Hauptzugang des Zeughauses die Kopie eines mächtigen Renaissance-Portals. Im Innenhof des Zeughauses steht ein achteckiger Treppenturm. Er reicht bis zum Dachgeschoss und schließt mit einer so genannten welschen Haube in Zwiebelform ab. Durch die größere Tiefe des Südflügels gegenüber dem Nordflügel, scheint er optisch leicht verschoben. Die offene vierte Seite der Dreiflügelanlage wird durch das vorgelagerte jüngere Zeughaus geschlossen.
