1271 wird die auf einem Hügel im Norden der Stadt stehende „Geiersburg” aus der ersten Hälfte des 13. Jahrhunderts erstmals urkundlich erwähnt. Der Bergfried war ursprünglich in die Stadtmauer des frühen 13. Jahrhunderts eingebunden. 

In der Ringmauer wurde im 14. Jahrhundert im Obergeschoß eines Torturmes die Annakapelle eingerichtet.

In der Folge hatte Geiersberg zahlreiche Lehensinhaber und wurde nach einem Brand 1690 wieder instandgesetzt. Nach häufigen Besitzerwechsel unterzog man die Burg, die seit 1750 unbewohnbar war, 1911 einer umfangreichen Restaurierung. Der heutige, an den romanischen Bergfried angebaute Wohntrakt ist ein Neubau in historisierender Form.

Die Burganlage ist in Privatbesitz.