Beeindruckend ist das imposante Gebäude in der Nord-Ost Ecke der Ringmauer. In diesem viergeschossigen Kastengebäude, dem sogenannten Hofkasten, aus dem ersten Drittel des 14. Jahrhunderts wurden alle salzburgischen Zehente aus Kärnten und dem Neumarkter Gebiet abgeliefert. So fielen jährlich riesige Mengen an Getreide und Lebensmitteln an, die vom Hofkastner verwaltet und vermarktet wurden. Das Hofkastenamt wurde meist an einen Friesacher Bürger übertragen, der mit seinem gesamten persönlichen Besitz haftete.

Im Erdgeschoss gab es Stallungen, darüber große Vorratsräume und Schüttböden.