Verso la metà del X secolo d. C. fu edificato dai monaci Farfensi il castello primo nucleo abitato del paese, denominato Montebello; poco dopo passò sotto la denominazione della Cattedrale di Fermo, che ne mutarono il nome in Grotta dei Canonici (Crypta Canonicorum). Insieme al quartiere Cozzana è più antico di Grottazzolina ed è il più elevato. Castello Azzolino sorge un un alto podio di tufo, circondato da mura in pietra e in cotto, a scarpata. Era anticamente difeso da quattro torrioni angolari, perditi per successivi crolli o demolizioni. Lungo il perimetro quadrilatero delle mura, si aprono delle Grotte ottenute scavando nel tufo da adibire a rimesse, cantine e negozi.