Tra i terzieri in cui in passato era suddiviso il comune di Sefro figura Sassi (Saxorum), dove tra la fine del Duecento e l’inizio del Trecento sorse, in posizione centrale, il Castrum Sefranum. Questa fortificazione, con torre, portico e annessi edifici, fungeva da presidio militare e da rifugio per l’intera comunità in caso di attacchi nemici, come accadeva per molti altri castelli dell’area.
Il borgo conserva ancora oggi un’impronta medievale ben riconoscibile: case addossate l’una all’altra, viuzze strette, archivolti e sottopassi raccontano una storia secolare. Durante il dominio dei Da Varano di Camerino, il castello passò sotto il loro controllo. Di quella struttura, oggi conosciuta impropriamente come “Torre dei Varano”, restano tracce che permettono di intuire l’assetto originario.
All’interno di alcune sale è ospitato il Museo della Civiltà Contadina, con una raccolta di utensili e oggetti d’uso quotidiano che illustrano la vita domestica e agricola tra Ottocento e primo Novecento.