Il Castello di Passirano è immediatamente riconoscibile da considerevole distanza, anche grazie alle sue due torri a pianta semicircolare sul lato sud, una quadrata sull'angolo nord ovest e una di notevoli dimensioni sul lato est. E' a pianta rettangolare, con muri alti e massicci, con pietre e grossi ciottoli a vista, senza finestre, con qualche rara feritoia. Di aggiunta ottocentesca sono la merlatura ghibellina e le appendici sulla torre orientale. Al castello ricetto si accede da nord attraverso un ricco portale di fattura settecentesca in pietra di Sarnico.
La fortificazione fu eretta probabilmente attorno al 1100, a scopo di rifugio per la popolazione locale in caso di attacchi barbari, fu ricostruita tra il XIII e il XIV secolo. Passato il castello nelle mani dei conti Capriolo prima, i Martinengo Colleoni ed i Fenaroli poi, le casupole furono ridotte prima a scuderie e poi utilizzate come abitazioni per i domestici del signore della villa padronale, Fassati Barba, costruita tra il XVI e XVII secolo a fianco del castello.