El museo se asienta en una antigua fortaleza construida en el siglo XVI. De los siglos XVI al XVIII fue un edificio defensivo y prisión, más tarde fue utilizado como lazareto para aislar a los marineros que llegaban a la ciudad afectados de alguna enfermedad infecciosa. El museo como tal se inauguró en 1968. Se considera Monumento histórico-artístico desde 1949 y desde 1994 Bien de Interés Cultural.

El museo alberga objetos de arqueología como: orfebrería protohistórica, megalitismo, Edad de Bronce, cultura castreña, romanización y distintos aspectos de la ciudad. Parte de estos objetos proceden del Castro de Elviña .