El Museo se encuentra instalado en la antigua Casa-Cuartel de la Plaza de los Mesones, en un entorno que aglutina varios de los elementos más destacados del patrimonio segorbino como el Acueducto medieval, las torres del Botxí y de la Cárcel o el Portal de Teruel, construcciones que junto al tramo de muralla medieval conservado entre ambas torres formaban parte del recinto murado de la ciudad durante la Edad Media. Su construcción viene fechada en base a una inscripción colocada en la parte central de la fachada que dice:
AÑO 1792
5º. DEL REYNADO DE
NUESTRO CAT.º
MONARCA
EL Sr. D. CARLOS
(IV.)
DEL CAUDAL PUBº.
DE ESTA
CIUDAD.
Las causas de su edificación, señala F. J. Guerrero Carot, se deben al recurso planteado por la Justicia y Regimiento de Segorbe al Real Consejo solicitando permiso para construir una Casa-Cuartel con destino al alojamiento de las tropas establecidas en la ciudad, liberando así a los vecinos de tal obligación “… pues tan penosa parecía esta carga que todos
clamavan por su construcción …”. El vecindario incluso llegó a ofrecerse a “… conducir los materiales al pie de obra y asistir con peonadas correspondientes …”.
Para proceder a su construcción la Justicia y Junta de Propios concedió un terreno “propio del Común” que hasta entonces “… sólo había servido de Muladar o corrales de la Manobra, donde se ponían los materiales para las obras de la ciudad”. Ante tales facilidades, el día 2 de octubre de 1787 el Real Consejo concedía el Decreto por el cual se construiría la Casa-Cuartel de Segorbe, fijando las condiciones o cláusulas oportunas.
Los planos del edificio fueron realizados por Vicente Gascó, quien también realizaría la obra de la Casa de la Misericordia en Segorbe o la remodelación de la Catedral. El coste de los trabajos quedó fijado en 3478 Libras y 4 sueldos, de lo que habría que descontar el valor de los materiales aportados por los vecinos que ascendieron a 550 Libras. Con ello, el valor final ascendió a 2928 Libras y 4 sueldos que fueron aportados por el Caudal Público de la Ciudad y por el señor Intendente General del Ejército y Reino.
Las obras comenzaron en el año 1788, utilizándose materiales procedentes del antiguo castillo-alcázar segorbino, entonces ya abandonado y arruinado 
por su empleo como cantera para extraer piedras con la que se acometieron otras importantes obras en la ciudad. Para obtener el permiso pertinente por parte del Duque, el Ayuntamiento envió a éste una representación el 1 de febrero de 1788 en la que, señalan las Actas Municipales, se pedía “… sacar la piedra de la cantera del Castillo …”. El Duque, por su parte, concedía el permiso “… condescendiendo su Exª. Sin perjudicar a la Casa de Misericordia de esta misma ciudad, que se hallaba construyendo desde 1786 con el mismo material”.
El edificio quedó terminado definitivamente, tras varias interrupciones, en 1792. En este mismo año, Francisco Martín, maestro de primeras letras, solicitaba el pago de su trabajo en “… la lápida colocada en el Cuartel …”.
Como señaló en su día Rodríguez Culebras, el edificio es de estilo Neoclásico, muy sobrio, con planta baja y dos alturas marcadas por una sencilla imposta. En los muros se observa la técnica del encofrado, aunque en los ángulos y en el recercado de puertas y ventanas se utilizó la sillería como refuerzo de los vanos. En su frontis se adosó en el siglo XIX una fuente con abrevaderos y sobre ella una edícula para albergar la estatua de la justicia, finalmente no colocada en su lugar.
A los pocos años de ponerse en funcionamiento, en el momento inicial de la Guerra del Francés el Obispo Aguilar recoge un hecho lamentable que se relaciona con este edificio.
Los franceses afincados en Segorbe habían sido trasladados a la Casa-Cuartel para su protección. Pero tras la revuelta encabezada por el canónigo Baltasar Calvo en Valencia en la que fueron asesinados centenares de franceses, en Segorbe se reprodujo la acción. Relata Aguilar que llegaron de los pueblos vecinos varios hombres que agitando a la multitud se dirigieron al cuartel donde, avisado por el síndico, se había situado el comandante Joaquín Martínez con su ronda. No obstante el grupo de exaltados a los que se unieron vecinos de Segorbe no cedían en su actitud a los razonamientos del comandante ni del síndico que había acudido a mediar desencadenándose los acontecimientos.
“Los amotinados rompieron con hachas las puertas del cuartel, mientras otros subidos al tejado abrían un agujero, y entrando por las dos partes mataron a todos los franceses que estaban dentro, tirando por las ventanas sus ropas y despedazados restos: ni uno quedó con vida de tan brutal hazaña. Los asesinos teñidos de sangre entraron las próximas cárceles, soltaron a los presos, menos a Francisco Calvo soldado retirado a quien sacaron a puñados y cortaron la cabeza…”
El edificio mantendría su uso como cuartel en las siguientes décadas para pasar a albergar hacia 1870 el Centro Republicano Instructivo. En fechas más recientes cumplió la función de Cárcel y Juzgados de la ciudad que mantuvo hacia mediados del siglo XX. En la actualidad se ubican en él las instalaciones del Museo Municipal.
