La historia de este edificio es compleja y hermosa. Nos habla del tesón de la Ciudad por recuperar y mantener su Sede Episcopal, de las penurias económicas que vivió por esta causa a finales del siglo XVI y de las estrategias financieras que hubieron de desarrollarse para sacar la obra adelante. Finalmente, nos habla de un prelado ambicioso que quiso perpetuar su fama y su gloria mediante su participación en el proyecto.
Los quinientos años de vida de este palacio recobran ahora toda su significación histórica.
Tras varios años de pleitos por la restitución de la Diócesis, en 1571 se expediría finalmente la Bula de erección en Catedral de la iglesia de Santa María Barbastro. Un año después, el Concejo de la Ciudad se comprometería a proporcionar a los nuevos prelados, una residencia acorde con su dignidad.
Algunos aspiraban a que la Ciudad construyera a sus expensas un edificio de nueva planta junto a la Peñeta (núcleo fundacional y centro de poder del Barbastro medieval). Pero el Concejo esgrimió una serie de razones que justificaban lo inadecuado de tal emplazamiento: los desniveles que lo rodeaban, la abundancia de manantiales en su subsuelo, la orientación a faz fuerte y tramontano, que en esta tierra para todo tiempo es inevitable, la frecuencia con la que se producían desprendimientos, la escasa preeminencia del emplazamiento (enseñoreado incluso por la casa del Deán y encerrado por múltiples construcciones) o el hecho de que las calles vecinas fueran poco decentes.
Pero sobre todo, fueron los gastos ocasionados por largos años de pleitos y por la construcción del templo actual, lo que incapacitaba a la Ciudad para acometer una obra de tal magnitud: estas obeyas han dado toda su lana por el pastor y por acudir a las cosas del serviçio de Dios (···) y por esto está tan del todo consumida y acabada (···). Ponerla agora en fábrica tan grande, sería sepultarla y tratar de lo imposible.
27 años después, en 1598, bajo la presión de un prelado deseoso de honrarse y dexar memoria, la Ciudad optaría por una solución de compromiso, para dar contento al señor obispo y hechar a una parte un negocio que ha tantos años dura y ha de resultar en mucha honra de la ciudad.
Al comprar toda una manzana de principales y sumptuosos edificios junto al atrio oriental de la Seo, se dotaría al obispo Don Carlos Muñoz Serrano de una vivienda digna. Ni las de Huesca y Lérida son tan buenas ni de tanto aposento, ni están tan acomodadas, pues tiene abundancia de aposentos buenos, bodegas, caballerizas, poçales, guertos, corrales, poços, coçinas, que pensar de hazerlo todo esto de nuevo, sólo el pensarlo pareçe que asombra. El sitio es grande y bastante apegado a la catedral, es sano y apacible en todo tiempo, con vista ancha y alegre y cuenta con patios, que es cosa muy importante que los prelados se aficionen en alabrar en ellos.
Si en el futuro los prelados de Barbastro deseaban contar con un palacio más ostentoso, la obra habría de correr a sus expensas dado que la Ciudad, una vez adquiridas y adecuadas las casas, daría por cumplida su parte del trato. De momento, y puesto que la obra habría de llevarse adelante en parte por el empeño de aquel pastor, no podía exigírsele menos que una pequeña aportación económica. Mientras tanto el Concejo idearía una compleja estrategia financiera para poder cumplir su compromiso económico.
Entre 1598 y 1600 se desarrollaron las obras de adecuación de las cuatro casas adquiridas, bajo la dirección de maese Andrés Castillón, maestro de villa, y Pedro de Ruesta, fustero. Se salvaguardaría todo aquello que pudiera ser reutilizado (cocinas, alcobas, salas, cuadras, bodegas, …) y sólo se construirían de nueva planta algunas estancias, como la capilla y parte de las fachadas, con el fin de dotar al exterior del coherencia y uniformidad.
Al exterior, la obra del siglo XVI respondía genuinamente al tipo palacial aragonés, caracterizado por la sobriedad de las formas, por la italiana horizontalidad de las fachadas, por la expresividad del ladrillo y sobre todo por la elegantísima y rítmica sucesión de espacios abiertos y cerrados en la galería de arcos bajo los aleros.
Acabadas las obras, el obispo Don Carlos Muñoz moriría en su nuevo palacio el 14 de marzo de 1604, a la edad de 72 años y durante los siglos siguientes seguirían viviendo y muriendo en él muchos otros prelados.