Construcción barroca del siglo XVIII, estä realizada en ladrillo visto como elemento de revestimiento, balcones adintelados con antepechos de hierro y adornos barrocos formados por decorativos frontones partidos, en su parte superior. En su fachada encontramos tres grandes pilastras de orden compuesto.

Consta de semisótano, entresuelo, piso principal y segundo piso. De su fachada destacan cuatro balcones en el piso principal y otros tantos más pequeños en el segundo piso. Decorados los del primer piso en su parte superior por frontones partidos, los dos de los extremos son curvos, mientras que los dos interiores son rectos. Distribuidos por distintos lugares de la fachada encontramos decoración con máscaras burlescas. Aún dispone de otro balcón del mismo tipo que los anteriormente citados, en la fachada recayente a la calle Salinas.

El palacio se distribuye en torno a un patio central descubierto que dispone de grandes arcos carpaneles. Dispone de una escalera de piedra que da acceso al piso principal.

El antiguo edificio de estilo gótico, fué adquirido por la familia irlandesa de los Hollier, que lo reformó en el siglo XVIII en estilo barroco y colocó su escudo en el dintel de la portada. Una descendiente de los Hollier casó con el II Conde de Alpuente (Francisco Javier de Aspiróz y Montalvo), y será de éste de donde el palacio tome el nombre que ahora lleva.

Portada
                                             Portón 

Posteriormente el palacio fué adquirido por la familia Oller, sustituyendo el escudo de la puerta por el propio de su familia, que a la postre es el que ahora vemos en el dintel de la portada.

Fué sede de la Real Sociedad Económica de Amigos del País y en la actualidad desde 1992 es sede de una empresa de ingeniería (Diez Cisneros) que ha conservado el palacio tal y como fué encontrado, es decir con una fuerte reestructuración interior que llevó a cabo un famoso pintor (Manuel Valdés) que distorsionó la decoración interior original del palacio. En la actualidad podemos ver en los techos de las escaleras pinturas al fresco, con temática de inspiración clásica obra del pintor Julio Marcos Caparrós.