Francisco Javier que fugara la tarde del 2 de agosto de 1809 por la quebrada del Real de Lima para refugiarse en los arrabales, asoma todavía temeroso. Javier no entregara a la Real Hacienda, por los Tributos de Indios. En efecto, el 23 de Noviembre de 1810 había depositado solamente 4000 pesos, los 2000, por 1805 y 1806, y el resto, por 1808. Anteriormente enviara Riobamba algunos miles, pero no con toda la seriedad posible. El mismo sueldo que le correspondía como corregidor recibía su padre. Había ciertos motivos para ello: Gustaba de ir un lugar a otro, empleado mucho dinero. Le apasionaba la elegancia y la distinción. Vivía para el derroche y para extraer el jugo alegre de la vida. Su padre critico muchas veces esta conducta. Disgustado por ello, cuando lo designaron Corregidor de Riobamba, solicito la garantía hipotecaria a su tío Pedro.
El 27 de julio de 1814 asaltan a la casa de los Montufar: rompen la puertas y destrozan las habitaciones de Francisco Javier. Este protesta ante el Mandatario y solicita el pasaporte para dejar este país “tal vez para siempre”. Tanta intriga, tanta perversidad, le irritaban al extremo. Asi en Enero de 1813, le acusaron de cierta complicidad en las desapariciones de joyas, como depositario de ellas por encargo de la Junta Suprema. Cuando su padre fue desterrado a Loja, el se encargo del obraje de Chillo y de las haciendas de Pinllocoto, Chaupi y Tigua, empleando en implementos de labranza, semillas y más gastos, 9007 pesos y 1 ½ reales, evitando así el remate y destrucción de tan valiosas propiedades, como fuera la intención de sus enemigos. Después reconocerá su padre en la Segunda Junta de Gobierno de todos los afanes y sufrimientos, manifestará complacencia por su espíritu trabajador y depositara en su talento y dinamismo la esperanza del Marquesado. Considerándolo factor activo en la frustrada revolución de 1815 se lo proceso nuevamente, se confisco sus bienes y se le confino a Esmeraldas, y luego a España. Doña Rosa favoreció a su desgraciado hermano con 9.500 pesos, por intermedio de la administración de Alcabalas de Quito. Una vez en Madrid se relaciono con lo granado de la sociedad. Se enamoro locamente de una hermosa española e inmediatamente se desposo, entregándole a Selva Alegre un hermoso nieto que lo llamo Juan Pío, el cuarto Marques. Este murió sin descendencia.Francisco Javier, que fugara la tarde del 2 por la quebrada del Real de Lima para refugiarse en los arrabales, asoma todavía temeroso. Javier no entregara a la Real Hacienda, por los tributos de indios.