Nacido el 9 de noviembre de 1936 en San Sebastián, Ybarra era licenciado en Derecho por la Universidad de Valladolid y en Ciencias Económicas por la Universidad de Deusto.
Buena parte de su carrera profesional estuvo ligada a la banca y en 1976 accedió al puesto de consejero delegado del Banco de Bilbao, luego a su vicepresidencia y más adelante a la del Banco de Bilbao Vizcaya (BBV).
Tras la fusión de esta entidad con Argentaria, Ybarra pasó a copresidir el grupo resultante junto a Francisco González, quien finalmente se quedaría como único presidente de la entidad hasta finales de 2018.