Nacido en Courbevoie (oeste de París), el 23 de agosto de 1930, en el seno de una familia protestante, desde su época universitaria estuvo vinculado al socialismo, llegando a ser Secretario Nacional de la Asociación de Estudiantes Socialistas (SFIO), entre 1953 y 1955.
Al año siguiente ingresó en la Escuela Nacional de Administración, de donde salió en 1958 como inspector de finanzas. Desde 1962 hasta 1965 fue jefe de la División de Presupuestos de la Dirección de Previsión y Secretario General de la Comisión de Cuentas y de Presupuestos de la Nación.
Se inscribió en la SFIO (Sección Francesa de la Internacional Obrera), pero abandonó este grupo para adherirse al Partido Socialista Unificado (PSU) cuando comenzaba la guerra de Argelia, formación de la que fue nombrado secretario nacional en 1967, y en la que permaneció hasta 1973.
Inició su carrera política a finales de los sesenta como candidato a la Presidencia de Francia en las elecciones de 1969, por el PSU, en las que obtuvo el 3,1% de los votos. Ese año fue elegido diputado a la Asamblea Nacional por la circunscripción de Yvelines.
En 1974 abandonó el liderazgo del PSU y se afilió al Partido Socialista (PS) de François Mitterrand, del que fue secretario nacional encargado del sector público del partido y miembro del Comité Ejecutivo (1975-1979).
En 1977 fue elegido alcalde de Conflans-Sainte-Honorine, localidad cercana a París, y fue reelegido en 1983.
Al año siguiente de comenzar su militancia en el PS de Mitterrand surgieron las diferencias entre ellos, cuando Rocard criticó el "arcaismo político" que según él practicaba Mitterrand.
En 1979 fue de nuevo candidato a la Presidencia francesa, aunque en 1980 la retiró tras la presentación de Mitterrand.
Rocard continuó su carrera política como ministro de Ordenación Territorial del gabinete de Pierre Mauroy. Tras una reestructuración ministerial fue nombrado ministro de Agricultura en julio de 1984 en el gabinete de Laurent Fabius, puesto en el que permaneció hasta abril de 1985, cuando dimitió para protestar contra la instauración del escrutinio proporcional en las elecciones legislativas.
Como ministro de Agricultura protagonizó buena parte de las conversaciones para la adhesión de España a la Comunidad Económica Europea (CEE).
Después de las legislativas de junio de 1988, con victoria del Partido Socialista, fue nombrado primer ministro por Mitterrand.
En los tres años que estuvo al frente del Ejecutivo hizo frente a la grave tensión social alentada por la huelga del sindicato pro-comunista CGT (Confederación General de Trabajadores) contra la política salarial del gobierno, en 1989, o el escándalo sobre la financiación de los partidos político.
Mientras, siguieron aumentando las divergencias en el seno del PS y entre el propio Rocard y Mitterrand, lo que provocó su dimisión en mayo de 1991.
Ante la crisis de la izquierda y las previsiones de fracaso en las elecciones generales de marzo de 1993, Rocard lanzó un proyecto para crear un nuevo movimiento de izquierda que no prosperó y además perdió su escaño en la Asamblea.
En abril de 1993 renunció a la secretaría del PS y fue nombrado presidente de la "dirección colegiada" del partido, lo que se interpretó como una consecuencia de la lucha entre ambos líderes.
Tras la reunión general de las bases socialistas en Lyon en julio de 1993, tuvo lugar en octubre un congreso extraordinario del PS, en el que Rocard fue elegido secretario general con más de un 80 por ciento de los votos de los delegados, que le daban vía libre para iniciar la "refundación" del partido, pero desde dentro y con el apoyo de las demás familias socialistas.
Sin embargo, el descalabro del PS en las elecciones europeas del 12 de junio de 1994, en las que obtuvo apenas un 14,5% de los votos, truncó estos planes.
Una semana después de los comicios europeos, el 19 de junio, se reunió el Consejo Nacional del PS y Rocard planteó una moción de confianza que perdió, por lo que, a continuación, presentó su dimisión como secretario general del partido.
Rocard mantuvo su escaño en el Parlamento Europeo desde ese año hasta 2009.
Era autor de numerosas obras, entre ellas: "El PSU y el porvenir socialista de Francia" (1969); "Los militantes del PSU presentados por Michel Rocard" (1971); "Cuestiones al Estado socialista" (1972) o "Un deputé, pour quoi faire?" (1973).
Estaba en posesión de la Gran Cruz de la Legión de Honor, de la Orden de Honor de Grecia, de la Gran Cruz del Mérito, y era comandante de la Orden del Mérito Agrícola.
