Nace en Buenos Aires en 1897.
Estudia Matemáticas en el Instituto del Profesorado Secundario, donde se gradúa en 1918. En 1920 obtiene el título de Ingeniero en la Facultad de Ciencias Exactas, Físicas y Naturales de la UBA.
Durante 10 años se desempeña como docente en la Facultad de Química Industrial de la Universidad del Litoral, institución de la cual llegaría a ser Decano.
En colaboración con Babini, Mieli y Rey Pastor conforma un equipo académico, organizando conferencias, reuniones y debates, algunas de carácter público como las Primeras Jornadas de Epistemología e Historia de la Ciencia, realizadas en 1948.
En 1939, José Babini y Aldo Mieli crean el Instituto de Historia y Filosofía de la Ciencia de la Universidad del Litoral y editan una versión argentina de la revista especializada "Archeion". A partir de 1955, Babini es nombrado, sucesivamente, Organizador de la Facultad de Ciencias de la UBA, Decano Interventor de la misma (1956), Organizador y Rector Interino de la Universidad del Nordeste (1957) y Director General de Cultura. Luego pasa a formar parte del CONICET y es el primer Presidente del Directorio de la Editorial Universitaria de Buenos Aires (EUDEBA).
En 1949, es publicada la obra: Historia de la Ciencia Argentina, primer libro sobre historia de la ciencia de nuestro país, y en 1954, La evolución del pensamiento científico en la Argentina.
Ambos trabajos presentan por primera vez, un panorama de la Historia del desarrollo nacional. Su obra cuenta con unos 50 libros y decenas de artículos.
Babini obtuvo importantes reconocimientos, como el Gran Premio de Honor de la Sociedad Argentina de Escritores de 1980, el primero otorgado a un escritor científico.
Muere en mayo de 1984.