Caan había nacido en El Bronx, Nueva York, el 26 de marzo de 1940, hijo de Sophie y Arthur Caan, una pareja de inmigrantes judíos procedentes de Alemania. Se graduó en la escuela de actores Neighborhood Playhouse de Nueva York, y uno de sus profesores fue el legendario Sanford Meisner, conocido por desarrollar un método interpretativo denominado Técnica Meisner. También jugó al fútbol americano en la Universidad Estatal de Míchigan.