La naissance du CRIF se situe au cœur de la Shoah.

De nombreuses organisations politiques et culturelles, ainsi que des institutions cultuelles et sociales fonctionnaient avant la guerre, dont le Consistoire Central en France et en Algérie, l'Alliance Israélite Universelle, la Fédération des sociétés juives de France, l'ORT, l'OSE, les scouts juifs de France. Existaient aussi des groupes proches du Parti communiste, des formations sionistes, le Bund (le socialisme juif), une association d'étudiants juifs, des jeunes groupes Halutziques, des cercles religieux et laïcs.

Les rafles ont commencé dans la communauté dans les zones Nord et Sud en 1941. Les premières cibles étaient les juifs étrangers. Des organisations juives mirent en place des opérations de secours pour obtenir des faux papiers, des moyens de subsistance, cacher les enfants.

En juillet 1943, des négociations ont permis la création du Comité général de défense juive. Un accord fut conclu avec le consistoire Central menant à la création dans la clandestinité du Conseil représentatif des israélites de France (d'où l'acronyme CRIF), dont la charte a finalement été rédigée en 1944.

La première mission du CRIF fut d'unifier toutes les opérations de secours. Le CRIF était la seule représentation politique de la communauté organisée et il oeuvra à l'unité de la communauté. Son premier president était Leon Meiss. D'autres noms prestigieux ont contribué à la naissance du CRIF: Léo Glasser, Joseph Fisher, Nahum Herman, Zvi Levin, Michel Topiol, Joseph Frydman, F. Schrager, Adam Henry, Claude Kelman, Adam Rayski.

De 1945 à 1947, la communauté devait être reconstruite. 76 000 Juifs avaient été déporté de France vers les camps de la mort pendant la Shoah. Le CRIF accomplit les formalités nécessaires auprès des autorités pour fournir une aide légale et une assistance sociale aux victimes de guerre. Sur le plan international, l'institution a développé des contacts avec le World Jewish Congress et d'autres d'organisations anglosaxones comme l'American Jewish Committee.

Depuis sa création, 10 présidents ont été à la tête du CRIF: Leon Meiss (1944-1950), Vidal Modiano (1950-1969), Ady Steg (1970-1974), Jean Rosenthal (1974-1976), Alain de Rothschild (1976-1982), Théo Klein (1983-1989), John Kahn (1989-1995), Henri Hajdenberg (1995-2001), Roger Cukierman (2001-2007).

Depuis le 13 mai 2007, le CRIF est presidé par Richard Prasquier