En 1840, une vingtaine d'exploitants de carrières de pierre de taille du bassin parisien, de l'Oise et de l'Yonne décidèrent de se rassembler en une société.

Ils pensaient à juste titre, Paris se construisant alors essentiellement en pierre, qu'il ne leur serait pas inutile de se renseigner mutuellement, aussi bien sur la solvabilité de leur clientèle que sur les règlements administratifs, en même temps qu'ils en profiteraient pour informer l'administration de leurs besoins et désirs propres.
La dernière phrase des statuts qu'ils rédigèrent à l'occasion de la création de leur groupement explicitait fort clairement que celui-ci aurait pour objet : "de faire jouir une branche de commerce importante de l'avantage de voir ses intérêts administratifs et commerciaux représentés et protégés".

Cette même année de 1840 voyait se réunir, dans un but identique, les fabricants de plâtre. Il semblait souhaitable que les dirigeants des sociétés de carriers et de plâtriers, dont les objets étaient si manifestement proches, en vinssent à s'entendre… Ce qu'ils firent effectivement…, trouvant plus simple et plus efficace, de se réunir en un comité central.

La Chambre syndicale des marchands carriers et fournisseurs du bâtiment était née. C'était l'unité fondamentale autour de laquelle allait se construire l'UNICEM qui venait de naître.

L'évolution économique amena ensuite l'organisation à se transformer dans sa structure et dans sa dénomination. La Chambre syndicale des marchands carriers et fournisseurs du bâtiment de 1840 devenait en 1889 "L'Union Syndicale des Fournisseurs du Bâtiment", qui prenait en 1920 l'appellation de "Fédération Industrielle des Matériaux de Construction", puis, en 1937, celle d' "Union Nationale professionnelle des Matériaux de Construction et Produits de Carrières" pour devenir enfin, le 17 décembre 1965, "l'Union Nationale Interprofessionnelle des Carrières et Matériaux de Construction".
En même temps qu'elle se transformait sous ces appellations successives, l'UNICEM voyait se rassembler autour des premiers pionniers de l'organisation une trentaine de professions telles que celles des granulats, des produits en béton, du béton prêt à l'emploi, de la craie, du marbre, du granit, de l'ardoise, des sables industriels etc.

En tant qu'organisation professionnelle responsable de l'établissement d'une politique constructive, l'UNICEM avait rapidement perçu que les professionnels ne pouvaient s'intégrer dans un environnement en perpétuelle évolution, pour y mener des actions conformes à leurs intérêts propres et à l'intérêt de la communauté, que s'ils s'assemblaient non seulement par branches ayant des activités proches, mais également par branches ayant des activités éloignées.

C'est ainsi que dans les années 20, l'UNICEM, alors Fédération Industrielle des Matériaux de Construction, adhérait à la Confédération Générale de la Production Française, puis, en 1936, à la Confédération Générale du Patronat Français.

Enfin, en 1946, l'UNICEM devenait le membre actif, qu'elle est restée, du Conseil National du Patronat Français.

Soucieuse d'être pour ses entreprises adhérentes autre chose qu'une organisation professionnelle de défense de type classique, l'UNICEM, réceptive à la définition que donnait de l'organisation professionnelle moderne le président Georges Villiers, tentait de devenir "un rouage essentiel de l'économie de notre pays qui permette aux entreprises de recueillir dans la liberté l'énergie née d'efforts collectifs."