Durante la carrera trabajó en un despacho de arquitectos. Cuando terminó sus estudios creó su despacho de arquitectos junto con dos socios y participó en varios concursos para la realización de proyectos. Hasta 1994, año en que fundó su estudio de arquitectura propio, estuvo asociado en otras dos ocasiones, cada una de la cual duró cinco años.

Desde que inició su labor como arquitecto, Nouvel ha trabajado intensamente para crear su propio lenguaje arquitectónico, lejos de los estilos del modernismo y post-modernismo. Rechaza las directrices establecidas por Le Corbusier, que han influido a tantos arquitectos, y se plantea cada nuevo proyecto sin ninguna idea preconcebida. De esta manera, sus edificios difieren notablemente el uno del otro, si bien existe un común denominador entre todos ellos, que es la transparencia, así como la luz y las sombras. También le da gran importancia a que sus edificios se integren de forma armoniosa en el entorno.Nouvel participó activamente en las revueltas estudiantiles de 1968 y sigue siendo una persona inconformista y contestataria, aunque mucho más reposada por la edad y por la responsabilidad de su trabajo.

En 1976 Nouvel fue miembro fundador de “Mars 1976″ junto con otros jóvenes arquitectos franceses. También participó en la fundación del Sindicato de Arquitectura.

Nouvel ha ganado numerosos premios de arquitectura y diseño, y ha recibido varias distinciones por su trabajo. En 1980 se le concede la Medalla de Plata de la Académie d’Architecture. En 1983 fue nombrado doctor honoris causa por la Universidad de Buenos Aires. En 1987 recibió el “Grand Prix d’Architecture” por el conjunto de su obra y la “Equerre d’Argent” por sus diseños minimalistas de muebles. Su obra ha sido expuesta en diferentes museo internacionales como el Museo Nacional Centro de Arte Reina Sofía, el Museo de Arte Moderno Exposeum o el Centro de Arte y de Cultura Pompidou de París. En el año 2005 recibió el Premio de la Fundación Wolf de las Artes de Jerusalén.

Una de sus obras arquitectónicas más conocidas es el Instituto del Mundo Árabe, en París. El edificio alberga una importante colección de objetos y escritos del mundo árabe. Las fachadas diseñadas por Nouvel constan de elementos cuadrados, construidos en metal y vidrio. En el centro de cada cuadrado se encuentra un diafragma que se abre y cierra automáticamente según la intensidad de la luz natural del exterior. Con ello Nouvel consigue mantener la iluminación interior en un nivel prácticamente constante. Al mismo tiempo se proyectan hacia el interior las formas de estos diafragmas, que recuerdan ornamentos árabes, y que confieren a los espacios interiores un ambiente de gran originalidad.

En el año 2008 obtuvo el Premio Pritzker, considerado como el Nobel de la arquitectura.