Il naît en 1927 à Francfort-sur-le-Main, en Allemagne, dans une famille du monde du spectacle. Son père, Max Ophüls, est réalisateur renommé, et sa mère, Hildegard Wall, une actrice. La famille fuit l’Allemagne pour la France en 1933, à l’arrivée de Hitler au pouvoir. Mais la France de Vichy s’avérant tout aussi dangereuse, ils passent une année dans la clandestinité en 1940 avant de fuir vers les États-Unis, en passant par les Pyrénées et un bref séjour en Espagne.
Ophuls passe son adolescence et ses années d’études aux États-Unis, principalement en Californie, où il grandit à Hollywood et étudie à l’Université de Californie à Berkeley. En 1950, la famille retourne en France. L’expérience vécue sous Vichy deviendra une source majeure d’inspiration lorsqu’il se tourne vers le documentaire.
Son film Le Chagrin et la Pitié, en 1969, contraint la France à affronter la honte nationale de sa collaboration pendant la Seconde Guerre mondiale et bien que commandé par la télévision française, jugé trop polémique, est interdit de diffusion. Il connaît cependant un grand succès en salles et entre dans la culture populaire, notamment grâce à une scène culte dans le film Annie Hall de Woody Allen, où le personnage principal propose sans cesse à sa compagne d’aller le voir. Tout au long de sa carrière, il signe plusieurs films sur la culpabilité historique et la complicité, toujours avec une approche audacieuse et provocante, n’hésitant pas à pousser ses interlocuteurs dans leurs retranchements. Il est souvent revenu sur la persécution nazie, notamment dans son film Hôtel Terminus : la vie et l’époque de Klaus Barbie en 1988, biographie du criminel de guerre nazi, qui reçoit l’Oscar du meilleur documentaire.

Parmi ses autres œuvres marquantes figurent La Mémoire de la Justice, un film tout aussi controversé qui met en parallèle les procès de Nuremberg avec les actions américaines durant la guerre du Vietnam, et Munich ou la paix pour notre temps, sur l’accord d’apaisement de 1938 entre Hitler et les puissances occidentales, prélude aux invasions nazies. Avant de se consacrer au documentaire, Ophuls avait travaillé comme assistant du réalisateur John Huston à Hollywood, et signé un segment d’un film à sketches pour le cinéaste de la Nouvelle Vague François Truffaut.
Un projet avorté sur Israël