Als Sohn eines Schweizer Fabrikarbeiters und einer italienischen Mutter wuchs Ganz in Zürich auf. Schon als Schüler entdeckte er die Bühne für sich. Nach ersten Engagements traf er in Bremen mit Peter Stein einen Regisseur, mit dem er lange zusammenarbeitete. Die von Ganz mitbegründete Berliner Schaubühne wurde in den 1970er Jahren zum Dreh- und Angelpunkt des europäischen Theaterlebens. Dort spielte Ganz unter anderem die Titelrolle in Ibsens „Peer Gynt“ und in „Kleists Traum vom Prinzen Homburg“.

Mitte der 70er Jahre wurde der Film zu seinem Metier. Zu den ersten Streifen zählten die Literaturverfilmung „Die Marquise von O.“ (1976), in der Ganz den Grafen spielte, und Peter Steins Verfilmung der „Sommergäste“. Später folgten Werner Herzogs „Nosferatu“ (1978) und Volker Schlöndorffs „Die Fälschung“ (1981).

Seine vielleicht bewegendste Darstellung überhaupt war der todkranke Bilderrahmenmacher Jonathan in der Highsmith-Verfilmung „Der amerikanische Freund“, 1977 inszeniert von Wenders. Um seine Familie zu ernähren, nimmt er einen Auftragsmord an. Ganz spielt zunächst gespenstisch ruhig, dreht dann allmählich durch, wird zum Getriebenen, und stirbt in der letzten Szene. Nach einer Auseinandersetzung mit Mafiosi ist er im VW unterwegs, verliert plötzlich die Gewalt über den Wagen, lacht und sagt zu seiner Frau: „Es wird so dunkel“. Er sagt das auf Schweizerdeutsch, während er sonst hochdeutsch sprach.

Im Sommer 2018 sollte Ganz bei den Salzburger Festspielen den Erzähler in der Mozart-Oper „Die Zauberflöte“ spielen. Dazu kam es nicht mehr. Die Proben musste er auf dringenden ärztlichen Rat abbrechen.