Peter Hermann spielte in seiner Spieler-Karriere unter anderem für den Hamburger SV von 1973 bis 1974 sowie für Bayer 04 Leverkusen von 1976 bis 1984.
Bei den Leverkusenern war Peter Hermann von 1989 bis 2008 Co-Trainer und war dreimal Interims-Cheftrainer. Von 2008 bis 2009 war er Co-Trainer beim 1. FC Nürnberg und von 2009 bis 2011 wieder bei Bayer 04 Leverkusen, dieses Mal unter Jupp Heynckes. Dieser nahm Hermann auch 2011 mit zum FC Bayern München und wurde 2013 Triple-Sieger. Weitere Co-Trainer-Stationen waren Schalke 04, der Hamburger SV und ab 2015 Fortuna Düsseldorf. Als Jupp Heynckes 2017 wieder Trainer beim FC Bayern München wurde holte er Peter Hermann erneut als Co-Trainer. Fortuna stand zu diesem Zeitpunkt an Platz 1 der Zweiten Liga.