Derwall przez osiem lat był asystentem trenera-legendy Helmuta Schoena, czyli twórcy potęgi niemieckiej kadry z przełomu lat 60 i 70. Przejął po nim kadrę w 1978 r. Największym sukcesem Derwalla był złoty medal na mistrzostwach Europy we Włoszech w 1980 r. W finale Niemcy pokonali wówczas Belgię 2:1. Obie bramki zdobył Horst Hrubesch.
Za czasów Derwalla gwiazdami zespołu byli m.in. Klaus Allofs, Karl-Heinz Rummenige, Harald Schumacher. Kariery zaczęli m.in. Lothar Matthaeus i Pierre Littbarski.
Derwall poprowadził też Niemców do finału MŚ w 1982 r., w którym przegrali z Włochami 1:3. Zwolniono go z funkcji trenera w 1984 r. po nieudanych ME we Francji. Derwall zaskoczył wówczas wszystkich, bo odrzucił oferty z najlepszych klubów niemieckich i wyjechał do Turcji. Z Galatasaray zdobył mistrzostwo kraju. Niemcy pod wodzą Derwalla ustanowili rekord 23 meczów bez porażki. Pozostaje nie pobity do dziś.
