Jak napisała austriacka agencja prasowa APA, w ostatnich latach Osim chorował, ale mimo to wiadomość o jego śmierci przyszła niespodziewanie. Bośniak zmarł dokładnie w 113. rocznicę założenia Sturm, czyli klubu z Grazu, który nazywał swoją "drugą ojczyzną". 5 maja skończyłby 81.
Ivica Osim swoją karierą piłkarza rozpoczynał w Żeljeznicerze Sarajewo, gdzie występował przez dziewięć lat. Mimo że z macierzystym klubem nie zdobył żadnego trofeum, to i tak został jednym z najlepszych bośniackich piłkarzy w historii. W trakcie kariery grał głównie we francuskich drużynach, takich jak RC Strasbourg i Valenciennes FC. Jednak największe sukcesy święcił z reprezentacją Jugosławii. W 1964 roku pojechał z nią na igrzyska olimpijskie, a cztery lata później został wicemistrzem Europy.
Bośniak zakończył granie w 1978 roku i od razu objął swój pierwszy klub, czyli Żeljeznicar. W drużynie tej pracował do roku 1986 i przez osiem lat doprowadził ją do dwukrotnego wicemistrzostwa Jugosławii, finału Pucharu Jugosławii oraz półfinału Pucharu UEFA (poprzednika Ligi Europy). Równolegle Osim trenował olimpijską kadrę Jugosławii, z którą w 1984 roku przywiózł brązowy medal z igrzysk olimpijskich w Los Angeles.
Ten sukces sprawił, że Osim otrzymał nominację na selekcjonera pierwszej reprezentacji Jugosławii w 1986 roku. Cztery lata później podczas mundialu we Włoszech Jugosławia pod jego wodzą dotarła do ćwierćfinału. Tam po serii rzutów karnych zatrzymała ją dopiero Argentyna, czyli obrońca tytułu oraz późniejszy wicemistrz świata z tego turnieju. W 1992 roku Jugosławia zakwalifikowała się do Euro 92, jednak z powodu wojny na Bałkanach została wycofana z tej imprezy i zastąpiona Danią. Bośniacki szkoleniowiec sam zrezygnował z pracy z kadrą ze względu na rodzinę, która przeżyła serbskie bombardowania Sarajewa.
Do pozostałych sukcesów trenerskich Osima należały: Puchar Jugosławii z Partizanem Belgrad, dwa Puchary, Superpuchar oraz wicemistrzostwo Grecji z Panathinaikosem Ateny, Puchar, Superpuchar oraz dwa mistrzostwa Austrii ze Sturmem Graz, a także Puchar Ligi Japońskiej z JEF United. W latach 2006-2007 Osim był selekcjonerem reprezentacji Japonii i było to jego ostatnie miejsce pracy.
W 1999 r. Osim otrzymał propozycję poprowadzenia reprezentacji Polski. Odmówił.