Andrzej Fischer był wychowankiem Unii Swarzędz. To z niej trafił najpierw do Olimpii, a później Lecha Poznań, w którym grał w latach 1971-1973. Kolejnych sześć lat bramkarz spędził w Górniku Zabrze, z którego w 1979 roku odszedł do GKS-u Żory. Fischer karierę kończył w Niemczech, grając kolejno w SVA Bochum Hoeveln oraz VfR Aalen.
W reprezentacji Polski Fischer wystąpił tylko dwukrotnie. Bramkarz zagrał w meczach towarzyskich z Haiti (1:2) oraz Grecją (2:0). Mimo to Kazimierz Górski zabrał go na mundial w 1974 roku, który odbył się w RFN. Fischer pełnił tam rolę trzeciego bramkarza, będąc zmiennikiem Jana Tomaszewskiego i Zygmunta Kalinowskiego.