W Europie początki tej dyscypliny sięgają XI wieku, kiedy to upowszechniły się turnieje rycerskie, w których walczono na miecze czy kopie. Jednakże już w starożytności znane były sportowe formy walki tego rodzaju bronią. Sport przypominający nieco szermierkę był uprawiany w starożytnej Japonii i Chinach. Na terenie Egiptu natomiast znaleziono relief, pochodzący sprzed kilkunastu wieków, na którym przedstawiona jest scena walki szermierczej.
Europejska odmiana tej dyscypliny jest pozostałością po niezwykle popularnej w średniowieczu i późniejszych epokach "metodzie" wyjaśniania nieporozumień i sporów - czyli pojedynkach.
W XV wieku na szerszą skalę zaczęto wykorzystywać proch i walka białą bronią stawała się mniej skutecznym sposobem prowadzenia wojen. Dlatego stopniowo szermierka zaczęła stawać się bardziej formą rekreacji niż sposobem walki. W 1471 Hiszpan Sierge de Valera zredagował pierwszy w Europie podręcznik do nauki szermierki.
Kiedy zainteresowanie szermierką zaczęło słabnąć wśród szlachty europejskiej, stopniowo przekształciła się ona w jeden ze sportów. W pierwszej połowie XIX wieku została spopularyzowana przez studentów na wielu europejskich uczelniach. Szybko jednak zyskiwała popularność wśród innych kręgów społecznych. W drugiej połowie tego stulecia uprawiać zaczęły ją także kobiety.
Dlatego szermierka swój debiut olimpijski miała już w 1896 roku w Atenach. W porównaniu z pierwszym turniejem na igrzyskach zaszło w tym sporcie wiele zmian - nie walczy się już na tzw. palcaty (rodzaj drewnianych kijów). Obecnie na olimpiadzie szermierze walczą trzema rodzajami broni: floretem, szpadą i szablą.
Historia szermierki w igrzyskach olimpijskich jest bardzo bogata i obfituje w wiele ciekawych postaci i dramatycznych wydarzeń. Jednym z najsłynniejszych szermierzy, którzy znaleźli się w gronie najlepszych sportowców w dziejach igrzysk, był Włoch Edoardo Mangiarotti. Startując pięciokrotnie wywalczył 13 medali (w tym dziewięć złotych).
Niemniej słynny węgierski szermierz Aladar Gerevich jako jeden z nielicznych olimpijczyków miał szczęście wystąpić w igrzyskach aż sześciokrotnie (w latach 1932-1960), zdobywając 10 medali (w tym siedem złotych).
Polacy także odnosili w przeszłości wspaniałe sukcesy. Od pierwszego startu w igrzyskach - czyli od 1924 roku szermierze stale byli obecni w reprezentacji olimpijskiej. Do tej pory wywalczyli 22 medale - cztery złote oraz po dziewięć srebrnych i brązowych. Ostatni tytuł mistrzowski indywidualnie, dwanaście lat temu w Atenach, wywalczyła florecistka Sylwia Gruchała. Potem w Pekinie była 20., a po raz trzeci z rzędu na olimpiadzie triumfowała Valentina Vezzali. Cztery lata temu Włoszka też zdobyła złoto, ale w rywalizacji drużynowej.
W Pekinie znakomicie spisała się drużyna szpadzistów. Radosław Zawrotniak, Tomasz Motyka, Adam Wiercioch i Robert Andrzejuk dopiero w finale przegrali z Francuzami. To był ostatni medal polskich szermierzy.
Na planszach w Rio de Janeiro zaprezentują się tylko cztery biało-czerwone, w tym doświadczona szablistka, 34-letnia Aleksandra Socha, która oprócz startu indywidualnego wystąpi wraz z Bogną Jóźwiak i Małgorzatą Kozaczuk w drużynie. We florecie rywalizować będzie Hanna Łyczbińska.
