Etudiant en droit à l'université de Fort Hare, il fit son apprentissage politique avec Oliver Tambo. Tous deux furent expulsés de l'université en 1940, pour avoir participé à une grève étudiante. Mandela quitta alors le Transkei, fuyant notamment le mariage auquel la coutume le destinait et devint policier dans une mine de Johannesburg, où il rencontra Walter Sisulu. En 1944, ayant rejoint le Congrès National Africain (ANC = African National Congress ), principal mouvement nationaliste noir, il fonda, avec Sisulu et Tambo, une ligue de la jeunesse (Youth League), S'adressant aux jeunes ouvriers. En 1945, les dirigeants de la Youth League prirent la tête de l'ANC, jusqu'alors dominé par une bourgeoisie modérée.
Devenu secrétaire national de la Youth League en 1948, Mandela accueillit au sein de l'ANC le parti communiste. En 1952, à l'occasion de la première campagne de désobéissance civile, il se fit l'avocat d'une action unifiée des communautés noires et métisses contre la politique d'exclusion raciale menée par le gouvernement. En décembre de cette même année, Nelson Mandela, qui avait accédé à la présidence de la Youth League et venait de fonder, avec Tambo, le premier cabinet d'avocats noirs du pays, fut arrêté. Accusé d'avoir enfreint la loi, récente, sur la suppression du communisme, il échappa à l'emprisonnement, mais il lui fut interdit d'assister à des réunions politiques et de quitter le district de Johannesburg, pour une durée de neuf ans. Mandela poursuivit pourtant ses activités au sein de l'ANC et fut à l'origine du plan réparant l'action clandestine des différentes branches de l'ANC, scindées en comités restreints. En décembre 1956, il était à nouveau poursuivi en justice, accusé, ainsi que 155 autres personnes, de trahison. Le procès, qui devait durer quatre ans, allait aboutir à l'acquittement.
Le massacre de Sharpeville - la mot de 67 manifestants anti-apartheid sous les tirs de la police - et l'interdiction de l'ANC en 1960, puis la violente répression par le gouvernement d'une grève générale l'année suivante conduisirent Nelson Mandela, passé en mars 1961 à la clandestinité, à abandonner l'action non violente, En juin 1961 était créé l'Umkhonto we Size ("lance de la nation"), branche militaire de l'ANC dont Mandela devint le commandant en chef. En janvier 1962, celui-ci quitta clandestinement l'Afrique du Sud pour participer à une conférence panafricaine, réunie en Éthiopie. Il se rendit ensuite en Algérie, où il fut formé au combat, et enfin à Londres où il rencontra les dirigeants de l'opposition travailliste. Mandela était désormais connu de la communauté internationale.
De retour en Afrique du Sud, il fut arrêté le 5 août 1962, accusé d'incitation à la révolte, de sortie illégale du pays et condamné à cinq ans de prison. Après l'arrestation, l'année suivante, des principaux dirigeants du mouvement nationaliste noir, Mandela comparut au procès de Rivonia, sous le chef d'inculpation de haute trahison. D'octobre 1963 à juin 1964, il plaida pour lui et ses coïnculpés, contre l'apartheid. Tous furent condamnés à la prison à perpétuité. Mandela devait passer dix-huit années à Robben Island avant son transfert vers la prison de Pollsmoor, à Cape Town, en 1982, alors qu'une campagne pour sa libération, organisée par Winnie Mandela, qu'il avait épousée en 1962, trouvait un écho international. Mandela refusa toute libération conditionnelle. Le gouvernement du président Frederik De Klerk libéra sans condition le chef historique de l'ANC en février 1990, après avoir levé les interdictions qui pesaient sur l'organisation ainsi que sur les autres partis politiques proscrits.
Mandela, à la tête de l'ANC désormais légal, conduisit les négociations avec le gouvernement de 1990 à 1994. Le contexte était cependant difficile. Si en août 1990, Mandela avait, au nom de l'ANC, suspendu la lutte armée en contrepartie de l'organisation d'élections multiraciales, l'Afrique du Sud était en proie à une violence croissante. Mandela était confronté à l'opposition meurtrière entre l'ANC et l'Inkatha de Mangosutu Buthelezi, aux attentats des extrémistes blancs contre les dirigeants noirs, et devaient composer avec les radicaux de son mouvement, menés par son épouse Winnie, dont il se sépara en 1992.
En 1991, le gouvernement abrogeait l'ultime loi fondant l'apartheid. Mandela reçut, en 1993, le prix Nobel de la paix, partagé avec Frederik De Klerk, pour leurs efforts à l'établissement de la démocratie et d'une harmonie raciale en Afrique du Sud. En mai 1994, après la victoire de l'ANC aux premières élections multiraciales, il devint le premier président noir d'Afrique du Sud. Il se consacra alors à la reconstruction politique, économique et sociale du pays. En décembre 1997, il quitta ses fonctions au sein de l'ANC, laissant la place à Thabo Mbeki, qui, après la victoire de l'ANC aux élections de juin 1999, lui succéda à la présidence de la République.