По напуштањето на Форт Харе Мендела се преселува во Јоханесбург каде започнува да работи како стражар на рудник. Меѓутоа набрзо ја напушта оваа работа и се вработува како познавач на правото, во правна фирма Виткин, Сиделскај и Еделман преку врски со неговиот пријател и ментор Валтер Сисулу. За време на неговото учење во универзитетот станува пријател со неговите колеги Џо Слово, Хари Шварц и Рут Прво, кои подоцна ќе станат политички активисти на анти-апартхејдот. Слово ќе стани министер за живеалиште, додека пак Шварц ќе стани амбасадор во Вашингтон. Во овој период Мендела ќе живее во Александра, град во кој живееле само луѓето од црната раса, северно од Јоханесбург.
Во 1948 година, по победата на изборите на Африканската Национална Партија, која ја поддржуваше политиката на апартхејдот, Мендела почна и активно да се занимава со политика. Тој видливо водеше на кампањата од 1952 година и на Конгресот од народот 1955 година, чиј главен приоритет беше усвојување на Повелбата на слободата.
За ова време Мендела и неговиот пријател адвокат Тамбо формираа фирма, за обезбедување бесплатно или по ниска цена , на правен советник за многу црнци кои дотогаш немале свој правен застапник.
На 5 декември 1956 година Мендела и уште 150 други припадници на анти-апартхејдот без причина беа уапсени и обвинети за предавство. Од 1952-1959 нова класа на црнечки активисти позната како Африканисти ги прекинаа АNC активностите во црнечките градови, барајќи превземање на повеќе мерки против режимот од Народната Партија. Лидерите на ANC Алберт Литули, Оливер Тамбо и Валтер Сисулу не само што почувстуваа дека Африканистите се движат премногу форсирано ,туку и дека го менуваат нивното раководство.
Во 1947 година е избран за генерален секретар на лигата на младите. Меѓутоа ваквата функција подоцна му е доделена на Валтер Сисулу. Целта на програмата на Лигата на Младите биле да постои реципрочна парламентарна застапеност на сите граѓани од Јужна Африка. Притоа посебен акцент се ставал на поделбата на земјата, правото на синдикат, како и развој на образованието и културата. Требало да се воведи задолжително основно образование за сите деца, но притоа се работело и на усовршување на возрасните. Кон крајот на 1951 година ANC усвои план-акција во својата кампања, за непочитување на законите на апартхејдот. Официјалниот почеток е одреден за 26 јуни 1952 година. На 6 април истата година ANC повика на масовен протест против прославувањето на 300 годишнината од доаѓањето на првите европски доселеници во Кар. Мендела патуваше низ целата земја со цел да се организираат што е можно подобро овие протести. Заради сета оваа работа и залагањето во својата кампања, изведен е пред суд, осуден е на 9 месеци затвор и присилна работа. Исто така доби и забрана за учествување на било каква јавна манифестација во рок од 6 месеци после излегувањето од затвор и неговата дозвола за престој е ограничена само на Јоханесбург.
Во ова време тој ги завршува своите студии, и добива назив адвокат. Заедно со неговиот пријател Оливер Тамбо отвара адвокатска канцеларија во Јоханесбург. Поради неговата заслуга назначен е за претседател на Лигата на Млади во регионот Трансвал, а кон крајот на 1952 и за заменик претседател на АNC. Владата се обиде да му ја одземи адвокатската дозвола заради основните тужби поднесени против него. Сепак Врховниот Суд одлучи дека тој верно им служи на своите црни сограѓани, т.е дека не постои причина за одземање на неговата адвокатска лиценца. Во тој период Мендела ја насочи својата политичка работа кон изработување на план со кој би се зацврстила ANC. Па така планот според неговото име бил наречен М-план. Во втората половина од 50тите години се завртил против борбата за искористување на човековиот труд. Тој станал свесен дека доаѓа времето за масовни ограничувања, политички прогонувања и полициски терор. Во овие години Мендела стана жртва на различни притисоци и угнетувања. Беше уапсен и затваран повеќе пати. По масакрот во Шерпвајл 1960та година, забрането е дејствувањето на ANC. А Мендела е обвинет за предавство и токму поради оваа причина е затворен. Мендела и уште 150 други членови беа обвинети дека во име на интернационалниот комунизам планираат државен удар и соборување на власта во Јужноафриканските места. За таква работа следуваше смртна казна. Судскиот процес за предавство е завршен во 1961 година, кога Јужна Африка беше на пат да постани Република, сите осудени пуштени се со кауција.
Бидејќи ANC сега беше илегална организација, мораше да работи во тајност.Во март 1961 , 1400 делегати се сретнаа на Целосно Африканската Конференција под водство на АNC. Во својот говор Мендела побара од режимот на апартхејдот да се оформи собрание кое ќе ги претставува граѓаните на Јужна Африка. Да се создаде устав врз демократски принципи. Доколку не се дојде до извршувањето на ваквото залагање, го предупреди Мендела поголемиот дел од населението, дека прогласувањето на Јужна Африка за Република ќе биде проследено со масовен штрајк. После ова Мендела започна со работа за организирање на борба. Иако успеа да мобилизира помалку луѓе од очекуваното, сепак наиде на голема поддршка низ целата земја. Сепак владата во најмал можен рок одговори на ваквите подготовки.
Мендела мораше да живее оддвоен од својата фамилија , постојано го менуваше местото за престој, за да владините шпиуни никогаш не ги откријат информациите поврзани со тајната организација. Некогаш се преправаше како работник, некогаш како шофер. Во меѓувреме тој оформни друга милитарна филијала на ANC која се припремаше за насилно решавање на работите.
Во 1961 година формирана е воена група на чие чело застана Мендела како главен командант. Во 1962 година е принуден да ја напушти земјата. Патуваше неколку месеци низ повеќе земји каде беше срдечно пречекан. За време на ова патување дојде до вооружување на ново формираната група и нејзино тренирање и подготовки.
После враќањето во Африка, Мендела е уапсен. Тужбата гласеше
,, Позив на илегален штрајк и напуштање на Јужна Африка без важечки пасош”. Во овој процес се обидуваше да му докажи на судот дека всушност станува збор за директно судење на Африканскиот народ. За време на политичкиот процес, се појави судир на различните интереси на населението, па затоа судот не можеше да биди непристрастен и фер. На крајот од ова судење Мендела е осуден на пет години затвор. Додека ја одлежуваше оваа казна беше повикан пред судот и беше дополнително обвинет за саботажа. Неговите изјави за време на овој процес влегоа во историјата на отпорот против апартхејдот и станаа инспирација за сите оние кои се бореа против апартхејдот.
Мендела беше осуден на доживотен затвор и првиот дел од својата казна го помина во затворот на островот Робен каде отслужи казна од 18 години на овој остров, од вкупната 27 годишна. За време во затворот неговата популарност растеше, тој стана широко познат како најзначаен црн лидер на Јужна Африка. На овој остров тие извршуваа тешка работа, поврзана со каменолом за вар. Затворениците беа сегрегирани, особено оние од црната раса, добиваа многу помалку храна, во однос на оние затвореници од белата раса, ја извршуваа најтешката работа. Политичките затвореници се чуваа одделно од обичните криминалци. Мендела можеше да биди посетен после шест месеци од својата последна посета. Некои се обидоа да избегаат, но безуспешно поради ладните води и ајкулите кои живееа во истите. Условите во кои работеа затворениците беа доста тешки.Силното сонце дополнително ја отежнуваше работата. Некои од нив се здобијаа со изгореници, или пак оштетен вид. Дури и им беше забрането да носат очила за сонце. И покрај тоа што Мендела беше затворен, тој повторно ја превзеде улогата на лидер во затворот, бараше рамноправен третман за сите затвореници, сите да можат да комуницираат со фамилиите и пријателите од надворешниот свет. Мендела стана портпарол на повеќето затвореници. Беа извршени повеќе обиди за подобрување на затворските услови, беа организирани штрајкови со глад, со цел да се изврши влијание за подобрување на лошите услови во затворот како и намалување на престрогата политика воведена од страна на чуварите. Меѓу повеќето барања на затворениците беа и :подобра и еднаква храна за сите затвореници, подобра облека , можност за студирање, можност за читање на весници и следење на други медиуми. Подоцна ваквата борба се покажа како успешна, особено во делот за образование, каде многумина успеаа да се стекнат со дипломи од различни области, но сепак политиката на крај остана забранета за изучување. Островот пред се беше насилно место. Затворениците беа постојано затворани, тепани, малтретирани, во крв оставани со денови да лежат во темни ќелии. Многу од нив како резултат на здобивање инфекција, починаа на самиот остров. Покоректен однос чуварите покажаа особено кон Мендела, дали поради неговата претходно стекната репутација или пак поради неговото потекло од кралското семејство. Исто така Мендела успеа да остани главен човек во внатрешното островско раководство на АНЦ. Тој постојано разговараше за пробелемите на затворениците, бараше можно решение, дури се грижеше и за приврзаниците на други политички партии и гледишта. Според кажувањата на затворениците Мендела пред се бил огромен тактичар, кој знаел да игра со сите, да го нагласува секој свој акцент во зборувањето, да побива туѓи тези, да дебатира на најразлични теми. Затворениците често пати комуницираа меѓу себе, оставајќи писма во кујните, во тоалетите и на некои други поскришни места. Меѓутоа еднаш Мендела бил фатен како предава скришно писмо, бил затворен во изолирана соба, три дена, без храна. Често пати затворениците за време на својата работа знаеа да ја поминуваат во пеење песни и свирење, но подоцна им била одземена и ваквата привилегија. Со цел да ја побијат монотонијата затворениците имаа сопствена градина во која одгледуваа најразлични култури како домати, пиперки, кромид и друго. Тие исто така беа самоиницјативно ангажирани во некои културни настани, па во 1975 година ја изведоа и театарската претстава Антигона од Софокле. Исто така затворениците своето време го поминуваа во спортување, иако првично и игрите со топка им беа забранети. Благодарение на Мендела по лобирањето кај Меѓународниот Црвен Крст, затворениците добијаа и спортска опрема, пинг понг и тениски рекети, како и мрежа за одбојка. Често пати и беа организирани турнири во различни спортови.
