虽然很害怕，曼德拉仍壮着胆子说：“你要是敢对我动手，我就把你告到最高法院，当我打赢官司的时候，你就连教堂里的一只老鼠都不如了。”
那名狱警愣了一下，放下了拳头，接着又让曼德拉拿出记录他犯罪情况的票。看后，那名狱警大笑着说：“哈哈，你被判了5年还那么嚣张！”
曼德拉镇定地说：“被判5年那是我的事，我准备坐5年的牢，但是，我并不准备被人欺负！”
4天后，曼德拉等人又被押送到罗本岛的“狱中之狱”——一座特别为关押政治犯而营造的新监狱。这是一座长方形的石头建筑，中间是一个平坦的水泥院落，三面是牢房，另一面是20英尺高的墙，墙中间是一条狭窄的过道，有牵着德国狼狗的狱警昼夜巡逻把守，可谓“插翅难逃”。
曼德拉拿着刚发的三条如同纸一般薄的毯子，跟在狱警后面，穿过长长的走廊，来到尽头的单间牢房。牢房门口挂着一块牌子，上面写着：N.曼德拉，466／64，表示他是这个岛上1964年以来接受的第466名囚犯。
房间里面弥漫着一股腐臭的味道，而且非常小，不足4.5平方米，靠墙有一把长宽各一尺的凳子，旁边是用作马桶的木桶。以曼德拉的身高，只能勉强在牢房里躺下。
晚饭过后，曼德拉听到有人敲他的窗子。打开一看，是一名黑人狱警，他带来了温妮的消息，并说：“我以后每天晚上都会给你带烟和三明治来。”这让曼德拉在苦闷之余感到一丝欣慰，即使是在以阴森恐怖著称的“恶魔岛”上，也有好心人的存在。
1963年6月，温妮第一次获准去罗本岛看望曼德拉。在罗本岛上，温妮第一次看到了自己丈夫生活的地方，她回忆说：
他们紧靠岸边盖了简陋的水泥房子，光线很差，铁丝网把犯人和探望的家属分开。他们把纳尔逊带到我面前，我却没办法摸到他。在半个小时当中，我必须站在铁丝网的另一边跟他说话，没有地方坐。我只能看到他的轮廓。我们必须大声喊才能听见，而狱警一直站在旁边，确实让人难堪。
如此沉闷、阴森、冰冷的罗本岛，根本不像一座监狱，而更像一座地狱。白人当局要在这里浇灭犯人们对生活的希望之火，把他们变成一具具智慧唯唯诺诺听从命令的僵尸。
几周后，曼德拉又接到通知让他收拾东西，并再次被押送往比勒陀利亚地方监狱，单独囚禁在一个囚室。监狱当局的解释是：在罗本岛上，阿扎尼亚泛非者主义大会的成员殴打了曼德拉，为了他的安全，当局决定转移他。曼德拉知道，这是监狱当局演的一出戏，尽管非洲人国民大会和阿扎尼亚泛非者主义大会在政治观点上有一些分歧，但他们在罗本岛上相处得非常融洽，从来没有过任何争论。政府企图离间非洲人国民大会和阿扎尼亚泛非者主义大会的行为让曼德拉哭笑不得。