在后来的几周时间里，我被完全单独关押起来，我见不到别的犯人的面孔，听不见别的犯人的声音。我每天被关押23小时，上午和下午各有半小时的活动时间，真是感觉度日如年。关押我的囚室没有自然光，一只灯泡在头顶上一天24小时地亮着。我没有手表，常常把傍晚当成了夜半三更。我没有书看，没有书写用品，也没有人跟我说话。我的心开始与外界隔绝，但很想感受一下外面的事物，以集中自己的注意力。我觉得，宁愿挨一顿打也不愿意被单独关押了。被单独关押了一段时间之后，哪怕是与囚室内的虫子在一起也感到高兴，有时甚至想与一只蟑螂一起聊一聊。
几周后，曼德拉决定放下自尊，告诉雅各布斯上校他将用长裤子去换取有人为自己做伴。雅各布斯上校笑了笑，答应了。
就是在单独关押的那几周期间，曼德拉有足够的时间考虑自己的命运：一个自由战士应该与他的人民在一起，而不应在监狱里。并为不能把自己的知识用于创建一支自由军队而诅咒着。
在监狱里，曼德拉还见到了两年前因反抗《通行证法》而自愿入狱的阿扎尼亚泛非者主义大会的主席罗伯特·索布克韦。他们两人相处得很好，互相以“麦迪巴”和“赫拉提”称呼，并探讨斗争的政策和策略的问题。曼德拉认为阿扎尼亚泛非者主义大会提出的“南非将在1963年获得自由”的幻想是不现实的，他批评道：“兄弟，现在已经是1963年了，但是你们所说的自由依然显得遥遥无期。作为一个领导，没有比提出自己明知道不可能实现的目标更危险的了，这只会在民众之间引起不切实际的幻想。”
1963年初，索布克韦服刑期满，但南非政府专门为他通过了法案，称为“索布克韦条款”，旨在对他进行终身监禁，除非他放弃对抗政府的立场。索布克韦并不屈服，所以，他被送往罗本岛，单独关押在罗本岛采石场附近的一处独身牢房，警戒等级堪称全岛之最。
因为即使在罗本岛，南非政府也担心索布克韦的政治影响力，所以，没有把索布克韦放到其他政治犯一起呆的地方，专门为他建了独立的牢房，只有守卫看护他。他没有被探视的权利，卫兵也不能和他说话。几年下来，索布克韦几乎丧失了说话的能力。
每隔几个月，南非政府都会派人来询问他是否愿意放弃对抗政府。回答一直是否定的。1969年，索布克韦患肺癌，被转移到金伯利继续软禁，直至1978年去世。