1658年底，科萨人和荷兰人之间爆发了一场战争，科萨人的指挥官奥特舒马约被俘，并被流放到了罗本岛监狱。然而，令所有人都感到意外的是，奥特舒马约居然划着一条千疮百孔的小船逃脱了！自罗本岛监狱建成以来，奥特舒马约是第一个从罗本岛成功逃脱的囚犯，充满种族歧视的白人历史著作中也不得不提到他，但将他称为“流浪者哈里”。
在之后不同的时期，荷兰人开始把其他地方的囚犯也远涉重洋运到罗本岛关押，有很多爱国人士和自由战士被囚禁在罗本岛监狱里，比如来自爪哇岛的谢克·阿卜杜尔·拉赫曼·曼图拉。曼图拉是一位非常知名的传教士，他在当地的影响力很大，甚至连荷兰当局都惧他三分。1754年，曼图拉在罗本岛去世，死后尸体被运到了印度尼西亚，但是他的衣冠冢到现在也是开普穆斯林心目中的圣地。每年2月，罗本岛上都有宗教仪式纪念这位领袖。
1819年，科萨人马卡纳举起义旗，在格雷厄姆斯敦一带对英国人发起进攻，但由于武器上的悬殊而失败，后来被流放到了罗本岛监狱。马卡纳试图游回南非内陆，但却在中途溺水而亡。从那之后，罗本岛在科萨人种就变得尽人皆知。马卡纳的死对科萨人是一个惨重的打击，人们把他溺水的经历编成了一个成语——“吴库扎·库卡·恩克赛来”，意思是“希望渺茫”。后来一些犯人将罗本岛也称为“马卡纳岛”，以纪念这位勇于向英国殖民者的统治权挑战的科萨人英雄。
后来，随着时局的动荡，罗本岛的作用也几经转变。1846年前后，罗本岛曾成为麻风病人隔离区，等欧洲的麻风病恐慌过去后，精神病患者又被送至此。第二次世界大战期间，罗本岛成为海军作战要塞，保卫着开普敦港口。
1959年，南非联邦当局通过决议，将罗本岛改为囚禁“非白人”（非洲人、有色人和亚洲人）男性政治犯的最大监狱。
罗本岛上的监狱共分为三处：
第一处是隔离监禁所，这是在旧监狱旁边新建起的特殊监狱，共有88个牢房，它与旧监狱之间有一道6米高的大墙相隔。每个牢房约7平方英尺，有一个照明用的灯泡。
第二处是恐怖分子集中营，囚禁来自纳米比亚、罗德西亚和南非共和国的自由战士。
第三处是总集中营，这里被关押的大多是政治犯，极少数是黑人刑事犯。犯人的床就是两块草垫，一块铺在水泥地上，一块卷起来当枕头。冬天有三条毯子，夏天两条。一位曾经被囚禁在这里的政治犯回忆说：“伙食很差，以致很多人患了结核病。经常因为一点点鸡毛蒜皮的小事就不准吃饭，如没有扣好衣服纽扣，说话或吸烟，等等。”
罗本岛是一个名符其实的“恶魔岛”。这座岛从远处看只是露出海面的一小块石灰岩，长年累月地经受着冰冷的海水的冲刷。冬天，这里寒风刺骨，无遮无掩，气温比内陆上更低；夏天，太阳照在岩石上，石灰岩被晒得发烫，气温比内陆更热。
只是，曼德拉所不知道的是，没过多久，这里将成为他的新家。