Britannien wollte am Kap auch die Kolonie mit Gefangenen und Kriminellen füllen, wie es in Australien schon gemacht wurde. Der Gouverneur in Kapstadt, Sir Harry Smith, verweigerte jedoch dem ersten Gefangenen-Transport das Andocken, und das Schiff musst weiter richtung Tasmanien segeln. Durch diesen kleinen Sieg über das Mutterland wurden die Ansprüche nach Selbstherrschaft immer lauter.

In 1860 wurde das Alfred-Becken fertiggestellt, das der Stadt einen Wetterfesten Hafen brachte. Heute finden Sie das Victoria & Alfred Waterfront am Rand des Hafenbeckens. Mit der Eröffnung des Seuz-Kanals brach der Schiffverkehr am Kap zusammen. Immer weniger Schiffe besuchten das Kap. Nach der Entdeckung von Gold und Diamanten in Südafrika war dies jedoch ein Problem der Vergangenheit. Immigranten kamen in Scharen nach Südafrika und die Bevölkerung verdreifachte sich auf 100 000 Einwohner in nur 25 Jahren.