Die Holländer wurden nicht mit offenen Armen begrüßt. Feindschaften mit den San und Khoikhoi waren an der Tagesordnung. Es ging soweit das Jan van Riebeeck eine Stachelhecke pflanzen ließ um die Siedlung zu schützen. Teile dieser Hecke kann man heute noch im botanischen Garten in Kirstenbosch sehen. Die Khoisan waren wehrlos gegen die Waffen der Holländer, und waren sehr anfällig für die europäischen Krankheiten die ins Land gebracht wurden.

Die Khoisan verweigerten den Handel und die Arbeit für die Europäer. Dadurch war Jan van Riebeeck sehr schnell mit einem Mangel an Arbeiter konfrontiert. 1657 Erlaubte Er seinen Matrosen land zu bewirtschaften und startete damit die Ausbreitung der Siedlung am Kap. Aus diesen Arbeiter entstanden später die Boeren. 1658 Begannen die Holländer Sklaven aus Indien, Afrika und Indonesien ins Land zu bringen, daher auch die Vielfalt der Leute die heute in Südafrika wohnen. Insgesamt wurden bis 1807 ungefähr 60 000 Sklaven ins Land gebracht.