Das Gebiet in dem der Ort liegt wurde ursprünglich von den Buschmännern bewohnt, davon zeugen heute noch viele Felsmalereien die man in den Swartbergen häufig zu sehen bekommt. Die ersten Europäer in der Region waren Händler. Diese verließen die trockene Region jedoch schnell wieder. Erst 100 Jahre später, in 1789 ließen sich hier die ersten Siedler nieder.

Das erste permanente Gebäude war eine Kirche die in 1893 am Ufer des Grobbelaars Flusses errichtet wurde. Das spätere Oudtshoorn wuchs um die Kirche heran. Der Ort bekam seinen Namen von dem Gouverneur der Kapkolonie Baron Pieter van Rheede van Oudtshoorn.

Oudtshoorn erlangte seinen Reichtum von dem Vogelstrauß, dessen federn sehr gefragt waren in der Modebranche in Europa. Hier wurden die Federn vor Allem für Schmuck gebraucht. Zwischen 1875 und 1880 erreichten die Preise sogar bis zu einem britischen Pfund pro Paar. Die Bauern begriffen sehr schnell dass hier viel Geld zu verdienen sei, und rissen Ihre Ernten frühzeitig aus dem Boden, und pflanzten Luzern als Vogelfutter.

In Oudtshoorn können Sie auch einige Sehenswürdigkeiten besichtigen, unter anderen die Kango Caves, die Safari Show Farm, Highgate Ostrich Show Farm, und die Cango Wildlife Ranch.