Доктор Джеймс Паттисон Уокер ступил на берег острова Чатхем 10 марта 1858г. c борта "Семирамиды". Он прибыл не один — в кандалы были закованы 200 с лишним заключенных — первая партия из повстанцев, де-факто смертников, отправленных осваивать обитаемые, но крайне негостеприимные острова. Уокер немедленно отправлял заключенных в джунгли на строительные работы. Смертность при транспортировке была весьма высокой (об условиях на судах для транспортировки заключенных в колониальные тюрьмы уже написано немало, и следует, возможно, уделить этому отдельный пост), но и на островах для бывших мятежников и прочих преступников не было спасения.
К концу года из тысячи прибывших заключенных сбежала почти треть, настолько невыносимыми были условия содержания — хотя обитатели островов были дикарями, которые без колебаний убивали беглецов, число побегов росло. Самоубийства заключенных были обычным делом. Несмотря на колоссальную смертность, Уокер в отчетах администрации Британского раджа предлагал принять в колонию 10 000 заключенных. В мае 1858г. 88 человек из сбежавших 228 заключенных направились назад в Порт-Блейр, умоляя о милосердии. Уокер приказал повесить беглецов — из 88 "прощение" получили лишь двое, остальные были повешены практически немедленно. К июню в поселении было уже 700 с лишним заключенных, а к сентябрю их число перевалило за тысячу. Через год, в 1859г., смертность достигла рекордных цифр — 630 умерших на 1000 человек, после чего пошла на убыль, но вплоть до 1868г. она оставалась на уровне в 100-200 умерших на 1000. В начале строительства погибал каждый второй заключенный, но и через пять лет после его начала погибал каждый пятый. С 1958 по 1960г. в колонию было сослано от двух до четырех тысяч мятежных сипаев. За 4 года существования колонии из восьми тысяч заключенных, доставленных в колонию, погибло три с половиной.