Колин Декстер был настолько же спортивным, насколько и образованным. Во время учебы он играл в школьной команде по регби. Также в школе он играл в крикет, продолжив заниматься им после поступления в Кэмбридж, где, кроме этого, был секретарем хоккейного клуба. После окончания университета он стал заядлым игроком в теннис.