섬을 중심으로 주위 섬들의 배열이 ‘여(汝)’자 형태를 이루고, 육지와 교통이 불편하여 모든 생활수단을 자체적으로 해결해야 하였으므로 스스로 ‘자(自)’를 써 여자도라 하였다고 한다. 과거에는 ‘넘자’로도 불렸는데, ‘넘’은 넘는다는 뜻이며 ‘자’는 산을 말하는 고어이다. 즉 섬의 높이가 낮아 파도가 산을 넘는다는 말로 풀이할 수 있는데, 낮은 산으로 이루어진 여자도 지형을 잘 반영한 이름이다.