섬의 형태가 장군복을 입고 춤을 추는 것 같아 무의도라 하였고,

함께 있는 섬 중 큰 섬을 대무의도, 작은 섬을 소무의도라고 한다.

부근에 실미도, 소무의도, 해리도, 상엽도 등 부속도서가 산재하여 주민들은 보통 '큰 무리섬'이라고 한다.