Nie ma jednej nazwy naukowej dla wszystkich krabi hermitów. Należą do infraorder Anomura, dużej grupy skorupiaków, do której należą też kraby królewskie i kraby porcelanowe.
W obrębie Anomura wyróżnia się kilka rodzin krabi hermitów, z wieloma gatunkami. Np.:
- Paguridae: Największa rodzina, ponad 500 gatunków.
- Diogenidae: Zawiera "prawdziwe" kraby hermitów.
- Coenobitidae: Zawiera lądowe kraby hermity.
Więc, by podać nazwę naukową konkretnego kraba hermita, trzeba znać rodzaj i gatunek. Np. zwyczajny krab hermita to Pagurus bernhardus.