„Shiba” odnosi się do rodzaju małego, szczotki znalezionych w górzystych regionach Japonii. Słowo „shiba” jest używane do opisania czegoś małego, zwartego lub rustykalnego. W przypadku Shiba Inu prawdopodobnie odnosi się do niewielkich rozmiarów psa i jego związku z obszarami wiejskimi.
„Inu” oznacza po prostu „pies” po japońsku. Jest to powszechne słowo używane w odniesieniu do każdego rodzaju psa, niezależnie od rasy.
Tak więc słowo „shiba inu” dosłownie tłumaczy się na „psa z pędzla” lub „małego rustykalnego psa”. Ta nazwa odzwierciedla początki psa i jego związek z obszarami wiejskimi Japonii, gdzie została wychowana.