Słowo „shiba inu” (柴犬) łączy dwa japońskie wyrazy: „shiba” (柴) i „inu” (犬).
„Shiba” to rodzaj małego krzakowiska w japońskich górach, sugerujący coś małego, kompaktowego, surowego. „Inu” to po prostu „pies”.
Razem „Shiba Inu” dosłownie to „pies z krzakowiska” lub „mały surowy pies”, co odzwierciedla pochodzenie rasy z japońskich obszarów wiejskich.