Wieloryby pasterzowe są na szczycie łańcucha pokarmowego i nie mają naturalnych drapieżników regularnie polujących na zdrowe dorosłe osobniki. Jednak orki (wieloryby mordercze) znane są z polowania na młode, chore lub ranni wieloryby pasterzowe, zwłaszcza wieloryby szare.
Największe zagrożenie stanowią ludzie przez polowanie, połowy uboczne i niszczenie siedlisk. Pasożyty też mogą wpływać na zdrowie wielorybów. Choć wieloryby pasterzowe nie mają tradycyjnych drapieżników, pozostają wrażliwe na te niebezpieczeństwa.