Dorosłe szare wieloryby głównie karmią się małymi skorupiakami zwanymi Krill i inne małe bezkręgowce, takie jak amphipody i gopepody . Jedzą też małe ryby.
Aby znaleźć jedzenie, szare wieloryby używają techniki zwanej wkładkowaniem błota . Zbierają duże ilości osadów z podłogi oceanicznej, używając swoich płyt Baleen do odfiltrowania cząstek żywności i wydalenia błota i wody.