Dorosłe wieloryby szare to wieloryby pasternikowe (baleen whales), co oznacza, że zamiast zębów mają płyty pasternikowe. Płyty te są z keratiny – tego samego materiału co ludzkie paznokcie – i służą do filtrowania pokarmu z wody.
Dorosłe wieloryby szare żywią się głównie małymi skorupiakami zwanymi krylem (krill) oraz innymi drobnymi bezkręgowcami jak amfipody i kopopody. Jedzą też pewną ilość małych ryb.
Aby znaleźć pokarm, wieloryby szare używają techniki zwanej mud-plugging (zatykanie błotem). Zbierają duże ilości osadu z dna oceanicznego, używając płyt pasternikowych do przefiltrowania cząsteczek pokarmu i wypływania blota i wody.