Szare wieloryby głównie karmią się małymi skorupiakami nazywane amphipods które żyją na dnie oceanu. Te amfipody są niewielkie, mniej więcej wielkości ziarna ryżu i stanowią większość diety wieloryba szarego.
Jedzą też:
* Inne małe bezkręgowce: Może to obejmować małe krewetki, robaki i inne skorupiaki.
* ryby: Choć nie tak powszechne, szare wieloryby mogą od czasu do czasu jeść małe ryby, które znajdują na dnie morskim.
Aby karmić, szare wieloryby używają swoich płyt Baleen do odfiltrowania wody i przechwytywania małych bezkręgowców. Robią to, ssąc duże ilości osadów i wody, a następnie wymuszając wodę przez ich talerze Baleen, pozostawiając jedzenie za sobą.
Co ciekawe, szare wieloryby migrują duże odległości, aby znaleźć jedzenie. Spędzają letnie miesiące karmienia w zimnych, bogatych w składniki odżywczych wodach Arktyki i Subarktyki, a następnie migrują na południe do cieplejszych wód w celu hodowli zimą.