Wieloryby szare są ogólnie ciemnoszare, z jaśniejszymi plamami na brzuchu, zwłaszcza latem. Średnio mierzą 10,7–15 m (35–49 stóp) i ważą 18–32 tony (20–35 ton). Ciała są spalone i mięśniaste, z masywną budową. Głowa średniej wielkości, nieco zaokrąglona, z charakterystycznym dybowym oddechem. Oczy małe, po bokach głowy. Posiadają pojedynczy płetwę grzbietową ok. 2/3 długości grzbietu oraz dwie duże, szerokie płetwy piersiowe. Oddech krótki i puszysty, często jako szeroka mgiełka. Skóra gruba, skórzasta, często porośnięta rakami i inną fauną morską. Zamiast zębów mają płyty wałowe do filtrowania małych organizmów.