1933년 3월 19일 미국 뉴저지 뉴어크에서 이주민 2세대 부모 베스와 헤르만 가정의 둘째 자녀로 태어났다. 향후 자신의 글에서 수차례 언급한 유대인 공동체 위쿠아익에서 자랐으며, 1950년 위쿠아익 고등학교를 졸업하고 버크넬 대학교에 진학, 시카고 대학교에서 영문학 석사 학위를 취득했다.
1959년에 발표한 첫 번째 소설 《굿바이, 콜럼버스》로 이듬해에 전미도서상을 수상하여 큰 주목을 받았으며, 1969년에 출간한 《포트노이의 불평》으로 비평적, 상업적으로 높은 성취를 이뤄내 세계적 명성을 획득했다. 자신의 이름을 본뜬 가상의 화자 ‘필립 로스’를 내세워 20세기와 21세기 미국 생활상을 탐구하는 작품과 ‘네이선 주커먼’의 일생을 그린 작품들을 포함하여 31권의 책을 저술했다.
문학계에 기여한 업적과 공로를 세계적으로 인정받아 전미도서비평가협회상과 전미도서상을 각각 두 번, 퓰리처상과 인터내셔널 맨부커상, 백악관에서 수여하는 국가인문학훈장과 미국문학예술아카데미 최고 권위의 상인 골드 메달 등을 수상했다.
필립 로스는 일흔이라는 고령의 나이에도 집필을 계속하다가 2012년 돌연 절필을 선언했고, 2018년 85세를 일기로 세상을 떠났다.