1924년 도쿄 기타토시마 군에서 태어났다. 만주 봉천에서 유소년 시절을 보내고 일본으로 돌아와 도쿄 제국대학에서 의학을 공부했다. 이 시절 아버지의 죽음과 일본의 패전을 경험하고 다시금 만주를 전전했으며 1947년 릴케와 하이데거의 영향을 받은 첫 시집 『무명시집』을 자비출판했다.
1948년 『길 끝난 곳의 이정표에』로 본격적인 문학활동을 시작했다. 1951년 「벽―S. 카르마 씨의범죄」로 제25회 아쿠타가와상을 받았다. 이 무렵 전위예술운동에 적극적으로 가담하며 일본공산당에 가입하지만, 1961년 당을 비판하는 글을 쓰고 제명당했다. 1962년 『모래의 여자』를 발표하여 이듬해 요미우리 문학상을 받았다. 이 작품은 세계 30여 개국에 번역되고 프랑스 최우수 외국문학상을 받으며 국제적인 명성을 얻었다. 그후로도 도시인의 고독, 타자와의 소통 가능성을 주제로 『상자인간』 『밀회』 등 실험정신이 돋보이는 작품들을 발표했다. 『불타버린 지도』는 『타인의 얼굴』 『모래의 여자』와 함께 ‘실종 3부작’이라 불리며 영화화되었다.
1973년 극단 ‘아베 고보 스튜디오’를 만들어 국내외에서 큰 성공을 거두었고, 사진작가로도 활동하여 개성 넘치는 작품들을 많이 남겼다. 소설뿐 아니라 시, 희곡, 시나리오, 평론, 영화 등 다양한 분야에서 탁월한 예술적 능력을 발휘한 그는 각종 장르를 아우르는 미디어 아트의 선구자로도 평가받았다. 1993년 급성 심부전으로 사망하기 전까지 유력한 노벨문학상 후보로 여러 차례 거론되었다.
