Родился 20 июня 1926 года в религиозной семье в Иерусалиме, в доме, принадлежавшем его прадеду. Он v представитель 5-го поколения коренной израильской семьи, всегда помнил, что его предки выходцы из Польши.

Отец Зэеви родился в маленьком польском местечке не далеко от Лодзи. В возрасте 17 лет стал раввином. Он оставил сыну весьма необычное завещание: "Я прошу тебя, жить в соответствии со следующими принципами - скромность, преданность делу, жизнерадостность, горение".

Его родители постарались дать сыну светское образование. Он учился в гимназии "Рехавия" и на сельскохозяйственных курсах в кибуце "Гиват Шлоша".

В 1944 году он вступил в ряды ПАЛМАХа (сокращение слов "плугот махац" - "ударные роты"), созданного в мае 1941 года для защиты ишува. Именно в те годы, как вспоминают немногие оставшиеся в живых боевые товарищи Зэеви, в праздник Пурим он сбрил волосы и, закутавшись в простыню, худой, в очках, предстал в образе вождя индийского народа - Махатмы Ганди. Сходство оказалось настолько разительным, что это прозвище закрепилось за ним до конца жизни.

В годы Войной за Независимость в 1948 году он служил офицером разведки в бригаде "Ифтах", плечом к плечу с Ицхаком Рабином воевал на самых опасных участках фронта. Он участвовал во многих кровопролитных боях и в 1949 году получил назначение в штаб Северного военного округа. Здесь он руководил спецоперациями, прошел первые командирские курсы ЦАХАЛа (Армия обороны Израиля). Позднее получил назначение в Южно-военный округ на должность начальника разведывательного отдела, а затем v командира бригады "Голани".

В этот период Зэеви участвует в боях с сирийцами, в Синайской кампании (операция "Кадеш", 1956 год), проводит громкие операции против террористов, выполняет ряд секретных военных миссий в других странах. Он пользуется авторитетом среди бойцов, получает известность, как один из самых блестящих офицеров.

По окончании в 1964 году штабной академии в США он получает звание генерал-майора и назначается командующим Центральным военным округом. В этом качестве он участвует в "Шестидневной войне" в боях за освобождение Иерусалима.

В 1968 году Зэеви был назначен начальником отдела генерального штаба по проведению "особых операций".

В 70-е годы, когда в Иорданской долине, Иудее и Самарии развернулась кровопролитная борьба между Израилем и палестинской организацией ФАТХ, Зэеви лично принял участие в 120-ти антитеррористических операциях. В 1973 году, за несколько дней до войны Судного дня, начавшейся 6-го октября, он уходит в отставку по возрасту. Но с первыми звуками серен тревоги снова возвращается в строй.

Только в 1974 году он сменил мундир на штатскую одежду. В 1975 году премьер-министр Ицхак Рабин назначил Зэеви своим советником по вопросам безопасности и борьбы с террором. Он пробыл на этой должности до мая 1977 года, когда кресло главы правительства занял Менахем Бегин.

В 1981 году Зэеви назначили директором музея Эрец-Исраэль в Тель-Авиве.

В 1991 году он вошел в правительство Ицхака Шамира в качестве министра без портфеля, но демонстративно подал в отставку в 1992 году, не согласившись с участием Израиля в Мадридской конференции по Ближнему Востоку.

После триумфа Биньямина Нетаньяху в 1996 году Зэеви, немало сделавший для всего правого лагеря и для его победы, не был даже приглашен на коалиционные переговоры.

Утром 17 октября 2001 года в коридоре иерусалимской гостиницы "Хаят-Ридженс" на 8-м этаже возле номера 816 было совершено покушение на министра туризма Израиля Рехавама Зэеви. В результате этого покушения он скончался.

18 октября 2001 года в 15-30 по израильскому времени Рехавам Зэеви был похоронен на военном участке кладбища на горе Герцль в Иерусалиме.