1882年11月23日出生在德国汉堡。父亲是船长。早年丧父。初中毕业后，曾在一家出口商行当伙计，后前往非洲东南部的葡萄牙殖民地莫桑比克的一家享有盛名的英国公司工作数年。

1908年，受西门子中国公司之聘，开始在中国沈阳、北京、天津、上海、南京等地经商。

1931年，拉贝任德国纳粹党南京分部副部长，开始书写《拉贝日记》。

1937年11月，侵华日军开始袭击南京时，他在南京的住所（同时也是办公地）南京市广州路小粉桥1号，作为南京安全区收容难民的25个国际安全区之一，保护了600多位难民。作为南京国际安全区主席的拉贝和其他国际友人一同，协同南京安全区国际委员会在其负责的不足4平方公里安全区内，拯救了超过25万中国人的生命。

1938年的新年，难民收容所的难民们在约翰·拉贝宅邸的院子里排队向拉贝三鞠躬，献给他一块写着“您是几十万人的活菩萨”的大红绸布。同年2月拉贝离开南京，南京安全区国际委员会对拉贝给予了高度评价，中国国民政府授予拉贝三色彩玉勋章。

1938年回到德国，6月8日写信给希特勒，提交关于南京大屠杀的报告，但报告当时没有公开（一般认为，由于德日为盟国，故德国当局禁止他发表在南京的所见所闻）。之后，他甚至一度被盖世太保逮捕。

1945年第二次世界大战结束后，拉贝因曾是纳粹党员而先后被苏联和英国逮捕。

1946年六月在证实他没有犯错之后被同盟国去纳粹化和释放，生活拮据。鉴于在南京时的功绩，他因而得到国民政府每月金钱和粮食接济。

1950年拉贝于西柏林逝世，日记资料由他的孙子保存。1997年他的墓碑由柏林搬到南京。

海外中国学研究中心梁怡发表的文章《南京大屠杀见证者约翰·拉贝眼中的老北京》称他为“南京的辛德勒”“他是南京大屠杀的见证人，被南京视为仁爱的典范”。

人民画报社发表专题文章《约翰·拉贝：“东方的辛德勒”》评价他为“南京大屠杀中的洋菩萨”。文中还提到2009年在中国网友票选的“十大国际友人”中，拉贝名列第二位，仅次于白求恩。

南京大学档案馆馆长汤道銮在接受拉贝和平奖时说道：“他是个好人，他知道人的尊严。”

2015年1月5日，杨惠群总领事出席悼念约翰·拉贝活动时评价他为“南京好人”，称“他崇高的国际人道主义精神深受中国人民的敬佩”。