吴锡豪出生于广东潮州，60年代移居香港，在石硖尾开字花档起家，字花档是当时在香港的民间赌档，个人卖彩票类似六合彩。后开始贩卖.毒品，在当时的香港鱼龙混杂，.毒品生意猖獗，吴锡豪发现.毒品好赚，就马上改投做.毒品。

香港黑帮有四大派系，分别是“十四K”、“和记”、“四大”、“潮帮”，而其中潮州帮又有“新义安”、“福义安”、“义群”、“敬义”等几大分支，吴锡豪便是“义群”的带领人。吕乐就曾指说新义安、义群、十四K、胜和为当年的黑道四大家族，吴锡豪势力可见一斑。

当时吴锡豪之所以能在香港如鱼得水，猖狂贩.毒，还有一个人不得不提，就是当时的总探长吕乐，在电影中为了避嫌把吕乐改成了粤语的读音雷洛。

这位外号“五亿探长”的吕乐，当时在香港黑白两道通吃，只手遮天，拳势覆盖全港，与颜雄、韩森、蓝刚合称香港“四大华探长”，人称“lak哥”。

吕乐40年代加入香港警队，从着装警员做起，一路做到只手遮天香港岛的总华探长，60年代统领全港CID，势力为四大探长之首。1968年如日中天的吕乐却出人意料的金盆洗手退居幕后。

到1973年廉正公署成立，听到风声的吕乐随即离开香港，远走加拿大，据当时廉署所查，吕乐的身家超过5亿。而由于加拿大与香港属于同一个联邦管辖，逃到加拿大的香港探长人员们随时会有引渡回香港的危险，于是，吕乐又离开加拿大，去到了台湾生活，终年90岁。