他对童年的记忆是很清晰的，父亲到了邵氏之后，隔壁住着李修贤这样的大明星，随便到片场走一遭，见到的都是如今所说的传奇明星。生长在这样的环境中，王杰很自然就入镜了，仅有两岁的王杰被剧组临时“征用”，糊里糊涂做起了小演员。
“邵氏片场平均一个礼拜就会有我一两天和两三天，可是有时候是大夜班，我被硬叫起来，小孩子嘛，肯定会哭。”由于父亲王侠的明星身份，给面子的剧组总会给王杰预留一些“大特约”的角色，在60年代，拍3、4个小时能够拿到三百多港币，这在当时是一笔非常可观的收入。可当时，王杰羡慕的却是邻居家灯光师、道具师的孩子，无论上学放学，他们过得都是正常的生活，自己虽然早早的开始赚钱帮补家用，却并未因此获得父母的关怀：“那个时候爸妈会丢给我五块钱，‘你自己去吃’。他们(邻居)看着于心不忍，有时候叫我过去一起吃晚饭。好羡慕，一家人七八个，那种感觉是很温馨的。我从小到大都很向往这种家庭的感觉。可是在我小时候的印象中，到今天跟你讲话的此刻为止，我一次也没试过全家人到齐吃饭，真的没有试过，这就是我最大的遗憾，更不要说一家人拍照，没试过。”
王杰
没过多久，王杰连与父母相处的机会都没有了。12岁时，父母离婚，母亲只带走了哥哥，爸爸去了台湾发展，剩下12岁的王杰一人寄宿在学校里，靠半工半读继续学业，这让王杰早早变得独立，谈到这里，王杰又一次说，“我看透了”，这次他指的是亲情和爱情。
“从小到大在邵氏片场我看到太多分分离离、离离分分，在我楼上某些导演或者某些女艺人跟她的男朋友或者老公在打架、丢玻璃，我看太多、听太多，所以后来，我其实有一点点，怎么讲，反感娱乐圈这行。因为我觉得好像艺人都不能够太长久，也许在这行久了，不管是利益或者是名誉，这两样东西会驱使一个人改变他的个性。”
第二段婚姻结束后，前妻带着5岁的儿子元元脱离了王杰的生活。“(和儿子)几年都不会见一次，因为没什么机会见面。之前有回去见过他一下下，就是前一段时间，也不过就是吃了一顿饭。”父子俩关系淡漠，聊到儿子，王杰说每句话前都要思索一下。