张阿辉的家庭生活反映了他在中国与荷属东印度之间的漫长人生历程。他一生中共有三段婚姻。

在中国时期，他曾娶一位姓Lie的女子。来到德里之后，他与来自槟城的Chew女士再婚，并育有三名子女。然而，这两段婚姻中的妻子均早逝，关于其早期家庭的历史记载较为有限。

其第三任妻子为来自民礼（Binjai）的Lim Koei Yap。这段婚姻是最为人熟知的，两人共育有七名子女，分别为张福英(Queeny Chang）、Tjong Fa Liong、Tjong Kian Liong、Tjong Kwet Liong、张士英、Tjong Lie Liong、以及Tjong Tsoeng Liong。

这些子女成长于一个与商业及社会活动密切相关的家庭环境中，其中部分人继承并延续了家族事业，也有一些人在棉兰以外的地区发展生活。