1921年2月4日，张阿辉在棉兰因中风（脑出血）突然逝世。他的离世引发了社会各界的深切哀悼。来自苏门答腊东部、亚齐、巴东、槟城、马来亚、新加坡以及爪哇等地的数千名前来吊唁者，共同向这位备受尊敬的人物致以最后的敬意。

其葬礼以隆重而庄严的方式举行，充分体现了他在社会中的地位与影响力。送葬队伍从柯萨婉（Kesawan）出发前往布洛布拉扬（Pulo Brayan），沿途人潮涌动，挤满了棉兰的街道。整个仪式遵循传统华人习俗，伴随着仪仗、旗幡以及装饰华丽的灵柩。

在去世前数月，张阿辉已立下遗嘱，体现了他一贯重视社会公益的理念。他将大部分财富用于社会用途，通过设立基金支持公益事业，包括资助有才华但经济困难的青年接受教育，并帮助有需要的人群，不分种族与背景。

张阿辉安葬于棉兰布洛布拉扬（Pulo Brayan）。其墓地至今仍是重要的历史见证，不仅是他的安息之地，也象征着他在领导力、慈善精神与社会责任方面所留下的深远影响。