Pada 4 Februari 1921, Tjong A Fie wafat secara mendadak di Medan akibat apopleksia atau pendarahan otak. Kepergiannya disambut duka mendalam oleh masyarakat luas. Ribuan pelayat dari berbagai daerah, termasuk Sumatra Timur, Aceh, Padang, Penang, Malaya, Singapura, hingga Pulau Jawa, datang untuk memberikan penghormatan terakhir.

Prosesi pemakamannya berlangsung secara megah dan khidmat, mencerminkan kedudukan serta pengaruh besar yang dimilikinya. Iring-iringan jenazah bergerak dari kawasan Kesawan menuju Pulo Brayan, diiringi oleh lautan manusia yang memenuhi jalan-jalan kota Medan. Upacara ini dilaksanakan dengan tradisi Tionghoa yang kental, lengkap dengan atribut penghormatan, panji-panji, dan keranda berhias.

Beberapa bulan sebelum wafat, Tjong A Fie telah menyiapkan wasiat yang mencerminkan nilai-nilai kepedulian sosial yang ia pegang teguh sepanjang hidupnya. Ia mewasiatkan agar sebagian besar kekayaannya digunakan untuk kepentingan sosial melalui sebuah yayasan, termasuk untuk membantu pendidikan bagi generasi muda yang berbakat namun kurang mampu, serta memberikan bantuan kepada mereka yang mengalami kesulitan hidup tanpa membedakan suku, ras, maupun latar belakang.

Tjong A Fie dimakamkan di kawasan Pulo Brayan, Medan. Kompleks pemakamannya menjadi bagian dari jejak sejarah yang penting, tidak hanya sebagai tempat peristirahatan terakhir, tetapi juga sebagai simbol penghormatan atas warisan nilai kemanusiaan, kepemimpinan, dan kepedulian sosial yang ia tinggalkan bagi masyarakat.