Kehidupan keluarga Tjong A Fie mencerminkan perjalanan hidupnya yang panjang, baik di Tiongkok maupun di Hindia Belanda. Dalam hidupnya, ia diketahui menikah sebanyak tiga kali.

Pada masa mudanya di Tiongkok, ia menikah dengan seorang perempuan bermarga Lie. Setelah tiba di Deli, ia menikah kembali dengan seorang perempuan bernama Chew yang berasal dari Penang. Dari pernikahan ini, ia memiliki tiga orang anak. Namun, kedua istri tersebut meninggal dunia, dan tidak banyak catatan sejarah yang tersisa mengenai kehidupan keluarga dari pernikahan awal ini.

Pernikahan ketiganya dengan Lim Koei Yap, yang berasal dari Binjai, menjadi yang paling dikenal dalam sejarah. Dari pernikahan ini, Tjong A Fie memiliki tujuh orang anak, yaitu Tjong Foek Yin (Queeny Chang), Tjong Fa Liong, Tjong Kian Liong, Tjong Kwet Liong, Tjong Sze Yin, Tjong Lie Liong,  dan Tjong Tsoeng Liong.

Anak-anak dari pernikahan ini tumbuh dalam lingkungan keluarga yang aktif dalam kegiatan bisnis dan sosial. Beberapa di antaranya kemudian melanjutkan peran keluarga dalam usaha, sementara yang lain membangun kehidupan di berbagai tempat, baik di Medan maupun di luar negeri.