Sejarah KTMB bermula sejak era zaman Penjajahan British lagi. Ketika itu laluan keretapi dibina bagi mengangkut tin dari lombong Ke pelabuhan. Beroperasi sejak tahun 1948 sehingga kini.
Sebelum ini KTMB dikenali sebagai Federated Malay State Railway ( Keretapi Negeri-negeri Melayu Bersekutu ) dan Malayan Railways Administration ( Pentadbiran Keretapi Tanah Melayu).
Keretapi Tanah Melayu mendapat nama pada tahun 1962. Pada tahun 1992, KTM disyarikatkan walaupun masih dimiliki oleh kerajaan Malaysia ketika itu.
Sistem keretapi di Tanah Melayu bermula pada 1 Jun 1885 apabila jajaran yang pertama do Tanah Melayu sepanjang 8.25 batu (13.28 km) antara Taiping Dan Port Weld di buka secara rasmi. Di bina menggunakan tolok meter, laluan ini dibina untuk mengangkut bijih timah dari lombong-lombong di Taiping ke laut di Port Weld.
Selepas pembukaan laluan kereta api Taiping-Port Weld, beberapa laluan kereta api bebas dan tidak bersambung lain muncul di sekitar Tanah Melayu. Antara laluan kereta api tersebut adalah laluan Klang-Kuala Lumpur yang dibuka pada 15 September 1886, laluan Keretapi Sungei Ujong (Seremban-Port Dickson) yang dibuka pada Julai 1891, laluan Teluk Anson-Tapah Road yang dibuka pada tahun 1893, laluan Kuala Lumpur-Rawang yang dibuka pada 7 November 1892, dan laluan Prai-Bukit Mertajam yang dibuka pada 1 Julai 1899. Kesemua laluan-laluan kereta api ini disambungkan antara Prai dengan Seremban pada tahun 1903.
Ketika proses penyambungan jalan kereta api Prai-Seremban giat dijalankan, pembinaan landasan kereta api telah bermula di Pulau Ujong. Landasan ini yang menghubungkan pekan Singapura dan pekan Kranji, telah dibuka pada tahun 1903. Di Negeri Sembilan, penyambungan rangkaian kereta api ke selatan dari Seremban telah dijalankan. Laluan kereta api Seremban-Melaka telah dibuka pada tahun 1905 dan laluan kereta api Seremban-Gemas dibuka pada tahun 1906. Selepas itu. Pembinaan jalan kereta api diteruskan ke arah selatan daripada Gemas ke Johor Bahru. Kerja-kerja pembinaan bermula pada tahun 1904 dan laluan ini dibuka secara rasmi pada bulan Julai 1909. Oleh kerana pada ketika itu tiada jalan kereta api menghubungi Singapura, sebuah perkhidmatan feri disediakan antara Johor Bahru dengan Singapura. Pada tahun 1923, pembinaan Tambak Johor giat dijalankan bagi menghubungkan Singapura dan Johor Bahru. Tambak ini dibuka secara rasmi pada 28 Jun 1924 walaupun kereta api kargo mula menggunakan tambak ini sejak 17 September 1923 dan kereta api penumpang pertama melalui tambak ini pada 1 Oktober 1923.
Poster stesen keretapi Negeri Sembilan
Semenjak awal 1907, terdapat pelan bagi membina landasan kereta api dari Seberang Perai masuk ke negeri Kedah. Pembinaan landasan ini antara Bukit Mertajam dengan Alor Setar bermula pada tahun 1912 dan siap pada bulan Oktober 1915. Landasan ini kemudian dipanjangkan sehingga Padang Besar pada tahun 1918. Pada masa yang sama, laluan Pantai Timur bermula pada tahun 1907 daripada Gemas sehingga Bahau pada April 1910 dan Tembeling paa tahun 1913. Kemudian, laluan ini dipanjangkan ke utara sehingga Kuala Lipis yang merupakan pusat pentadbiran Pahang pada tahun 1917. Di Kelantan, pembinaan laluan Pantai Timur bermula pada tahun 1906 dan pada tahun 1914, sebuah landasan kereta api antara Tumpat dengan Pasir Mas dibuka kepada awam. Sebuah landasan cabang antara Pasir Mas dengan Golok bertujuan untuk menghubungkan laluan ini dengan sistem kereta api Siam dibuka pada bulan September 1920. Laluan kereta api antara Kuala Lipis dan Tumpat dibuka secara berperingkat dan siap sepenuhnya apabila landasan kereta api Gua Musang-Kuala Gris siap pada tahun 1931. Dengan pembinaan jalan kereta api ini, maka terjalinlah sebuah rangkaian kereta api dari Singapura ke Bangkok melalui bandar-bandar utama di Tanah Melayu.
Malayan Railway Admistration telah dikorporatkan menjadi Keretapi Tanah Melayu Berhad ( KTMB) selepas Akta keretapi 1992 diluluskan.
Logo yang pernah digunakan oleh KTM