清朝政府於1887年成立「全臺鐵路商務總局」，負責籌辦臺灣鐵路的興建。原先所規劃的路線為雞籠（基隆）－臺北－竹塹（新竹）－臺南。首段營運路線由台北大稻埕 至基隆，於1891年通車，配置機車4輛，客車14輛，無貨車，這也是縱貫線的開始。後續延伸至新竹的縱貫線路段於1893年通車，當時路線經過今日臺北大橋及三重、新莊。唯1891年巡撫劉銘傳去職，繼任巡撫邵友濂以臺灣財政困難，奏請清廷中止臺灣鐵路的興建，故路線在臺灣被日本接收前，僅完成基隆─新竹段。
1895年進入日治時代後，臺灣鐵路由日軍接管，先成立「陸軍臺灣區臨時鐵道隊」作為過渡；而後臺灣總督府成立，鐵道建設政策暫定由民間主導。這時臺灣鐵路共配置有機車8輛，客車20輛，貨車26輛。在臺灣鐵道株式會社、臺北鐵道會社等民間業者相繼募款失敗後，臺灣主要鐵路幹線之興築於1899年轉由官方主導，臺灣總督府交通局鐵道部於同年成立，計畫全面興建西部縱貫鐵路。
臺灣目前可知最早興建的鐵道是建於光緒二年（1876年）的基隆八斗子，為了運送所產的煤礦而興建的輕便鐵道，這條輕便鐵道的設計者摩利臣（Gabriel James Morrison）於光緒二年（1876年3月）來到基隆，規劃從礦場通到港口的路線。光緒二年年底正在臺駐守的福建巡撫丁日昌於十一月十八日（1877年1月2日）從臺灣府（今臺南）北上基隆視察煤礦，其中亦有包含這條輕便鐵道，但這條輕便鐵道剛開始使用的動力是獸力而非蒸汽機車，不過光緒三年二月初一（1877年3月15日）的《申報·福州瑣聞》報導仍提到這條鐵路運煤「車行甚速，似可不假人力；觀者每日總有數百人」。後來在劉銘傳興建臺灣鐵路後（1888年），這條鐵路也引進了蒸汽機車（德國霍恩索倫機車廠（英语：）製造，出廠序號447）。
而除了這條鐵路外，福建巡撫丁日昌亦在光緒三年（1877年）上〈籌辦臺灣輪路奏〉，計畫鋪設從臺灣府城安平（今臺南市安平區）到打狗旗後一帶（今高雄市南鼓山、旗津區一帶）的鐵路以利於運送兵餉，為此並將被拆除的吳淞鐵路鐵軌等材料自上海搬來臺灣，並向板橋林家的林維源、林維讓勸捐了50萬銀元（36萬兩），但這項計畫最後仍因經費不足、吳淞鐵路鐵軌長度不夠用又無法補足等問題而停擺，而板橋林家的捐款後來被挪去河南賑災，吳淞鐵路的鐵軌則擺在安平港因露天堆置而表面生出鏽色，直到光緒九年九月（1883年10月）才由招商局日新輪搬回上海，後由普濟輪載到天津，之後可能送到旅順作為建港工程列車所用的鐵道。
清代興建的臺灣鐵路龜崙嶺路段
臺灣鐵路
在丁日昌之後，臺灣首任巡撫劉銘傳於光緒十三年三月廿日（1887年4月13日）上呈〈擬修鐵路創辦商務摺〉，再次提出在臺興建鐵路的請求，而在清朝政府於該年四月廿八日（1887年5月20日）允許後，劉銘傳遂在臺設立「商務局」興築鐵路。而對於丁日昌時期的經費不足問題，劉銘傳則試著仿照開平鐵路採用「官督商辦」的模式來解決，而在劉銘傳的〈臺灣鐵路商務奏〉之前，上海《申報》在光緒十二年四月十六日（1886年5月19日）便已報導臺灣有興建鐵路的打算，而前駐臺英國領事施本思則表示願代中國辦理此事，而美國旗昌洋行亦有意爭取此一工程，最後基隆到臺北路段是由上海德商泰來洋行與山打士兩家承辦。但實際上由於經費募集問題，除了火車客車向英德二國訂購，並由商務局興建鐵橋外，土地是由政府徵收取得，工程則由兵工負責修造，車站與車庫等設備也是由政府興建，後來因「商辦」已不可行，最終還是回歸到「官督官辦」。
據當時的美國記者禮密臣（James W. Davidson）報導，鐵路工程在1887年3月動工，為平息議論，劉銘傳親自陪德籍工程師貝克（Becker）進行路基測量，並將機器局設於大稻埕（今臺北市大同區），築路工程亦由此開始。光緒十三年五月廿一日（1887年7月11日）《申報》報導負責鐵路工程的兵工來自銘字右軍左營、中營與昌字營等每日各出一半的兵力從基隆開工（獅球嶺隧道工程），由於預定路線經過墳場，且有許多墳墓在官府告示後未有人前來遷葬，而兵工挖出的骨骸就棄置路旁。而在北基段鐵路施工的同時，也開始進行往新竹方向的鐵路路基調查，而光緒十四年（1888年）年初的路基探勘已經南至葫蘆墩一帶（今臺中市豐原區），其探勘路線大約是從鳳山崎（今新竹縣新豐鄉）至新竹縣城（今新竹市），再南至苗栗縣城（今苗栗縣苗栗市），經三叉河（今苗栗縣三義鄉）、大甲（今臺中市大甲區）、葫蘆墩，然後計畫讓鐵路通過原規劃的臺灣省城。另外光緒十三年年底到十四年，有不少鐵條等工程材料自英國運到基隆與淡水。
光緒十四年七月十八日（1888年8月25日），騰雲號與御風號開始在已完工的大稻埕到錫口（今臺北市松山區）路段試運轉，吸引民眾圍觀，為維持秩序官府還派出了兵勇。而在十一月十六日（12月18日）時，公布了〈臺灣鐵路章程〉，此日也是臺北到錫口路段正式營運的日子。後來路線逐漸延伸，途經南港、水返腳（今新北市汐止區），光緒十五年（1889年）已到五堵、六堵一帶，而四月初一（1889年4月30日）時，營業路段也延伸到了水返腳。而在此同時北基段最為艱鉅的獅球嶺隧道工程仍在進行，自光緒十三年動工後兵工的因中暑與疾病致死的死亡率高達六、七成，連帶兵的記名提督劉朝幹也在光緒十四年病逝，由竇雨村接手。而為了確實監工，據《申報》（1889年5月24日）報導竇雨村在獅球嶺上搭草屋居住，除每日實地查看外，也會獎賞酒食給勤勞者，此外當時三營1500人的兵力，一半用於開鑿隧道，另一半則是在興築獅球嶺砲臺。到了光緒十五年（1890年），獅球嶺隧道終於鑿通，據上海《申報》的〈山洞已開〉報導（1890年5月20日），該隧道計「長可百餘丈，高三丈，闊兩丈有奇」。而關於獅球嶺隧道，由於南口與北口的高度有落差，導致在近北口處形成「洞中有洞」的現象，而據禮密臣的報導，他認為這是指揮官不肯聽從工程師的意見所致，且令鐵路的品質降低，不過該報導中將落差寫成14呎（約4.27公尺），但實際上只有1公尺半多。北基段工程之後繼續進行，光緒十七年十月（1891年11月）時完工，而後第二任臺灣巡撫邵友濂於該年上任時即是在基隆上岸，於十月廿一日（1891年11月22日）黎明時搭頭等火車前往臺北，九點三刻時到。
另一方面，自臺北往南的鐵路路段也在進行，光緒十五年八月（1889年7月）橫跨淡水河東西岸的淡水河橋完工，全長約465公尺，是全線中最長的鐵道橋，而該路段中較為艱難的自海山口（今新北市新莊區）經塔寮坑（今迴龍）、龜崙嶺到桃仔園（今桃園市桃園區）路段大致沿著官道修築，由定海右營負責施工，約在光緒十七年十月底（1891年11月底）完工，之後先行通車。光緒十八年六月（1892年7月），鐵路已從桃仔園延伸到今天的中壢與楊梅，並隨即通車使用。而在鳳山溪鐵橋完工（1893年6月），鐵路延伸到新竹縣城外（1893年7月）後，臺灣鐵路的營業路段在光緒十九年十一月（1893年10月）延伸到新竹。但是由於經費問題，邵友濂在光緒二十年正月（1894年3月）上奏，鐵路只鋪設至新竹為止，而早在邵友濂上任之前，上海《申報》（1891年9月4日）便已報導因為經費問題，臺灣鐵路的中路及南路路段都暫緩辦理。不過在鐵路停工時，新竹到香山的鐵路路基已經建成，日治時期才鋪上鐵軌使用。
而對於這條臺灣最早的客、貨運鐵路，當時的清朝文人如抵臺協助修志的蔣師轍與彰化仕紳吳德功皆有不錯的評價，認為相當地快速，但美籍記者禮密臣則撰文抱怨有些人只買了二等票卻跑到他搭乘的頭等車廂，而且車內環境十分混雜，還有人帶一堆小雞、小豬以及許多蔬菜豬肉與各種包裹上車，而且車子在走了幾哩後就搖搖晃晃的，車速加快後更為誇張，另外車上的管理員要求驗票時有不少人沒有票，不是想在車上補票便是根本不想付，對於那些不付錢的人，管理員便拿走他們的物品抵押，此外禮密臣並寫說在貨運方面各車站報價不一，商人便會挑選附近幾個車站之中報價最低的車站託運貨物，並認為臺灣鐵路的問題，若不要外國人的幫助絕不會有太大的改善。
而在日人接收臺灣鐵路之後，對於臺灣鐵路多所詬病且有戲謔之詞，但是擔任過臺灣總督府鐵道部長的新元鹿之助則認為，臺灣鐵路是在可能範圍內盡可能地避免開挖隧道，並在獅球嶺與龜崙嶺等險要處，沿著天然地形巧妙迂迴鋪設。雖然一般人乘坐時會被路線傾斜、彎曲的程度嚇到，但以技師的角度來看，該條路線是在運用地質學知識後避開有崩壞之虞者，於地質堅硬處勇往直前而建成，至於列車搖晃顛簸與出軌問題，則是鐵路完工後未能給予適當保養，和臺灣北部多雨的氣候造成的損傷所致。