Pada tahun 1975, perpustakaan diwujudkan bertempat di salah sebuah pejabat di tingkat bawah bangunan rumah pengakap ini. Ianya menggunakan nama Perpustakaan Tun Abdul Razak. Hanya terdapat 200 naskah buku akademik di dalam dua buah rak sahaja.
Pada tahun 1977, perpustakaan berpindah ke bangunan sementara blok-blok kayu yang terletak di kampus tetapnya di Arau. Ianya adalah sebidang tanah seluas 330 ekar dari peruntukan kerajaan negeri Perlis. Fasa pertama pembangunan kampus seperti kemudahan kuliah dan asrama disiapkan pada tahun 1980. Bangunan perpustakaan yang hampir siap ini dibina dalam fasa kedua pembangunan kampus dan mula digunakan pada tahun 1985.
Pada Majlis Penamaan Perpustakaan ITM Cawangan Perlis dalam tahun 1985, Pengerusi Majlis ITM Dato’ Mansor bin Othman telah mengisytihar dan menamakan perpustakaan ini sebagai Perpustakaan Dato’ Jaafar Hassan bagi mengenang jasa dan bakti Y.A.B Dato’ Jaafar bin Hassan bekas Menteri Besar Perlis yang menjadi pendokong dan penggerak utama kepada penubuhan ITM di negeri Perlis.
