Pada peringkat awal penempatan Perpustakaan JPA di Tingkat 11, Bangunan UMBC, Jalan Sulaiman, Kuala Lumpur. Pada Julai 1984 Perpustakaan JPA dipindahkan ke Tingkat 12, Wisma Bernama, Jalan Tun Razak, Kuala Lumpur. Seterusnya perpustakaan telah berpindah ke Tingkat 14 di bangunan yang sama pada November 1987.

Sempena dengan pemusatan keseluruhan pentadbiran JPA di Kompleks JPA, perpustakaan turut terlibat dan ditempatkan di Blok C, Aras 3, Kompleks JPA mulai Oktober 1993. Berikutan dengan penyusunan semula JPA, Unit Perpustakaan telah digabungkan dengan Unit Dokumentasi dan telah dikenali sebagai Unit Perpustakaan dan Dokumentasi mulai Oktober 1999.

Semasa kebanyakan Jabatan / Kementerian / Agensi telah berpindah secara berperingkat-peringkat ke Putrajaya. Perpustakaan JPA juga ikut berpindah ke Aras 8, Blok C1, Pusat Pentadbiran Kerajaan Persekutuan, Putrajaya pada April 2001 dan terus berada di sini sehingga kini.

Mulai tahun 2018, Unit Perpustakaan dan Unit Dokumentasi ditadbir secara berasingan.