PELAJAR ISLAM INDONESIA (PII) didirikan di kota perjuangan Yogyakarta pada tanggal 4 Mei 1947. Para pendirinya adalah Yoesdi Ghozali, Anton Timur Djaelani, Amien Syahri dan Ibrahim Zarkasji.

Salah satu faktor pendorong terbentuknya PII adalah dualisme sistem pendidikan di kalangan umat Islam Indonesia yang merupakan warisan kolonialisme Belanda, yakni pondok pesantren dan sekolah umum. Masing-masing dinilai memiliki orientasi yang berbeda. Pondok pesantren berorientasi ke akhirat sementara sekolah umum berorientasi ke dunia. Akibatnya pelajar Islam juga terbelah menjadi dua kekuatan yang satu sama lain saling menjatuhkan. Santri pondok pesantren menganggap sekolah umum merupakan sistem pendidikan orang kafir karena produk kolonial Belanda. Hal ini membuat para santri menjuluki pelajar sekolah umum dengan "pelajar kafir". Sementara pelajar sekolah umum menilai santri pondok pesantren kolot dan tradisional; mereka menjulukinya dengan sebutan "santri kolot" atau santri "teklekan".

Pada masa itu sebenarnya sudah ada organisasi pelajar, yakni Ikatan Pelajar Indonesia (IPI). Namun organisasi tersebut dinilai belum bisa menampung aspirasi santri pondok pesantren. Merenungi kondisi tersebut, pada tanggal 25 Februari 1947 ketika Yoesdi Ghozali sedang beri'tikaf di Masjid Besar Kauman Yogyakarta, terlintas dalam pikirannya, gagasan untuk membentuk suatu organisasi bagi para pelajar Islam yang dapat mewadahi segenap lapisan pelajar Islam. Gagasan tersebut kemudian disampaikan dalam pertemuan di gedung SMP Negeri 2 Secodiningratan, Yogyakarta. Kawan-kawannya yang hadir dalam pertemuan tersebut, antara lain: Anton Timur Djaelani, Amien Syahri dan Ibrahim Zarkasji, dan semua yang hadir kemudian sepakat untuk mendirikan organisasi pelajar Islam.

Hasil kesepakatan tersebut kemudian disampaikan Yoesdi Ghozali dalam Kongres Gerakan Pemuda Islam Indonesia (GPII), 30 Maret-1April 1947. Karena banyak peserta kongres yang menyetujui gagasan tersebut, maka kongres kemudian memutuskan melepas GPII Bagian Pelajar untuk bergabung dengan organisasi pelajar Islam yang akan dibentuk. Utusan kongres GPII yang kembali ke daerah-daerah juga diminta untuk memudahkan berdirinya organisasi khusus pelajar Islam di daerah masing-masing.

Menindaklanjuti keputusan kongres, pada Ahad, 4 Mei 1947, diadakanlah per-temuan di kantor GPII, Jalan Margomulyo 8 Yogyakarta. Pertemuan itu dihadiri Yoesdi Ghozali, Anton Timur Djaelani dan Amien Syahri mewakili Bagian Pelajar GPII yang siap dilebur di organisasi pelajar Islam yang akan dibentuk, Ibrahim Zarkasji, Yahya Ubeid dari Persatuan Pelajar Islam Surakarta (PPIS), Multazam dan Shawabi dari Pergabungan Kursus Islam Sekolah Menengah (PERKISEM) Surakarta serta Dida Gursida dan Supomo NA dari Perhimpunan Pelajar Islam Indonesia (PPII) Yogyakarta. Rapat yang dipimpin oleh Yoesdi Ghozali itu kemudian memutuskan berdirinya organisasi Pelajar Islam Indonesia (PII) tepat pada pukul 10.00, 4 Mei 1947.

Untuk memperingati momen pembentukan PII, maka setiap tanggal 4 Mei di-peringati sebagai Hari Bangkit PII (HARBA PII). Hal ini karena hari itu dianggap sebagai momen kebangkitan dari gagasan yang sebelumnya sudah terakumulasi, sehingga tidak digunakan istilah hari lahir atau hari ulang tahun.

KETUA UMUM PENGURUS BESAR (PB) dari periode ke periode

• 1.  Joesdi Ghazali (1947)
• 2.  Noersjaf (1947-1948)
• 3.  Anton Timoer Djailani (1948-1950), (1950-1952)
• 4.  Ridwan Hasjim (1952-1954)
• 5.  Amir Hamzah Wirjosoekanto (1954-1956)
• 6.  Ali Undaja (1956-1958)
• 7.  Wartomo Dwijuwono (1958-1960)
• 8.  Thaher Sahabuddin (1960-1962)
• 9.  Ahmad Djuwaeni (1962-1964)
• 10. Syarifuddin Siregar Pahu (1964-1966)
• 11. A. Husnie Thamrin (1966)
• 12. Utomo Dananjaya (1966-1969)
• 13. Hussein Umar (1966-1969), (1969-1973)
• 14. Usep Fathuddin (1969-1973)
• 15. Yusuf Rahimi (1973-1976)
• 16. Ahmad Joenanie Aloetsjah (1976-1973)
• 17. Masyhuri Amin Mukhri (1979-1983)
• 18. Mutammimul Ula (1983-1986)
• 19. Chalidin Yacobs (1986-1989)
• 20. Agus Salim (1989-1992)
• 21. Syafunnur Maszah (1992-1995)
• 22. Abdul Hakam Naja (1995-1998)
• 23. Djayadi Hanan (1998-2000)
• 24. Abdi Rahmat (2000-2002)
• 25. Zulfikar (2002-2004)
• 26. Delianur (2004-2006)
• 27. Muh. Zaid Markarma (2006-2008)