SMP Joannes Bosco berdiri 1 Agustus  1963 dengan status kelas jauh (Filial) dari SMP Pangudi Luhur pusat Yogyakarta. Awal mula sekolah ini menggunakan rumah Bapak Dwijo Susanto, sebagai ruang untuk belajar. Tahun 1966 berpindah ke gedung Gereja. Tahun 1968 menempati gedung sekolah di Jalan Melati Wetan No 14 A Yogyakarta ( gedung SD Kanisius Baciro sekarang). Pada tahun 1978, berpindah ke lokasi sekarang. Pada tahun 1983 , berdiri sendiri dengan nama SMP Pangudi Luhur II Yogyakarta. Pada tahun 1984, SMP Pangudi Luhur II diresmikan dengan  SK  D13/84 dengan status disamakan. Tahun 2006, dikarenakan gempa sekolah ini direnovasi dan pada tanggal  22 Januari 2009, SMP Pangudi Luhur II berganti nama menjadi SMP Joannes Bosco Yogyakarta. Dan secara penuh  dikelola oleh Yayasan Santo Dominikus (YSD).