Sejak berdirinya, Masjid sampai sekarang ini setidaknya telah diadakan penambahan dan perluasan, yaitu:
1. Masjid dibangun Sultan Mahmud Badaruddin Jayo Wikramo (1724-1758) pada tahun 1738 dan diresmikan pemakaiannya pada tahun 1748, ukuran 30 x 36 m, dinamakan “Masjid Sulton”. Ketika berakhirnya Kesultanan Palembang tahun 1823 disebut Pemerintah Kolonial sebagai “Masjid Agung”.
2. Bangunan menara Masjid didirikan tahun 1758 oleh putra Sultan Mahmud Badaruddin (SMB) yaitu Sultan Ahmad Najamuddin Adi Kesumo dan dekat Masjid juga dibuat 4 (empat) buah kolam tempat bersuci bagi pengunjung Masjid.
3. Atap Masjid yang semula terdiri dari genteng banyak terjadi kerusakan karena peluru-peluru meriam ketika perang antara Palembang dan Inggris tahun 1811 dan juga Palembang dengan Belanda. Oleh karena itu Pemerintah Belanda mengganti atap Masjid dengan sirap pada tahun 1823.
4. Tahun 1870-1890 perombakan gerbang masuk dirombak dari bentuk entrance ke bentuk gaya Yunani (Doric Order).
5. Pada tahun 1897, dilakukan oleh pengurus pada masa Pangeran Penghulu Nata Agama Karta Manggala Mustafa bin Raden Kamaluddin. Perluasan pertama ini hanya menambah serambi di tiga sisi seluas 5 meter, dengan membongkar tiga pintu gerbang yang asli dengan bentuk gaya Yunani dan menggeser dinding, pintu serta jendela. Sedangkan posisi pintu dan jendela yang lama diganti dengan tiang-tiang seperti huruf U terbalik.
6. Pada tahun 1916, oleh Sarekat Islam (SI) di bawah pimpinan Residen Raden Nangling bin Raden Ahmad (lihat prasasti pada pintu masuk menara lama). Ketiga gapura dibongkar dan menambah serambi terbuka dengan tiang-tiang beton bulat diberi pagar terali kayu yang rendah ditiga sisi serta sekaligus memperbaiki menara lama.
7. Tahun 1930-1935 diadakan penambahan bangunan Masjid dibawah Hoofd Penghulu Kiagus H. Nang Toyib sebagai “Ketua Beheer Commissie” Selain penambahan bangunan Masjid, penambahan serambi seluas lebih kurang 5 meter, juga dibangun tempat wudhu yang besar menggantikan kolam besar (Ditutup).
8. Tahun 1952 dibentuk Yayasan Masjid Agung Palembang dan melaksanakan perluasan hingga selesai tahun 1956 yang perancangnya adalah Manan dan Nanguning Karim dari Kantor PU Palembang. Luas bangunan Masjid keseluruhan adalah 5.520 m², mampu menampung 7.750 jemaah.
9. Tahun 1952-1956, dengan menambah luas dalam bentuk pondasi bertingkat (dua lantai).
10. Periode 1966-1979, oleh pengurus Yayasan Masjid Agung dibawah ketua Mgs. H. A. Rahman meneruskan pembangunan lantai dua, dan menara baru setinggi 45 meter (tahun 1971) bantuan dari Pertamina.
11. Pada tahun 1980 semasa Walikota Palembang H. Cholil Aziz pernah disusun dan direncanakan pengembangan Masjid Agung Palembang yang dirancang Arsitektur dari Institut Teknologi Bandung (ITB), dikoordinir oleh Ir. Kemas H. Madani Idrus bersama Ir. H. Anwar Arifai akan tetapi belum sempat dilaksanakan karena biaya cukup besar.
12. Tahun 1999-2003, diadakan restorasi yaitu mengembalikan bentuk aslinya dan menambah bangunan baru berarsitek modern yang diprakarsai oleh Gubernur Sumsel, Laksamana Muda Haji Rosihan Arsyad, dengan Ketua Umum Pengurus YMAP pada saat itu Prof. Dr. Kgs. Haji. Oejang Gajah Nata, DABK, dengan Sekretaris R. H. Muhammad Saleh Djon. Pelaksanaan renovasi ditandai dengan penurunan genting dari atap Masjid oleh Gubernur Sumsel diikuti Walikota Palembang Bpk. H. Husni dan Imam Besar Masjid Agung Al- Mukarrom Kgs. H. Muhammad Zen Syukri. Ini dilakukan dengan menambah tiga bangunan yaitu bangunan arah selatan dan bangunan arah utara bagunan tiga lantai diarah timur serta bangunan kubah, dalam bentuk U. Lantai bangunan yang semula dari batu tehel merah menjadi batu granit.
13. Pada tahun 2003 hasil restorasi Masjid diresmikan penggunaannya oleh Presiden Republik Indonesia Ibu Hj. Megawati Soekarno Putri pada tanggal 16 Juni 2003. dan menetapkan status Masjid ini sebagai Masjid Nasional berdasarkan SK Menteri Agama: MA/233/2003, tanggal 23 Juli 2003.Masjid juga dilindungi oleh Undang-Undang Nomor 5 Tahun 1992 Tentang Cagar Budaya Serta Peraturan Menteri Nomor : PM.19/UM.101/MKP/2009 tentang Penetapan Obyek Vital Nasional Bidang Kebudayaan dan Pariwisata.
14. Pada tanggal 2 Februari 2019 diberikan nama Masjid SULTAN MAHMUD BADARUDDIN JAYO WIKRAMO adalah untuk mengenang sejarah pendiri Masjid.
