Muhammad SAW wafat tanpa meninggalkan pesan siapa yang harus menggantikannya sebagai pemimpin umat. Beberapa kerabat Rasul berpendapat bahwa Ali bin Abu Thalib - misan dan menantu yang dipelihara Muhammad SAW sejak kecil - yang paling berhak. Namun sebagian kaum Anshar, warga asli Madinah, berkumpul di Balai Pertemuan (Saqifa) Bani Saudah. Mereka hendak mengangkat Saad bin Ubadah sebagai pemimpin umat.Ketegangan terjadi, Abu Bakar, Umar dan Abu Ubaidah datang untuk mengingatkan mereka. Perdebatan terjadi, sampai dua tokoh Muhajirin dan Anshar - Abu Ubaidah dan Basyir anak Saad - membaiat Abu Bakar. Umar menyusul membaiat. Demikian pula yang lainnya. Pertikaian selesai Selasa malam menjelang salat Isya – setelah Muhammmad SAW dimakamkan - Abu Bakar naik ke mimbar di masjid Nabawi. Ia mengucapkan pidato pertamanya sebagai khalifah. Pidato yang ringkas dan dan berkesan di kalangan umat. Itu terjadi pada Juni 632, atau 11 Hijriah.
Abu Bakar adalah orang pertama di luar kerabat Rasul yang memeluk Islam. Ia dikenal sebagai orang yang selalu membenarkan ucapan Muhammad SAW. Ketika orang-orang menghujat Muhammad SAW karena mengatakan baru mengalami Isra' Mi'raj, Abu Bakar menyatakan keyakinannya terhadap peristiwa itu. Ia menyiapkan perjalanan serta menemani Muhammad Saw saat hijrah ke Madinah. Ia juga menikahkan putrinya, Aisyah, dengan Rasul.
Namun tak bererti kepemimpinan Abu Bakar mulus. Wafatnya Muhammad SAW menimbulkan pembelotan besar-besaran dari berbagai kabilah yang baru masuk Islam. Mereka tidak lagi patuh pada pemerintahan di Madinah. Beberapa orang malah menyatakan diri sebagai Nabi. Aswad Al-Insa di Yaman yang menyatakan diri sebagai Nabi dan membolehkan orang tidak solat dan berzina, telah dibunuh oleh orang dekatnya saat Rasulullah sakit. Sekarang ada Tulaihah dan Musailamah yang berbuat serupa.
Di Madinah pun, Abu Bakar berselisih pendapat dengan Fatimah, putri Muhammad SAW, mengenai cara pengelolaan wang negara. Keluarga Rasul - termasuk Ali bin Abu Thalib - baru mengakui kepemimpinan Abu Bakar enam bulan kemudian, setelah Fatimah wafat.
Tugas pertama yang dilakukan Abu Bakar adalah melaksanakan amanat Rasul: memberangkatkan pasukan Usamah bin Zaid ke arah Palestina dan Syam. Ia sendiri - dalam usia 61 tahun - kemudian memimpin tentara menggempur Tulaiha. Operasi militernya sukses. Setelah itu, Abu Bakar membentuk 11 regu untuk menaklukkan kabilah-kabilah yang menolak membayar zakat. Yakni dari Tihama di Laut Merah, Hadramaut di ujung Lautan Hindia, sampai ke Oman, Bahrain, Yamama hingga Kuwait di Teluk Persia. Pertempuran paling sengit terjadi melawan pasukan Musailamah yang memiliki 40 ribu pasukan. Tentara dari Madinah sempat hancur. Berkat kecerdikan panglima Khalid bin Walid, mereka memukul balik lawan. Seorang tentara Khalid, Al-Barra, berhasil melompati benteng Al-Hadikat dan membuka pintu dari dari dalam. Musailamah tewas. Pasukan Khalid kemudian bergerak ke Utara, menuju lembah Iraq yang saat itu dikuasai kerajaan besar Persia.
Pada 8 Hijriah, Raja Persia Kisra merobek-robek surat yang dikirimkan Muhammad SAW. Rasul lalu menyebut Allah akan merobek-robek kerajaan Persia pula. Saat itu tiba melalui tangan Khalid bin Walid yang hanya membawa sedikit pasukan. Dalam perang di Allais tercatat 70 ribu orang tewas. Setelah itu Kerajaan Hira pun ditaklukkan. Jadilah seluruh wilayah Iraq sekarang masuk dalam wilayah kekhalifahan Abu Bakar. Setelah itu, Khalifah Abu Bakar mengirim 24.000 pasukan ke arah Syria, di bawah komando empat panglima perang. Mereka bersiap menghadapi 240.000 pasukan Romawi - kekuatan terbesar di dunia pada masa itu - yang diperintah Heraklius. Abu Bakar menetapkan Yarmuk sebagai pangkalan mereka. Ia juga memerintahkan Khalid bin Walid - yang berada di wilayah Iraq - untuk pergi ke Yarmuk dan menjadi Panglima Besar di situ. Sebanyak 9000 pasukan dibawanya Abu Bakar mencatat banyak keberhasilan.
Di jazirah Arab, ia telah berhasil menyatukan kembali umat Islam yang pecah setelah Rasul wafat. Di masanya pula, Islam mulai menyebar ke luar jazirah Arab. Meskipun demikian, ia tetap dikenal sebagai seorang yang sederhana. Ia hidup sebagaimana rakyat. Tetap pergi sendiri ke pasar untuk berbelanja, serta tetap menjadi imam solat di masjid Nabawi. Selama dua tahun tiga bulan memimpin umat, ia hanya mengeluarkan 8.000 dirham wang negara untuk kepentingan keluarganya. Jumlah yang sangat sedikit untuk ukuran waktu itu sekalipun. Ia juga memerintahkan pengumpulan catatan ayat-ayat Quran dari para sekretaris Rasul. Catatan-catatan itu dikumpulkan di rumah Hafshah, putri Umar. Abu Bakar meninggal dalam usia yang hampir sama dengan Rasul, 63 tahun.
