'Ubadah bin Shamit termasuk salah seorang tokoh Anshar. Mengenai Kaum Anshar, Rasullulah SAW pernah bersabda, "Jika orang-orang Anshar menuruni lembah atau celah bukit pasti aku akan mendatangi lembah dan celah bukit orang-orang Anshar, dan kalau bukan karena hijrah, tentu aku akan menjadi salah seorang warga Anshar."
Disamping sebagai warga kaum Anshar, 'Ubadah bin Shamit merupakah salah seorang pemimpin yang di pilih Rasullulah SAW sebagai utusan yang mewakili kaum kerabat mereka. 'Ubadah ra termasuk perutusan Anshar yang pertama datang ke Mekah untuk mengangkat bai'at kepada Rasullulah SAW untuk masuk Islam, yakni bai'at yang terkenal sebagai "Bai'atul 'Aqabah pertama." Ia termasuk salah satu dari 12 orang beriman yang segera menyatakan keislaman dan mengangkat bai'at, serta menjabat tangannya, menyatakan dukungan dan kesetiaan kepada Rasullulah SAW. Ketika datang musim haji tahun berikutnya, yakni saat terjadinya "Bai'atul 'Aqabah kedua" yang dilakukan oleh perutusan Anshar yang terdiri dari 70 orang beriman (pria dan wanita), maka 'Ubadah menjadi tokoh utusan dan wakil mereka. Kemudian, saat-saat perjuangan, kebaktian dan pengorbanan susul-menyusul tiada henti, maka 'Ubadah bin Shamit tak pernah absen dan tak ketinggalan dari setiap peristiwa untuk memberikan sahamnya.
Semenjak ia menyatakan Allah dan Rasul sebagai pilihannya, maka dipikulnya segala tanggung jawab dengan seabaik-baiknya. Segala cinta kasih dan ketaatannya hanya tertumpah kepada Allah SWT dan segala hubungan, baik dengan kaum kerabat, dengan sekutu-sekutu, maupun dengan musuh-musuhnya, hanya menuruti pola yang dibentuk oleh keimanan dan norma-norma yang dikehendaki oeh keimanan ini.
Sejak dahulu, keluarga 'Ubadah bin Shamit telah terikat dalam suatu perjanjian dengan orang-orang Yahudi suku Qainuqa' di Madinah. Ketika Rasulullah SAW bersama para sahabatnya hijrah ke kota ini, orang-orang Yahudi memperlihatkan sikap damai dan persahabatan terhadapnya. Tetapi, pada hari-hari yang mengiringi perang Badar dan mendahului perang Uhud, orang-orang Yahudi di Madinah mulai menampakkan belangnya. Salah satu kabilah mereka, yaitu Bani Qainuqa', membauat ulah untuk menimbulkan fitnah dan keributan di kalangan kaum muslimin. Demi dilihat oleh 'Ubadah bin Shamit, sikap dan pendirian mereka ini, secepatnya ia melakukan tindakan yang setimpal dengan jalan membatakan perjanjian dengan mereka, katanya: "Saya hanya akan mengikuti pimpinan Allah, Rasul-Nya dan orang-orang beriman ....!" Tidak lama kemudian, turunlah ayat Al-Qur'an yang memuji sikap dan kesetiannya, firman Allah SWT dalam surat Al-Maidah ayat : 56 Artinya : "Barang siapa yang menjadikan Allah dan Rasul-Nya serta orang-orang beriman sebagai pemimpin, maka sungguh, partai atau golongan Allahlah yang beroleh kemenangan. "
'Ubadah bin Shamit pada mulanya hanya menjadi wakil kaum keluarganya dari suku Khazraj, sekarang meningkat menjadi salah seorang pelopor tokoh Islam dan salah seorang pemimpin kaum muslimin. Pada suatu hari, Rasullah SAW menjelaskan tanggung jawab seorang Amir atau wali. Didengarnya bahwa Rasulullah menyatakan nasib yang akan menimpa orang-orang yang melalaikan kewajiban di antara mereka atau memperkaya dirinya dengan harta, maka tubuhnya gemetar dan hatinya berguncang. Ia bersumpah kepada Allah tidak akan menjadi kepala walau pada dua orang sekalipun. Sumpah ini dipenuhi sebaik-baiknya dan tak pernah dilanggarnya. Dimasa pemerintahan Amirul Mukminin Umar ra, tokoh yang bergelar Al-Faruq ini pun tidak berhasil mendorongnya untuk menerima suatu jabatan, kecuali dalam mengajar ummat dan memperdalam pengetahuan mereka dalam soal agama. Memang, inilah satu-satunya usaha yang lebih diutamakan 'Ubadah dari lainnya, menjauhkan dirinya dari usaha-usaha lain yang ada sangkut pautnya dengan harta benda dan kemewahan serta kekuasaan, begitu pun dari segala mara bahaya yang dikhawatikan akan merusak agama dan karir dirinya. Oleh sebab itu, ia berangkat ke Suriah bersama dua orang kawan seperjuangannya: Mu'adz bin Jabal dan Abu Darda. Tidak ada tujuan lain, kecuali mereka ingin menyebarluaskan ilmu, pengertian dan cahaya bimbingan di negeri itu. 'Ubadah juga pernah berada di palestina untuk beberapa waktu dalam melaksanakan tugas sucinya, sedang yang menjalankan pemerintahan saat itu atas nama Khalifah adalah Mu'awiyah.
Sementara 'Ubadah bermukim di Syria, walaupun badannya terkurung di sana, tetapi pandangan matanya bebas lepas dan merenung jauh kesana melewati tapal batas, yaitu ke Madinah Al-Munawarah. Di saat itu, Madinah adalah ibu kota Islam dan tempat kedudukan khalifah, yakni Umar bin Khatthab, seorang tokoh yang tak ada duanya dan tamsil bandingannya. Kemudian pandangannya kembali ke bawah pelupuk matanya, yakni ke Palestina, tempat ia bermukim. Tampaklah olehnya Mua'wiyah bin Abu Sufyan, seorang pecinta dunia dan haus kekuasaan. 'Ubadah termasuk dalam rombongan perintis yang telah dididik oleh Nabi Muhammad SAW dengan tangannya sendiri, yang telah memperoleh limpahan mental, cahaya dan kebesarannya. Seandainya di kalangan orang-orang yang masih hidup ada yang dapat ditonjolkan untuk percontohan luhur sebagai kepala pemerintahan yang dikagumi oleh 'Ubadah dan dipercayainya, orang itu tidak lain adalah orang terkemuka yang sedang berkuasa di Madinah, adalah Umar bin Khattab. Amirul Mu'minin Umar adalah seorang yang memiliki kecerdasan yang tinggi dan pandangan jauh. Ia selalu menginginkan kepala-kepala daerah tidak hanya mengandalkan kecerdasannya semata. Terhadap orang-orang seperti Mu'awiyah dan kawan-kawannya, tidak dibiarkan begitu saja tanpa didampingi sejumlah sahabat yang zuhud dan shaleh, serta penasihat yang tulus ikhlas.
Mereka bertugas meredam keinginan-keinginan yang tidak terbatas, dan selalu mengingatkan mereka akan hari-hari dan masa Rasulullah SAW. Ketika 'Ubadah berada di kota Madinah, Umar bertanya, "Apa yang menyebabkan Anda ke sini, wahai' Ubadah?" 'Ubadah menceritakan peristiwa yang terjadi, di antaranya dengan Mu'awiyah, maka kata Umar, "Kembalilah segera ke tempat Anda!" amat jelek jadinya, suatu negeri yang tidak punya orang seperti Anda. Lalu kepada Mu'awiyah dikirim pula surat yang di antara isinya ada kalimat: "Tak ada wewenangmu sebagai amir terhadap 'Ubadah." Memang, 'Ubadah menjadi amir bagi dirinya. Dan jika Umar Al-Faruq sendiri telah memuliakan seseorang setinggi ini, tentulah dia memang seorang besar. Dan sungguh, 'Ubadah adalah seorang besar, baik karena keimanan, maupun karena keteguhan hati dan lurus jalan hidupnya. Pada tahun 34 H, wafatlah ia di Ramla, bumi Palestina. Ia seorang wakil ulung diantara wakil-wakil Anshar khususnya dan pemuka agama Islam pada umumnya, dengan meninggalkan teladan yang tinggi dalam arena kehidupan.