Ол кезде Әбу Убайда Шам мемлекеттерінде мұсылман әскерін басқарып жүрген. Жеңістен соң жеңіске жетіп, Шам елдері түгелдей мұсылмандыққа енді. Шығысынан Эвфратқа, солтүстігінен Кіші Азияға дейін жетті. Сол уақытта Шам елінде халық бұрын соңды есітіп-біліп көрмеген оба ауруы тарай бастайды.  Науқас жайылып халық қынадай қырыла бастады. Соны естіген хазірет Омар (р.а.) қолына хат ұстатып Әбу Убайдаға хабаршы жібереді.

Хатта былай делінген: «Әй, Әбу Убайда! Біз жақта саған үлкен қажеттілік туындап қалды. Сондықтан мынау хат саған түнде жетсе түнде, таңертең жетсе таңертең бері қарай шығуыңды талап етемін».

Хатты оқыған кезде сахаба өзіне өзі былай деді: Маған қандай қажеттілік болып тұрғанын білем. Мүміндердің әміршісі мені сақтап қалғысы келіп отыр ғой. Бірақ мен бәрібір мәңгі емеспін.

Осы жолы Әбу Убайда бүкіл өмірінде бір рет хазірет Омарға (р.а.) бірден бағынбай, оған былай деп хат жазып жібереді: «Уа, мүміндердің әміршісі! Менің сізге қандай қажеттілігім болып тұрғанын білем. Мен мұнда мұсылман әскерімен біргемін ғой. Олардың басына түскеннен қашқандай болып, бөлініп кетуге дәтім жетпей жатыр. Маған және оларға Алланың әмірі келгенге дейін олардан ажырауды қаламаймын. Осы хатым сізге жетсе, мені талабыңыздан босатып, маған осында қалуға рұқсат берсеңіз деп сұраймын».

Осы хатты оқып тұрғанда, хазірет Омар (р.а.) еңкілдеп жылайды. Көзінің жасы бетін шайып кетеді. Сонда қасындағылар: «Не болып қалды, Әбу Убайда қайтыс болып па?» деп сұрайды. «Әзірге жоқ, бірақ өлім оған жақын» деп жауап қайырады халифа.

Омардың айтқаны айдай келеді. Көп кешікпей-ақ Әбу Убайда оба ауруын жұқтырып, өлім төсегіне жатып қалады. Сонда ол бар күшін жинап, әскеріне былай дейді: «Сендерге өсиет айтам, оны орындасаңдар, еш уақытта жақсылықтан қол үзбейсіңдер: Намаздарыңды кемеліне келтіріп оқыңдар, Рамазан айында ораза ұстаңдар, зекет-садақаларыңды беріңдер, қажылықтарыңды өтеп, умра жасаңдар. Жақсылыққа шақырып, өсиет айтыңдар. Басшыларыңа көркем насихат жасаңдар. Оларды еш уақытта алдамаңдар. Мынау баянсыз дүние сендерді алдап қоймасын. Өйткені адам мың жыл өмір сүрсе де, түбінде мынау менің түскен халіме түседі. Әс саламу алейкум уа рахматуллаһи»

Осыны айтты да, Мұғаз ибн Жәбалға қарап: «Әй, Мұғаз, адамдармен бірге менің жаназамды сен оқышы», – деді. Сөйтті де қайран сахаба пәк рухын Жаратқанға тәслім етті. Сонда Мұғаз тұрып былай деді: «Әй адамдар! Қандай адамнан ажырағандарыңды білесіңдер ме? Мен бұл кісіден асқан көкірегі таза, өсек-аяң, көреалмаушылық секілді ішкі жаман мінездерден ада, арғы дүниесіне деген махаббаты күшті адам көрген емеспін. Көпшілікке айтқан насихаттары қандай десеңші. Енді оған Алладан рақым тілеңдер. Алла оны Өз рақымына алсын».

Міне, мұсылман көгінде жарқырап өткен шоқ жұлдыздардың бірі Әбу Убайда ибн Жаррахтың бұл дүниедегі тіршілігі осылай өтіп еді.