ابو عبيدة كان من أعظم الفاتحين وصار واليا ، فجاءه عمر يوما ليزوره وعندما دخل إلى بيته رآه دون أثاث وفرش ، غرفة واحدة لا يوجد فيها إلا سيف ومعلق عليه كيس من شعير ، فقال له عمر : أنا ضيفك اليوم أكرمني بضيافتك ، فبحث أبو عبيدة في بيته ولم يجد إلا كسرة خبز وماء ، سأله عمر : أهذا طعامك ؟
فرد عليه أبو عبيدة وقال : يا أمير المؤمنين إنما هي أيام ونمضي ، فبكى عمر وقال : كلنا غيرتنا الدنيا إلا أنت يا أبا عبيدة ،
توفي أبو عبيدة في عهد عمر بن الخطاب وبكى عليه كل الصحابة ، جلس عمر مع أصحابه في يوم من الأيام وقال : كل واحد منكم يتمنى شيئا ، أما أنا فأتمنى أن يكون ملئ هذه الغرفة أمثال أبا عبيدة بن الجراح ، أمين هذه الأمة وبطلها ومغوارها وفاتح الشام رضي الله عنه وأرضاه