১৯২৪ খ্রিষ্টাব্দের ১ জুলাই, ব্রাহ্মণবাড়িয়ার নবীনগর উপজেলার নাসিরাবাদ গ্রামে জন্মগ্রহণ করেন। তাঁর বাবা আলী আহমদ খান ছিলে অবিভক্ত বাংলার এবং পরে পূর্ব পাকিস্তানের ব্যবস্থাপক পরিষদের সদস্য ছিলেন। তাঁর বাবার রাজনৈতিক জীবন শুরু হয়েছিল মুসলিম লীগ দিয়ে, পরবর্তী সময়ে আওয়ামী লীগের রাজনীতিতে যোগ দেন। তাঁর নিজের সম্পাদিত সাপ্তাহিক পূর্ব বাংলা পত্রিকার মাধ্যমে, তিনি পাকিস্তানি স্বৈরাচারের বিরোধিতায় তৎকালীন রাজনীতিতে বিশেষ ভূমিকা রেখেছিলেন। রাজনীতি-সচেতন এই পরিবারিক পরিবেশ, খান সারওয়ার মুরশিদের রাজনৈতিক ভাবধারায় বিশেষ প্রভাব ফেলেছিল।

পারিবারিক পরিমণ্ডলে সারওয়ার মুরশিদ, প্রাথমিক শিক্ষা সম্পন্ন করেন। এরপর ব্রাহ্মণবাড়িয়ার জর্জ হাইস্কুলে ভর্তি হন। এই স্কুল থেকে তিনি ১৯৩৯ খ্রিষ্টাব্দে প্রবেশিকা পরীক্ষায় উত্তীর্ণ হন। এরপর ফেনী সরকারি কলেজ ও কুমিল্লার ভিক্টোরিয়া কলেজ থেকে উচ্চ মাধ্যমিক পরীক্ষায় উত্তীর্ণ হয়ে ঢাকা বিশ্ববিদ্যালয়ে ভর্তি হন। ১৯৪৮ খ্রিষ্টাব্দে ঢাকা বিশ্ববিদ্যালয়ে ইংরেজি সাহিত্যের প্রভাষক হিসেবে যোগ দেন। ১৯৪৯ খ্রিষ্টাব্দে নিজের সম্পাদনায় নিজেই প্রকাশ করেন ইংরেজি 'ত্রৈমাসিক নিউ ভ্যালুজ'।

১৯৫১ খ্রিষ্টাব্দে ঢাকা বিশ্ববিদ্যালয়ে 'প্রগতিশীল সাংস্কৃতিক গোষ্ঠী' স্থাপিত হয় এবং তিনি এই প্রতিষ্ঠানের প্রতিষ্ঠাতা সভাপতি ছিলেন। এছাড়া তিনি পাকিস্তান লেখক সংঘের পূর্বাঞ্চল শাখার সম্পাদক ছিলেন। ১৯৫২ খ্রিষ্টাব্দের ভাষা-আন্দোলনে তাঁর সক্রিয় ভূমিকা ছিল।

এরই মাঝে  ১৯৬৫ থেকে ১৯৬৭ পর্যন্ত ঢাকা বিশ্ববিদ্যালয় শিক্ষক সমিতির সাধারণ সম্পাদকের দায়িত্ব পালন করেন। তাঁর নেতৃত্বেই শুরু হয়েছিল বিশ্ববিদ্যালয়ের স্বায়ত্তশাসন প্রবর্তনের জন্য প্রস্তাবনা ও অবকাঠামো তৈরির প্রক্রিয়া। ১৯৬৬ খ্রিষ্টাব্দ তাঁর প্রকাশিত ইংরেজি 'ত্রৈমাসিক নিউ ভ্যালুজ' প্রকাশনা বন্ধ হয়ে যায়।

১৯৭১ খ্রিষ্টাব্দে বাংলাদেশের স্বাধীনতার সময়, মুজিবনগর সরকারের প্ল্যানিং কমিশনের সদস্য ছিলেন। ১৯৭২-৭৪ খ্রিষ্টাব্দ পর্যন্ত তিনি রাজশাহী বিশ্ববিদ্যালয়ের উপাচার্য হিসাবে দায়িত্ব পালন করেছেন। বাংলাদেশের রাষ্ট্রদূত হিসাবে ছিলেন পোল্যান্ড, হাঙ্গেরি এবং চেকোস্লাভাকিয়া। ১৯৭৭ খ্রিষ্টাব্দে কমনওয়েলথের সহকারি জেনারেল সেক্রেটারি হিসাবে নিয়োগপ্রাপ্ত হন।

১৯৮৩ সালে দেশে ফিরে আবার যোগ দেন ঢাকা বিশ্ববিদ্যালয়ে। শিক্ষকসমাজের পক্ষে স্বৈরাচারবিরোধী আন্দোলনে যোগ দিয়েছেন। শহীদ জননী জাহানারা ইমাম গণ-আদালতে যুদ্ধাপরাধীদের বিচারের জন্য যে গণতদন্ত কমিশন গঠন করেছিলেন, সেখানে তিনি সদস্যের দায়িত্ব পালন করেছেন।

২০০১ থেকে ২০০৪ সাল পর্যন্ত ট্রান্সপারেন্সি ইন্টারন্যাশনাল-বাংলাদেশের (টিআইবি) চেয়ারম্যানের দায়িত্ব পালন করেন।

২০১২ খ্রিষ্টাব্দের ৮ ডিসেম্বর (শনিবার, ২৪ অগ্রহায়ণ ১৪১৯ বঙ্গাব্দ), এ্যাপোলো হাসপাতালে চিকিৎসাধীন অবস্থায় ৮৮ বৎসর বয়সে (মস্তিষ্কে রক্তক্ষরণের কারণে) মৃত্যুবরণ করেন।

পুরস্কার ও স্বীকৃতি
১৯৯৬ সালে ঢাকা বিশ্ববিদ্যালয় অ্যালামনাই অ্যাসোসিয়েশনের ৭৫তম প্রতিষ্ঠাবার্ষিকীতে শিক্ষা ও গবেষণায় অসামান্য অবদানের জন্য তাঁকে আজীবন সম্মাননা প্রদান করা হয়।
২০০৬ খ্রিষ্টাব্দে জাহানারা ইমাম স্মৃতি পদক পান।
২০০৮ খ্রিষ্টাব্দে কণ্ঠশীলন পুরস্কার পান।
২০১১ সালে তিনি বাংলা একাডেমী সাহিত্য পুরস্কার পান।