১৯০৭ খ্রিষ্টাব্দের ১৪ই মে, উত্তর পশ্চিম সীমান্ত প্রদেশের হরিপুর জেলার রিহানা নামক গ্রামের পশতুন গোত্রে জন্মগ্রহণ করেন। তাঁর পিতা মির দাদ খান ব্রিটিশ অশ্বারোহী বাহিনীর একজন রিসালদার মেজর ছিলেন। তিনি আলীগড় বিশ্ববিদ্যালয়ে ভর্তি হন। কিন্তু ব্রিটিশ রাজকীয় সেনা একাডেমি স্যান্ডহার্স্ট-এ ভর্তি হওয়ার সুযোগ লাভ করায়, তিনি ওই একাডেমিতে যোগদান করেন। একাডেমির প্রশিক্ষণ শেষে তিনি ভারতীয় ব্রিটিশ সেনাবাহিনীর ১৪ পাঞ্জাব রেজিমেন্টে যোগদান করেন।

১৯২৮ খ্রিষ্টাব্দের ২রা ফেব্রুয়ারি তিনি কমিশন লাভ করেন।
১৯৩৬ খ্রিষ্টাব্দ থেকে ১৯৩৯ খ্রিষ্টাব্দ পর্যন্ত তিনি ব্রিটিশ বাহিনীর পক্ষে দ্বিতীয় বিশ্বযুদ্ধে অংশগ্রহণ করেন। এই সময় তিনি ক্যাপ্টেন ছিলেন।
১৯৪৮ খ্রিষ্টাব্দে তিনি পূর্ব-পাকিস্তানের জিওসি হিসেবে দায়িত্ব গ্রহণ করে।

১৯৫১ খ্রিষ্টাব্দের ১৭ই জানুয়ারি তিনি পাকিস্তান সেনাবাহিনীর কমাণ্ডার ইন চিফ হিসেবে দায়িত্ব পালন করেন।
১৯৫৪ খ্রিষ্টাব্দে বগুড়ার মোহাম্মদ আলির মন্ত্রীসভায় প্রতিরক্ষা মন্ত্রী হিসেবে যোগদান করেন।
১৯৫৮ খ্রিষ্টাব্দের ইস্কান্দর মির্জা সামরিক আইন জারি করলে, তিনি প্রধান সেনা প্রশাসকের দায়িত্ব পান। এই বৎসরে ৭ই অক্টোবর তারিখে তিনি সামরিক অভ্যুথান ঘটিয়ে ইস্কান্দর মির্জাকে অপসারণ করে ক্ষমতা দখল করেন। ২৭শে অক্টোবর তিনি নিজেকে পাকিস্তানের প্রেসিডেন্ট হিসেবে ঘোষণা দেন।

১৯৬০ খ্রিষ্টাব্দে ভারতের সাথে সিন্ধুনদীর পানি বণ্টনের চুক্তি করেন।
১৯৬৩ খ্রিষ্টাব্দে ফাতিমা জিন্নাহর সাথে নির্বাচনে অংশগ্রহণ করেন এবং ৬১% ভোট পেয়ে তিনি পাকিস্তানের প্রেসিডেন্ট হন।
প্রেসিডেন্ট থাকা অবস্থায় তিনি মার্কিন যুক্তরাষ্ট্র এবং চীনের সাথে বন্ধত্বপূর্ণ সম্পর্ক গড়ে তোলেন।
১৯৬৫ খ্রিষ্টাব্দের ৬ই সেপ্টেম্বর গুজরাটের কচ্ছের রান সীমান্ত নিয়ে পাকিস্তান ও ভারতের মধ্যে যুদ্ধ হয়।  এই সময় তিনি নিজেকে ফিল্ড মার্শাল হিসেবে ঘোষণা দেন। তাঁর সেনাদক্ষতা দিয়ে এই যুদ্ধটি পরিচালনা করেও শেষ পর্যন্ত জয় লাভ করতে পারেন নি। ১৭ দিন যুদ্ধ চলার পরে উভয় পক্ষ সন্ধিতে রাজি হয়। শেষ পর্যন্ত তাসখন্দ চুক্তির মাধ্যমে বিষয়টির নিষ্পত্তি হয়।

ইতিমধ্যে সামরিক শাসনের বিরুদ্ধে পাকিস্তানের সাধারণ মানুষ তাঁকে প্রত্যাখ্যান করা শুরু করে। পূর্ব-পাকিস্তানে বঙ্গবন্ধুর নেতৃত্বে পূর্ব-বঙ্গ ভিত্তিক বাঙালি জাতীয়তাবাদের উদ্ভব ঘটে। এবং শেষ পর্যন্ত তা অসোহযোগ আন্দোলনে রূপ নেয়। অন্য দিকে পশ্চিম পাকিস্তানে জুলফিকার আলির নেতৃত্বে পিপলস পার্টি জনপ্রিয় হয়ে উঠে।

১৯৬৬ খ্রিষ্টাব্দের ফেব্রুয়ারি মাসে লাহোরে পাকিস্তানের সবগুলো রাজনৈতিক দলের একটা কনফারেন্স হয়। আর সেই সভাতে  শেখ মুজিবর রহমান তাঁর ঐতিহাসিক ৬ দফা দাবি ঘোষণা করলেন। এই কারণে এই দাবি উত্থাপক দল হিসেবে আওয়ামী লীগের উপর নিপীড়ন চালানো শুরু হয়। এই সময় শেখ মুজিবসহ আরও অনেককে গ্রেফতার করা হয় । পরে শেখ মুজিবর রহমান মুক্তিপেয়ে বাংলাদেশে এসে ১৮ই  মার্চ জনগণের উদ্দেশ্যে ৬ দফা দাবি পেশ করেন। এ সময় শেখ মুজিবর রহমানের  নেতৃত্বাধীন আওয়ামী লীগের পক্ষ থেকে পূর্ব পাকিস্তানে স্বায়ত্বশাসনের তীব্র দাবি উত্থাপিত হয়। অপরদিকে জুলফিকার আলী ভুট্টো পশ্চিম পাকিস্তানে আইয়ুবের রাজনৈতিক প্রতিদ্বন্দ্বী হিসেবে আবিভূর্ত হন।

আয়ুব বিরোধী আন্দোলন ১৯৬৯ খ্রিষ্টাব্দ পর্যন্ত অব্যাহত ছিল। ১৯৬৯ খ্রিষ্টাব্দের ১০ মার্চ বিরোধী দলগুলোর সাথে রাজনৈতিক আলোচনার জন্য রাওয়ালপিণ্ডিতে আইয়ুব খান গোলটেবিল বৈঠকের আয়োজন করেন। জুলফিকার আলী ভুট্টো এই বৈঠক বয়কট করেন। কিন্তু  বঙ্গবন্ধু গোলটেবিল বৈঠকে আওয়ামী লীগের ৬ দফা ও ছাত্র সমাজের ১১ দফা দাবি উপস্থাপন করেন। আয়ুব খান বঙ্গবন্ধুর দাবি অগ্রাহ্য করলে ১৩ মার্চ তিনি গোলটেবিল বৈঠক ত্যাগ করেন এবং ১৪ মার্চ ঢাকায় ফিরে আসেন।

আন্দোলনের তীব্রতা ঠেকাতে না পেরে তিনি ১৯৬৯ খ্রিষ্টাব্দের ২৫শে মার্চ পদত্যাগ করেন এবং পাকিস্তানের তদানীন্তন সেনাপ্রধান ইয়াহিয়া খানের কাছে ক্ষমতা হস্তান্তর করেন। ১৯৭৪ খ্রিষ্টাব্দের ১৯ এপ্রিল ইসলামাবাদে তিনি মৃত্যুবরণ করেন।।