他出身贫寒，曾经乞讨度日，甚至被贬为奴隶，成为陪嫁嫁妆。40余岁才得以出仕，70岁才遇明主，被以五张羊皮换回秦国，辅佐穆公成为春秋五霸之一。
百里奚是春秋时虞国（故地在今山西平陆北）人，虽满腹经纶却家境贫寒，在虞国无用武之地。妻子杜氏知道他胸怀大志，鼓励他到虞国以外谋事，并告诉他“苟富贵，毋相忘”，百里奚这才告别妻儿，离开虞国开始自己的仕途征程，那时他已经四十多岁了。
幸遇蹇叔
当时中原混战，齐国在诸侯国中实力最为雄厚，百里奚便先去齐国寻找机会。然而还没有等到机会，自己的盘缠先用光了，无奈之下他只能沿街乞讨。
有一天，百里奚在铚邑（故地在今安徽宿州）乞讨的时候遇见了隐士蹇叔，蹇叔看百里奚像个读书人，谈吐非凡，就邀请他到自己家中一起住。蹇叔家里也相当贫困，百里奚便在村子里养牛来养活自己。
不久发生了齐国权臣公孙无知弑君的事情，公孙无知夺权后张榜公开招募人才，百里奚想去应征，蹇叔却不同意，他劝说百里奚：“公孙无知是非法夺权，齐国人一定不服他，而且被杀的先王还有个儿子在外，公孙无知必然位不长久，如果你去辅佐他，他日若有变故，就会玉石俱焚。”百里奚听从了蹇叔建议，没有轻举妄动。果然没多久，公孙无知又被别人杀害了，齐国政局一片混乱。
当时周王室有一位王子名叫姬颓，要招募善于养牛的人才，百里奚又想去应征，蹇叔再次建议：“大丈夫不能轻易下决心为别人卖命，如果为人工作却不能全心努力就是不忠，如果和不能共事的主子共同经历患难就是不明智，王子颓志大才疏、眼高手低，很快就会失败的，你还是不要去了。”百里奚听从蹇叔，又放弃了一次机会。
后来蹇叔将他介绍给虞国大夫宫之奇，经过宫之奇引荐，百里奚得以当上中大夫，辅佐虞公。百里奚也希望蹇叔能与自己一起在虞国当官，蹇叔却认为：“虞公眼光短浅，且刚愎自用，并不是有所作为之人。”所以他继续在村子里隐居，拒绝了百里奚的引荐。
被俘逃亡
果然，很快虞国就陷入危机。前655年，晋国要借道虞国来攻打虢国。
晋献公派人送给虞公很多礼物，其中包括宝玉“垂棘之璧”与名马“屈产之乘”，虞公很心动。大夫宫之奇劝阻虞公：“君侯不要答应晋国，因为虞公与虢国相邻，唇亡则齿寒啊，晋国灭虢之后必然会顺便灭掉我国，望君侯三思！”虞公贪图晋国送来的宝物，根本听不进去宫之奇的劝谏，还是答应了晋国。很快，晋国在灭虢之后转而攻虞。宫之奇提前逃离了，百里奚却感激虞公知遇之恩，不肯提前随宫之奇逃离，而是留在虞国继续周旋，终于保住虞公性命，但虞国还是灭国了。
晋献公看重百里奚的才能，希望他能来辅佐自己，然而百里奚拒绝了献公的邀请，他认为：“我之前已经因为不明智才会辅佐虞公，现在岂能又不忠于虞公去辅佐他人？在虞公离世之前我是不会考虑做官的。”这番话惹恼了晋献公，正好当时秦晋交好，秦穆公来晋国求亲，晋献公便将百里奚当做给自己女儿陪嫁的嫁妆一起送给了秦国。
在送嫁途中，百里奚终于想方设法地逃脱了。本来他想投奔蹇叔，却因为路不清楚，又要躲避追兵，就急急忙忙地逃到了楚国的苑城，却被误认为是宋国来的奸细，被抓起来了。百里奚辩解说自己是虞国人，因为国难才逃到这里。他看到本地人以狩猎、畜牧为生，就自荐是养牛高手，楚人这才答应叫他留下来养牛。
不久百里奚善于养牛的名声便传到楚成王耳中。楚成王任命他为负责养马的工头，在南海地区牧马。
终遇明主
当时，秦穆公也得知了陪嫁的媵人百里奚在楚国牧马很成功，便想花大价钱赎回百里奚。大臣公孙枝却建议穆公：“楚王正是因为他不知道百里奚是治国之才，才令百里奚牧马，如果大王现在以重价赎买百里奚，不就是提醒楚王‘百里奚是有才之人’吗？大王还不如以百里奚逃之罪，出贱价把他买回来，这样就不会引起楚王的疑心。”穆公很赞同，就用五张羊皮向楚成王赎买百里奚，楚成王虽然爱惜百里奚的养马才能，却并不敢因为一个牧马人就得罪穆公，只能将百里奚交给秦国。
穆公派公孙枝亲自迎接百里奚入秦，并向他咨询国家大事，百里奚推辞道：“我是亡国之臣，怎么值得问询呢？”穆公说：“那并不是你的罪，乃是因为虞公不善用你，所以虞国才灭亡。”百里奚心里很感动，就与穆公一连畅谈三日。
穆公问他：“秦国偏居西方一隅，不能参与中原会盟，要怎样做才不至于落后于中原诸国？”
百里奚答道：“秦虽然偏居西方一隅，时刻要面临戎狄的威胁，但这反而能使秦一直保持强大的军力；秦不参与中原会盟，就不必分神，可以集中精力建设国家。西戎总共不过十几个国家，秦很容易就能并吞。秦国现在占据的岐雍之地，地势险要，本来是周王朝的发源地，周王因为自己无法收复这块地方，才把这块地方白白送给了秦，这对秦而言是天大的好事。目前最重要的是先经营好这块地方，服从秦国的要以德抚之，不服秦国的要以力攻之。等经营好这块地方以后才能东进对付中原。”穆公闻言，大有醍醐灌顶之感，立即命百里奚主持政事，号为“五大夫”。
百里奚认妻
百里奚在虞国没有用武之地，妻子就劝他出去谋事，叮嘱他，“苟富贵，毋相忘”。等到百里奚受到秦穆公重用以后，他却忘记了妻子当年的嘱咐。有一天，一位在自己府中打杂的老妇人请求为他弹奏一曲虞国的歌，唱道：“百里奚，五羊皮！忆别时，烹伏雌，舂黄齑，炊扊扅。今日富贵忘我为？百里奚，五羊皮！父粱肉，子啼饥，夫文绣，妻浣衣。嗟乎！富贵忘我为？百里奚，五羊皮！昔之日，君行而我啼；今之日，君坐而我离。嗟乎！富贵忘我为？”百里奚一听，想起了妻子曾经说过的话，赶紧招来那位老妇人，一看果然是自己的妻子，一时百感交集，涕泪交零，夫妻得以相认。
穆公本来要拜百里奚为大夫，结果百里奚推辞道：“我比不上我的朋友蹇叔，世人并不知道蹇叔的贤能。我曾经在齐国乞讨，被蹇叔收留。我本来想辅佐齐国公孙无知，蹇叔劝我不要去，救我一命；之后周王子颓招募善于养牛的人，我本要应征，是蹇叔劝阻我，再救了我一次。接着我要辅佐虞公，蹇叔又劝阻我，因为知道虞公不会用我，但我还是为了私利爵禄去侍奉虞公，结果虞国灭亡。我两次听蹇叔的话得以保全性命，最后一次没听他的，就遇难了，这就可以看出蹇叔的贤能。”穆公听了很惊奇，马上命人去接蹇叔入秦，并拜他为上大夫。
从此，百里奚与蹇叔成为秦穆公的左膀右臂，为秦穆公图谋霸业立下汗马功劳。
辅佐霸业
百里奚相秦期间，秦穆公曾经“三置晋国之君”。秦穆公首先帮助逃亡在外的晋惠公回晋即位，晋惠公本来答应要送给秦国土地以酬谢，结果回国之后立刻就反悔了，不仅没有实践诺言，反而趁秦国发生饥荒的时候攻打秦国，结果反被秦军大败，晋惠公被俘虏。在百里奚的建议下，秦穆公还是放晋惠公回国复位。不久，晋国闹饥荒，秦国有大臣向穆公提议趁机讨伐晋国，百里奚劝阻说：“每个国家都会有天灾，救助邻国是人道。”穆公听从百里奚的意见，借粮给晋国。从雍都来的秦国粮船络绎不绝地开到晋国，史称“泛舟之役”。此举不但挽救了晋国人民，也树立了秦国的威信。晋惠公死后，百里奚又建议秦穆公帮助另外一位流亡在外的晋国公子重耳即位，重耳就是后来的春秋五霸之一——晋文公。
前632年，在百里奚的辅佐下，秦穆公会晋救郑，解除了郑国的危机。
除此之外，百里奚还辅佐秦穆公对内勤修国政、教化天下，以德政安抚境内各族，施德于诸侯，为秦国树立了威信与美名，吸引了周围戎狄巴蜀之人前来秦国朝贡。其中，西戎小国绵诸也派由余入秦，由余就是后来帮助秦穆公称霸西戎的关键人物。
前627年，秦穆公想穿过晋国进攻远方的郑国。事前，百里奚和蹇叔一致反对。百里奚说：“袭击一个国家的城池，一定要在车行距离不过百里、人行距离不过三十里的范围内，这样才能保证有旺盛的士气和强盛的战斗力，能进攻灭敌，也能迅速撤退。现在大王要行军千里，且要跨过诸侯之地去袭击别的国家，臣认为这不可取。”然而穆公一心想要攻灭郑国，听不进去百里奚的话，还是坚持令百里奚的儿子孟明视、蹇叔的儿子白乙丙和西乞术率军出战。百里奚与蹇叔哭着说：“我们见到军队出去，却要见不到他们回来了。”穆公大怒，问：“你们为什么现在就为我们的军队哭丧？”百里奚说：“我不敢哭军队，乃是为我的儿子哭，他也要与军队一起出征，我老了，这次不是他死就是我死啊！”接着百里奚对儿子说：“晋国如果阻击秦，一定会在崤山一带，所以你若死了，尸骨不在南岸，必在北岸，这样我为你收尸也方便些。”
第二年，秦国果然在崤山被晋襄公偷袭，全军覆没，只有三位主将逃回来秦国。穆公身着素服迎接他们，懊悔不已：“是我不听百里奚和蹇叔的意见，才使你们受此屈辱。”从此无心东进，一心经营秦国本地。从这件事可以看出百里奚的智慧与远见。
百里奚死时，秦国人人流泪哀哭，可见他实在深得民心。正是由于百里奚勤修内政，外树威信，辅佐穆公经营本地，收服戎狄，与晋国抗衡，才使得秦国成为诸国争霸中的一方强国，奠定了秦国未来称霸与统一的基础。
