吕布同意议和，当即归还了刘备的老婆孩子，还命他为豫州刺史，和自己一起攻打袁术。

刘备回到小沛，刚刚募集了一万多人的军队，吕布突然后悔了，再次率军来攻小沛。

刘备打不过，跑到许都投奔了曹操。曹操给了刘备一些兵马粮草，让他继续做豫州牧。

公元198年春，吕布派人到河内购买战马，被刘备的人抢了。于是，吕布命大将高顺和张辽攻打刘备，刘备逃走了，他的老婆孩子再次被俘虏。

同年十月，刘备和曹操联合攻打吕布，再一次抢回了老婆孩子，吕布兵败投降，被杀。

曹操非常敬重刘备，上表举荐他为左将军，与他出则同舆，坐则同席。有一次，曹操和刘备席间闲聊时说：当今天下英雄，只有你与我。袁绍这种人根本不值一提。刘备正在吃饭，闻言大惊，手里的勺子和筷子都吓掉了。

此事史书有载，大约确有其事。以下见于《三国演义》，真伪莫辨，仅供参考。

这时恰好天上打了一个响雷，刘备抹着汗对曹操说：没有想到啊，一个响雷就把我吓成了这样！曹操于是不疑有它。

实际上，此时的刘备已经参与了汉献帝的衣带诏事件，谋诛权臣曹操。这件事很快败露，所有参与密谋的人都被斩首，除了刘备。他恰好回到了小沛，另一面，关羽镇守下邳（今江苏徐州睢宁县境内），与他呈犄角之势，互相拱卫。

曹操没有放过他，率军东征，生擒了关羽，再次抓住了刘备的老婆孩子。刘备孤身一人投奔了袁绍。

此后，他像没头苍蝇一样到处跑来跑去，世事维艰，何时是一个头啊？幸运的是，关羽和张飞一直不离不弃地跟着他，就算被乱军打散了也会如倦鸟归林一样，回到他的身边。

更幸运的是，公元207年，他遇到了诸葛亮。