在曆史小說《三國演義》中，猛張飛罵呂布爲“三姓家奴”，指的是他生父姓呂，後來又認了並州刺史丁原和太尉董卓兩個幹爹，因此一身有呂、丁、董三個姓氏，被張飛斥罵“三姓家奴”，這個蔑稱傷害性很大，侮辱性極強。
丁原、董卓最終都遭到呂布背叛，被這個“逆子”殺死，由此可見呂布事人不忠，見利忘義，反複無常。從曆史文獻記載來看，呂布後來又先後投奔過袁術、袁紹和劉備三股勢力，無一例外和主人反目成仇，還恩將仇報，撕破臉大打出手。
史載，初平三年（192年）六月，董卓余黨李傕、郭汜率涼州軍進犯長安，聲稱爲董卓複仇，並一舉攻陷長安。李、郭挾持獻帝，殺害大臣王允等人，把持朝政，戕害士民，使得東漢朝政徹底崩壞，天下大亂。
呂布率軍與李、郭戰鬥，失敗後帶數百騎兵逃離長安，他把董卓的頭顱拴在馬鞍上，經武關（今陝西丹鳳）進入中原，後輾轉來到南陽，投靠了盤踞于此的後將軍袁術。起初，袁術對呂布很好，執禮甚恭，給予他的待遇也很優厚。“乃將數百騎，以卓頭系馬鞍，走出武關，奔南陽。袁術待之甚厚。”
袁術的叔父袁隗全家50多口男女老幼均遭董卓殺害，袁氏與董卓有不共戴天之仇。呂布認爲自己誅除了董卓，爲袁術報了血海深仇，對他有大恩德，竟産生了反客爲主的悖逆之想。呂布遂縱兵肆意搶掠，把袁術的地盤搞得烏煙瘴氣，民怨沸騰。“布自恃殺卓，有德袁氏，遂恣兵鈔掠。術患之。布不安，複去從張楊于河內。時李傕等購募求布急，楊下諸將皆欲圖之。布懼，謂楊曰：‘與卿州裏，今見殺，其功未必多。不如生賣布，可大得傕等爵寵。’楊以爲然。有頃，布得走投袁紹。”
呂布
袁紹知道呂布騎射皆精，勇猛過人，就欣然接納了他。袁紹帶著呂布到常山（今河北正定）去討伐黑山“賊” 張燕。張燕擁兵數萬，精騎數千，戰力不容小觑。呂布的坐騎名曰“赤兔”，能飛躍塹壕，能奮蹄騰跳上城壘，是一匹難得的良駒，他和部將成廉、魏越等率數十骁騎猛沖敵陣，一日反複沖殺三、四回合，每次都能斬將搴旗，帶著敵酋的首級安然返回。雙方接連激戰了十幾天，最終呂布大破張燕軍，俘斬可觀，張燕遭遇重創，率殘部落荒而逃，後蟄伏在莽莽群山中休養士馬，據險與袁紹相持。“紹與布擊張燕于常山。燕精兵萬余，騎數千。布有良馬曰赤兔。一常與其親近成廉、魏越等陷鋒突陳，遂破燕軍。而求益兵衆，將士鈔掠，紹患忌之。布覺其意，從紹求去。紹恐還爲己害，遣壯士夜掩殺布，不獲。事露，布走河內，與張楊合。紹令衆追之，皆畏布，莫敢逼近者。”
後來，呂布接受張邈、陳宮等人的邀約，率部到兖州與曹操作戰，兵敗後又走投無路，左思右想，就到徐州去投奔曹操死敵劉備，受到劉備的熱情款待。劉備與呂布結成同盟，共禦曹操。
建安元年（196年），袁術揮軍進攻徐州，劉備率軍在盱眙、淮陰（今屬江蘇）一帶阻抗，留張飛扼守州治下邳（今江蘇睢甯邳鎮）。袁、劉雙方相持了個把月，你來我往，互有勝負。
袁術見一時難以取勝，就想出了一招釜底抽薪之計。他派細作混進劉備軍營，偷偷聯系上呂布，許諾給他20萬斛軍糧，還答應贈給他許多金銀，收買他背叛劉備，並尋機發起反戈一擊。呂布原本就是見利忘義之輩，瞬間就忘了劉備收留之恩，立刻率部水陸俱進，大舉動下，突襲下邳，張飛酒醉誤事，被呂布偷襲成功，將劉備的妻子女兒以及將士們的眷屬全部俘虜。“袁術攻劉備以爭徐州，備使司馬張飛守下邳，自將拒術于盱眙、淮陰，相持經月，更有勝負。下邳相曹豹，陶謙故將也，與張飛相失，飛殺之，城中乖亂。袁術與呂布書，勸令襲下邳，許助以軍糧。布大喜，引軍水陸東下。備中郎將丹楊許耽開門迎之。張飛敗走，布虜備妻子及將吏家口。備聞之，引還，比至下邳，兵潰。備收余兵東取廣陵，與袁術戰，又敗，屯于海西。饑餓困踧，吏士相食，從事東海麋竺以家財助軍。備請降于布，布亦忿袁術運糧不繼，乃召備，複以爲豫州刺史，與並勢擊術，使屯小沛。布自稱徐州牧。布將河內郝萌夜攻布，布科頭袒衣，走詣都督高順營。順即嚴兵入府討之，萌敗走；比明，萌將曹性擊斬萌。”
曹操
曹操迎漢獻帝到許都後，“挾天子以令諸侯”，俨然成了無冕之王。呂布見曹操勢大，又主動向其示好，派陳登赴許都聘問。陳登不齒呂布“牆頭草”般的爲人：“登見太祖，因陳布勇而無計，輕于去就，宜早圖之。”曹操深以爲然。
建安三年（198年），曹操助劉備圍攻下邳，呂布因兵敗心情低落，屢屢責罰部下，被嘩變的部將捆縛送至曹營。“建安三年，布複叛爲術，遣高順攻劉備于沛，破之。太祖遣夏侯惇救備，爲順所敗。太祖自征布，至其城下，遺布書，爲陳禍福。布欲降，陳宮等自以負罪深，沮其計。布遣人求救于術，術自將千余騎出戰，敗走，還保城，不敢出。術亦不能救。布雖骁猛，然無謀而多猜忌，不能制禦其黨，但信諸將。諸將各異意自疑，故每戰多敗。太祖塹圍之三月，上下離心，其將侯成、宋憲、魏續縛陳宮，將其衆降。布與其麾下登白門樓。兵圍急，乃下降。遂生縛布，布曰：‘縛太急，小緩之。’太祖曰：‘縛虎不得不急也。’布請曰：‘明公所患不過于布，今已服矣，天下不足憂。明公將步，令布將騎，則天下不足定也。’太祖有疑色。劉備進曰：‘明公不見布之事丁建陽及董太師乎！’太祖颔之。布因指備曰：‘是兒最叵信者。’于是缢殺布。布與宮、順等皆枭首送許，然後葬之。”
王夫之在《讀通鑒論》中評論說：“呂布不死，天下無可定亂之機，昭烈勸曹操速殺之，此操所以心折于昭烈也。當時之競起者衆矣。孫堅，以戡亂爲志者也；劉焉妄人也，而偷以自容；劉表文土也，而無能自立；袁紹雖疏而有略，其規恢較大矣；狂愚而逞者袁術，而猶飾僞以自尊；頑悍而樂殺者公孫瓒，而猶據土以自全；若夫倏彼倏此，唯其意之可奰發，旦暮狂馳而不能自信，唯呂布獨也。而有骁勁之力以助其惡，嗾之斯前矣，激之斯起矣，觸之斯閧矣，蹂躏于中夏而靡所底止，天下未甯而布先殪，其自取之必然也。呂布殪，而天下之亂始有乍息之時，亂人不亡，亂靡有定，必矣。嗚呼！布之惡無他，無恒而已。人至于無恒而止矣。不自信而人孰信之？不自度而安能度人？不思自全，則視天下之糜爛皆無足恤也。故君子于無恒之人，遠之唯恐不速，絕之唯恐不早，可誅之，則勿恤其小惠、小勇、小信、小忠之區區而必誅之，而後可以名不辱而身不危。與無恒者處，有家而家毀，有身而身危，乃至父子、兄弟、夫婦之不能相保。論交者通此義以知擇，三人行，亦必慎之哉！”
