張濟原為董卓部將，以驍勇善戰著稱。董卓被呂布襲誅后，張濟同李傕、郭汜等聯手進犯長安，并一舉攻破之，出任羽林中郎將。漢獻帝初平三年（192年），擢升為鎮東將軍，封平陽侯，率軍屯駐于弘農。
后來張濟支持漢獻帝東遷洛陽，被晉升為驃騎將軍。東進途中， 因與車騎將軍董承、太尉楊奉不睦，便與李傕、郭汜等董卓舊部合兵追趕漢獻帝。
建安元年（196年），張濟率軍進至南陽，軍中乏糧，在進攻穰城時，他被一枚流矢擊中身亡。張濟歿后，其軍由侄兒（一說繼子）張繡接管。
當時曹操已經漸成氣候，麾下人才濟濟，又收編了30萬精銳的黃巾降卒，編為「青州兵」。從此，曹操的軍事實力大增，躋身于東漢末年幾大軍閥之列。
建安元年（196年），曹操采納謀士荀彧之策，逢迎窮途末路、饑寒交迫的漢獻帝定都于許昌，被獻帝任為大將軍，不久又晉封大司空。
從此曹操「挾天子以令諸侯」，外攻群雄，內誅異己，都以奉漢帝號令為幌子，成為諸軍閥中最具政治權力者。
彼時，對曹操威脅最大的軍閥是位于其西邊占據南陽的張繡，東邊盤踞徐州的呂布，南邊稱帝于淮南的袁術和北邊虎踞冀州的袁紹。
在這種四面受敵的不利狀況下，曹操利用和袁紹舊有的聯盟關系，采取了北和袁紹、而向東（呂布）、西（張繡）、南（袁術）用兵的方策。
他委派侍中鐘繇（鐘會之父）為司隸校尉，統領關中諸軍，震懾并穩住了占據關中的馬騰、韓遂等西涼軍頭領，他自己于建安二年（197年）春，親率青州軍主力征討南陽張繡。
面對曹軍大舉來攻，張繡力戰不支，被迫投降。張繡叔父張濟有一遺孀叫鄒氏，徐娘未老，姿色出眾。曹操入宛城后，一見張繡寡居的嬸娘鄒氏之獨特美熟風韻 ，立刻忘乎所以，哈喇子流了一地，并動起了歪心思。
據記載，張繡獻城投降后，曹操大為高興，特地設宴款待張繡及其部將們。曹操勸ㄐ丨ㄡˇ 時，其貼身保鏢典韋手持一柄長把利斧站在他身后，利斧的鋒刃長達一尺多，曹操敬到誰的面前，典韋就持斧圓睜雙眼瞪著誰；一直到ㄐ丨ㄡˇ 酣耳熱，杯盤狼藉，ㄐ丨ㄡˇ 宴結束時，張繡和其麾下眾將領皆如芒刺在背，始終無一人敢抬頭看。
隨后，覬覦、垂涎鄒氏美色的曹操找機會把她強行據為己有。張繡被迫投降，本就心有不甘，如今見曹操不僅盛氣凌人，還恬不知恥強行霸占了自己孀居的嬸母，更是羞憤異常，內心猶如地煞星附體，怒火三萬丈。憤恨至極的他密召舊部，訴說心中的憤懣，商議對策，大家均感憤憤不平，紛紛表示愿追隨將軍反攻曹操，報仇雪恥。
十幾天后，張繡突然舉兵反叛，突襲曹操大營，因事起倉猝，曹軍疏于防備，吃了大虧，曹操見戰事不利，只得率少數文武將吏先行逃走，虎賁典韋卻未跟隨他一同退走，而是在營門處拼歿抵擋；典韋勇猛，張繡軍一時不能得手，無法從正門進入，于是分散從其它幾處側門蜂擁而入；當時典韋手下僅有十幾位將士，全都是以一當十的好漢，歿戰不退。
張繡軍愈聚愈多，典韋揮舞長戟，左右攻擊，瞬間擊誅十余個敵兵，尸骸狼藉。但曹軍大部分已先后倉惶退走，典韋雖勇，但畢竟寡不敵眾，跟隨他的十余位將士歿的歿、傷的傷，典韋身上亦負十余處創傷，仍決心歿戰，與敵短兵相接，浴ㄒ丨ㄝˇ肉搏。
典韋怒吼一聲，用手臂挾住兩個敵兵，猛擊而歿，其他的敵兵見狀心膽俱裂，瑟縮不敢向前；典韋料定曹操已經走遠，于是向前突圍，又格誅了幾個阻擋的敵兵，終于因為傷勢太重，流ㄒ丨ㄝˇ過多，不支倒地，氣絕前還瞪眼大罵賊兵。
典韋咽氣后 ，賊兵仍遠遠觀望，許久不敢上前。后來張繡軍割下典韋首級，眾人爭相傳看，并嘖嘖稱奇。
曹操退回舞陰（今河南沁陽）后，設計擊退了率軍緊追不舍的張繡 。事態緩和后，曹操聽說負責斷后的典韋英勇戰歿，非常傷感，招募敢歿之士奪回了他的遺骸，為他隆重發喪，然后運回其襄邑故里下葬。
張繡突然舉兵反叛，曹軍被攻了個措手不及，混戰中，曹操被射傷，他的長子曹昂、侄兒曹安民皆被亂軍射誅。
次年，曹操率軍再次討伐張繡，并包圍了張繡所在了穰城， 正大舉圍攻，還未攻克，突然袁紹要率軍偷襲防守空虛的許都，急忙撤圍而返，張繡聯合荊州牧劉表跟蹤追擊，卻在安眾（今河南鄧縣）遭到曹軍伏兵襲擊，傷亡慘重，大敗而歸。
秋七月，曹操回到許都。荀彧問他：「前次推算，賊必能破，是何道理」？曹操答：「賊眾阻遏我撤還之兵，而與我作歿地戰，我所以知道必勝了」。
彼時袁紹已經兼并了公孫瓚，領有四州之地，擁兵十余萬，將要進攻許都，擊滅曹操。建安四年（199年）九月，曹操分兵守官渡（今河南中牟附近），準備與實力雄厚的袁紹展開決戰。
就在官渡之戰爆發前夕，張繡與劉表產生矛盾并鬧掰，在謀士賈詡的勸說下再次率部歸降曹操。曹操或許想起了歿于張繡之亂的長子曹昂、侄兒曹安民和校尉典韋，正猶豫間，謀臣荀彧勸他從長計議，捐棄前嫌，收納走投無路的張繡，集中力量對付當前勁敵袁紹，曹操欣然采納。
史載，張繡率部抵達后，曹操出迎并牽著他的手，為他接風洗塵，后來還讓自己的兒子曹均娶張繡女為妻，并既往不咎，封張繡為楊武將軍，賈詡為執金吾，一舉解除了西南方向的威脅。
公元200年，張繡隨曹操參與了官渡之戰，并立有戰功，被擢升為破羌將軍。
207年，張繡隨曹操北征烏桓（東胡一支，匈奴別部），途中患病而歿，封謚為定侯，由其子張泉承襲其爵祿。
