建武二年春，拜征虏将军，定封颍阳侯。与骠骑大将军景丹、建义大将军朱祐、汉忠将军王常、骑都尉王梁、臧宫等入箕关，南击弘农、厌新、柏华蛮中贼。弩中遵口，洞出流血，众见遵伤，稍引退，遵呼叱止之，士卒战皆自倍，遂大破之。时，新城蛮中山贼张满，屯结险隘为人害，诏遵攻之。遵绝其粮道，满数挑战，遵坚壁不出。而厌新、柏华余贼复与满合，遂攻得霍阳聚，遵乃分兵击破降之。明年春，张满饥困，城拔，生获之。初，满蔡祀天地，自云当王，既执，叹曰：“谶文误我！”乃斩之，夷其妻子。遵引兵南击邓奉弟终于杜衍，破之。
时，涿郡太守张丰执使者举兵反，自称无上大将军，与彭宠连兵。四年，遵与朱祐及建威大将军耿弇、骁骑将军刘喜俱击之。遵兵先至，急攻丰，丰功曹孟厷执丰降。初，丰好方术，有道士言丰当为天子，以五彩囊裹石系丰肘，云石中有玉玺。丰信之，遂反。既执当斩，犹曰：“肘石有玉玺。”遵为椎破之，丰乃知被诈，仰天叹曰：“当死无所恨！”诸将皆引还，遵受诏留屯良乡拒彭宠。因遣护军傅玄袭击宠将李豪于潞，大破之，斩首千余级。相拒岁余，数挫其锋，党与多降者。及宠死，遵进定其地。
六年春，诏遵与建威大将军耿弇、虎牙大将军盖延、汉忠将军王常、捕虏将军马武、骁骑将军刘歆、武威将军刘尚等从天水伐公孙述。师次长安，时车驾亦至，而隗嚣不欲汉兵上陇，辞说解故。帝召诸将议，皆曰：“可且延嚣日月之期，益封其将帅，以消散之。”遵曰：“嚣挟奸久矣。今若按甲引时，则使其诈谋益深，而蜀警增备，固不如遂进。”帝从之，乃遣遵为前行。隗嚣使其将王元拒陇坻，遵进击，破之，追至新关。及诸将到，与嚣战，并败，引退下陇。乃诏遵军沠、耿弇军漆，征西大将军冯异军栒邑，大司马吴汉等还屯长安。自是后，遵数挫隗嚣。事已见《冯异传》。
八年秋，复从车驾上陇。及嚣破，帝东归过沠，幸遵营，劳飨士卒，作黄门武乐，良夜乃罢。时，遵有疾，诏赐重茵，覆以御盖。复令进屯陇下。及公孙述遣兵救嚣，吴汉、耿弇等悉奔还，遵独留不却。九年春，卒于军。
遵为人廉约小心，克己奉公，赏赐辄尽与士卒，家无私财，身衣韦裤，布被，夫人裳不加缘，帝以是重焉。及卒，愍悼之尤甚。遵丧至河南县，诏遣百官先会丧所，车驾素服临之，望哭哀恸。还幸城门，过其车骑，涕泣不能已。丧礼成，复亲祠以太牢，如宣帝临霍光故事。诏大长秋、谒者、河南尹护丧事，大司农给费。博士范升上疏，追称遵曰：“臣闻先王崇政，尊美屏恶。昔高祖大圣，深见远虑，班爵割地，与下分功，著录勋臣，颂其德美。生则庞以殊礼，奏事不名，入门不趋。死则畴其爵邑，世无绝嗣，丹书铁券，传于无穷。斯诚大汉厚下安人长久之德，所以累世十八，历载数百，废而复兴，绝而复续者也。陛下以至德受命，先明汉道，褒序辅佐，封赏功臣，同符祖宗。征虏将军颍阳侯遵，不幸早薨。陛下仁恩，为之感伤，远迎河南，恻怛之恸，形于圣躬，丧事用度，仰给县官，重赐妻子，不可胜数。送死有以加生，厚亡有以过存，矫俗厉化，卓如日月。古者臣疾君视，臣卒君吊，德之厚者也。陵迟以来久矣。及至陛下，复兴斯礼，群下感动，莫不自励。臣窃见遵修行积善，竭忠于国，北平渔阳，西拒陇、蜀，先登坻上，深取略阳。众兵既退，独守冲难。制御士心，不越法度。所在吏人，不知有军。清名闻于海内，廉白著于当世。所得赏赐，辄尽与吏士，身无奇衣，家无私财。同产兄午以遵无子，娶妾送之，遵乃使人逆而不受，自以身任于国，不敢图生虑继嗣之计。临死遗诫牛车载丧，薄葬洛阳。问以家事，终无所言。任重道远，死而后已。遵为将军，取士皆用儒术，对酒设乐，必雅歌投壶。又建为孔子立后，奏置《五经》大夫。虽在军旅，不忘俎豆，可谓好礼悦乐，守死善道者也。礼，生有爵，死有谥，爵以殊尊卑，谥以明善恶。臣愚以为宜因遵薨，论叙众功，详案《谥法》，以礼成之。显章国家笃古之制，为后嗣法。”帝乃下升章以示公卿。至葬，车驾复临，赠以将军、侯印绶，朱轮容车，介士军陈送葬，谥曰成侯。既葬，车驾复临其坟，存见夫人室家。其后会朝，帝每叹曰：“安得忧国奉公之臣如祭征虏者乎！”遵之见思若此。
无子，国除。兄午，官至酒泉太守。从弟肜。
肜字次孙，早孤，以至孝见称。遇天下乱，野无烟火，而独在冢侧。每贼过，见其尚幼而有志节，皆奇而哀之。
光武初以遵故，拜肜为黄门侍郎，常在左右。及遵卒无子，帝追伤之，以肜为偃师长，令近遵坟墓，四时奉祠之。肜有权略，视事五岁，县无盗贼，课为第一，迁襄贲令。时，天下郡国尚未悉平，襄贲盗贼白日公行。肜至，诛破奸猾，殄其支党，数年，襄贲政清。玺书勉励，增秩一等，赐缣百匹。
当是时，匈奴、鲜卑及赤山乌桓连和强盛，数入塞杀略吏人。朝廷以为忧，益增缘边兵，郡有数千人，又遣诸将分屯障塞。帝以肜为能，建武十七年，拜辽东太过。至则励兵马，广斥候。肜有勇力，能贯三百斤弓。虏每犯塞，常为士卒前锋，数破走之。二十一年秋，鲜卑万余骑寇辽东，肜率数千人迎击之，自披甲陷陈，虏大奔，投水死者过半，遂穷追出塞，虏急，皆弃兵裸身散走，斩首三千余级，获马数千匹。自是后鲜卑震怖，畏肜不敢复窥塞。肜以三虏连和，卒为边害，二十五年，乃使招呼鲜卑，示以财利。其大都护偏何遣使奉献，愿得归化，肜慰纳赏赐，稍复亲附。其异种满离、高句骊之属，遂骆驿款塞，上貂裘好马，帝辄倍其赏赐。其后偏何邑落诸豪并归义，愿自效。肜曰：“审欲立功，当归击匈奴，斩送头首乃信耳。”偏何等皆仰天指心曰：“必自效！”即击匈奴左伊秩訾部，斩首二千余级，持头诣郡。其后岁岁相攻，辄送首级受赏赐。自是匈奴衰弱，边无寇警，鲜卑、乌桓并入朝贡。
肜为人质厚重毅，体貌绝众。抚夷狄以恩信，皆畏而爱之，故得其死力。初，赤山乌恒数犯上谷，为边害，诏书设购赏，切责州郡，不能禁。肜乃率励偏何，遣往讨之。永平元年，偏何击破赤山，斩其魁帅，持首诣肜，塞外震慑。肜之威声，畅于北方，西自武威，东尽玄菟及乐浪，胡夷皆来内附，野无风尘。乃悉罢缘边屯兵。
十二年，征为太仆。肜在辽东几三十年，衣无兼副。显宗既嘉其功，又美肜清约，拜日，赐钱百万，马三匹，衣被刀剑下至居室什物，大小无不悉备。帝每见肜，常叹息以为可属以重任。后从东巡狩，过鲁，坐孔子讲堂，顾指子路室谓左右曰：“此太仆之室。太仆，吾之御侮也。”
十六年，使肜以太仆将万余骑与南单于左贤王信伐北匈奴，期至涿邪山。信初有嫌于肜，行出高阙塞九百余里，得小山，乃妄言以为涿邪山。肜到不见虏而还，坐逗留畏懦下狱免。肜性沉毅内重，自恨见诈无功，出狱数日，欧血死。临终谓其子曰：“吾蒙国厚恩，奉使不称，微绩不立，身死诚惭恨。义不可以无功受赏，死后，若悉簿上所得赐物，身自诣兵屯，效死前行，以副吾心。”既卒，其子逢上疏具陈遗言。帝雅重肜，方更任用，闻之大惊，召问逢疾状，嗟叹者良久焉。乌桓、鲜卑追思肜无已，每朝贺京师，常过冢拜谒，仰天号泣乃去。辽东吏人为立祠，四时奉祭焉。
肜既葬，子参遂诣奉车都尉窦固，从军击车师有功，稍迁辽东太守。永元中，鲜卑入郡界，参坐沮败，下狱死。肜子孙多为边吏者，皆有名称。
论曰：祭肜武节刚方，动用安重，虽条侯、穰苴之伦，不能过也。且临守偏海，政移犷俗，徼人请符以立信，胡貊数级于效下，至乃卧鼓边亭，灭烽幽障者将三十年。古所谓“必世而后仁”，岂不然哉！而一眚之故，以致感愤，惜哉，畏法之敝也！
赞曰：期启燕门，霸冰虖河。祭遵好礼，临戎雅歌。肜抗辽左，边廷怀和。
