要了解汲黯不妨先从两个成语典故开始。一个叫做“后来居上”。现在这个成语的意思是指新旧交替时后来的人或事物可以胜过先前的，大多作褒奖之意；但当时汲黯说这活的时候却可以说是一句“牢骚”。汲黯发“牢骚”是有原因的，因为他位列九卿时，公孙弘和张汤还是个芝麻绿豆官，后来他们两人都提升得很快，公孙弘封了侯又拜为相国，张汤也升到了御史大夫，与汲黯平起平坐，有时候被重用的程度甚至超过了他。于是汲黯对汉武帝说：“陛下用群臣如积薪耳，后来居上。”这个说法很有趣，把汉武帝的人才储备及使用比喻成农夫堆柴，早就储备的人才就像叠在下面的木柴，而后来寻觅到的人才则像堆在上面的木柴，结果使用起来自然是“后来居上”了。汲黯的这种说法看起来是为自己打抱不平，仿佛在提倡论资排辈的做法，其实他是在尽谏议之责。在汲黯那个时代，已有“外举不弃仇，内举不失亲”的说法，更何况后世对“毛遂自荐”的做法也是加以赞许的。

另一个与汲黯有关的成语典故是“门可罗雀”。这是司马迁借用翟公之口来说汲黯与郑庄(也是汉朝时的贤臣)的境况的。由于他们品行高尚，为官清廉，因而“及居郡”，也就是等到削职为民的时候，既没有权也没有钱，自然是门可罗雀了。

汲黯之所以能成为直谏匡君的诤臣，除了他的正直和不能容人之过的个性外，其家世和资历也是一个原因。春秋时，周文王之后康叔被封于卫，其后代有卫昌公。太子居于汲(今河南省卫辉市)，称太子汲，其后代支庶子孙遂姓汲氏。汲黯的祖先有宠于周时始封的卫君，所以先后十世担任卿大夫。汲黯在汉景帝时就当上了太子洗马(太子家宦，太子出入时为先导)，所以在汉武帝时能够直谏匡君也是比较合乎情理的。用汲黯的话来说，就是皇帝设三官九卿百官来协助治理天下，如果臣僚们都顺情说好话，讨皇帝一时欢喜，到头来只能把皇帝引到邪路上去。大臣们如果处处都为自己的荣辱去留考虑，天下就遭殃了。汲黯的这种说法与后世所说的“知善不举，闻恶无言，隐情惜己，自同寒蝉，此罪人也”的忠君报国思想有许多相似之处。

当时，汉武帝大兴教化，准备独尊儒术，广招天下儒生，并信誓旦旦，要实行仁义之政。皇帝能发布这样的施政演说，臣民本应该欢呼雀跃的，但汲黯偏偏要扫皇帝的兴。大概汲黯是看穿了汉武帝的内心世界，洞察了皇帝的言不由衷，所以他说：“陛下内心充满了欲望，对外却宣称要施行仁义，难道你真的想仿效唐尧虞舜的样子治理国家吗?（“陛下内多欲而外施仁义，奈何欲效唐虞之治乎！”，载《史记·汲郑列传》）”这样的诘问，使得汉武帝非常难堪，他脸色一沉，铁青着脸罢朝而去，把汲黯和群臣晾在一边。大臣都替汲黯感到害怕，以为他闯下了大祸。不料，汉武帝只是私下对人说：“甚矣，汲黯之戆心!”

也许，在汉武帝的眼里，朝廷需要这样一个特别的人发出一点不同的声音，所以他对汲黯也另眼相待。因抗击匈奴而威名赫赫的大将军卫青来谒见汉武帝，汉武帝会坐在床上接见他；丞相公孙弘求见，汉武帝有时候衣冠不整也会相见；惟独汲黯来了，汉武帝很注意仪表，衣冠不整就不敢露面。有一次，汲黯有事上奏，汉武帝正好没戴帽子，连忙躲进帐幕里，叫别人传话，就按汲黯的意见办。可见，汉武帝对汲黯不但很敬重，甚至还有点敬畏。

汲黯劝谏汉武帝，并不是为了展示自己的辩才，逞口舌之能，而是实实在在为了汉朝的江山社稷着想，因而有时候语出惊人，往往要别人为他捏一把汗。匈奴浑邪王降汉，率众南归，汉武帝闻报后，叫长安令准备两万辆马车前往迎接。长安令连忙备办，但苦于马匹缺乏，手头无钱，所以只好以赊账的形式向老百姓买马。百姓惟恐县令无钱支付，就将马匹藏匿起来，以致在规定的期限里长安令无法凑齐足够的马匹。汉武帝非常恼怒，要把长安令问罪斩首，汲黯按捺不住，入朝面诤说：“长安令无罪!只有把我杀了，老百姓才会把马牵出来。”汲黯的意思是，浑邪王叛主降汉，已经由各地传驿相送，何必再用使天下骚动的办法来迎接他们?结果汉武帝默认了汲黯的主张，既救了长安令一命，也使长安的百姓逃过了一劫。浑邪王的部众到了长安后，得到很多赏钱，便向当地人购买东西。按照汉朝的定例，任何人不得持兵铁出关，卖给胡人。民间百姓不知法律，把铁器卖给了匈奴人，这样按规定应该处死的有五百多人。于是，汲黯又向汉武帝进谏：“匈奴断绝和亲，屡攻边塞，朝廷发兵讨伐，士兵死伤不可胜数，所费的财物的数目也非常巨大。我以为陛下捕得的胡人，应该罚做奴仆，赏赐给死难士兵的家属；获得的财物，也应该遍赏兵民，这样才能谢罪天下，消除老百姓的怨气。现在你没有这样做，反而倾府库所有赏赐他们，叫老百姓供养他们。老百姓以为朝廷这么厚待胡人，就可以随便与之贸易，怎么知道在长安街上与胡人做买卖如同把兵铁输出边关?陛下不忍心以匈奴人的性命谢罪天下，却以所谓的法律条文来处死五百多名无知的长安百姓，我觉得陛下这种做法不可取。”这次进谏并没有上次那样幸运，汉武帝没有采纳汲黯的意见，反而旁敲侧击地说：“我好久没有听汲黯说话，现在他又开始胡说八道了。”

汲黯喜欢直谏，因而讨厌巧言令色、出尔反尔的人，但这样不免得罪人。有一次，汲黯与公孙弘等约好了去谏劝汉武帝，谁知事到临头公孙弘变了卦，顺从了汉武帝的旨意。汲黯认为公孙弘虚伪奸诈，为人有问题，就当面指责公孙弘：“本来已定好了谏议，现在却见风使舵，真是不忠!”汉武帝问公孙弘怎么回事。公孙弘并不说明事情的原委，只是说：“了解我的人认为我是忠厚的，不了解我的人才会以为我不忠厚。”汉武帝反而认为公孙弘说得有道理。大概在汉武帝眼里公孙弘是从善如流的人，并不像汲黯那样固执、执迷不悟。所以汲黯耿直的个性有时候反而成全了巧舌如簧的人。又有一次，汲黯对汉武帝说：“公孙弘位在三公之上，俸禄优厚，然而故意使用布被子，这全是做作。”汉武帝就问公孙弘。公孙弘很聪明，他先表示自己确实如汲黯所说的那样有沽名钓誉之嫌，然后很圆滑地举了管仲、晏婴一奢一俭的例子，来解脱自己做作的嫌疑，并说如果没有汲黯之忠，陛下怎么能听到这样的话。汉武帝听了这以守为攻的回答，更认为公孙弘是谦让的君子，而汲黯似乎成了无事生非的好事者。

汲黯的劝谏并不是都能奏效，但他仍不改初衷。就在张汤以更改律令而掌握司法大权的时候，汲黯在朝廷上质问他：“你身为正卿，对上不能褒扬先帝的功业、做到国安民富，对下不能教化天下解除人们的邪心、让监狱失去作用，你何必要搞乱原先制定的律令?你这样做是要断子绝孙的!”汲黯简直把话说到了极点，其痛心疾首的样子可想而知。后来汲黯被排挤出朝廷。他在出任淮阳太守前，又对大行李息说：“御史大夫张汤，智足以拒谏，诈足以饰非，不肯替老百姓说话，专门阿谀奉承皇上。皇上不喜欢的，他就诋毁；皇上喜欢的，他就歌功颂德。他在朝廷里用奸诈的计谋迷惑皇上的思路，在朝廷外勾结贪官污吏作为资本。你作为公卿为什么不早早向皇上说明真相?你如果同流合污的话，肯定也要受到惩罚的。”李息胆小，终究不敢揭发。倒是后来张汤翻船之后，因为汲黯有这么一番话，汉武帝反而免了李息的罪。

朝廷里有汲黯这样一位忠贞的大臣在，的确也有威慑作用。淮南王曾经想谋反，但害怕汲黯，只好作罢。淮南王认为，汲黯喜欢直谏，恪守节操，能为正义而死，很难诱惑他，要是朝廷里的人都像丞相公孙弘这样，事情就好办了。此事传到后世，便有了“汲黯在朝，淮南寝谋”的典故，常被人引用。

汲黯的刚正不阿、直言不讳，尽管是出于“社稷之臣”之忠诚，但难免会使皇帝扫兴的。汉武帝特别喜欢马，有一年他得到了一匹号称“神马”的马，自然是十分得意。那时，汉武帝刚刚设立了乐府，就命人作了一首乐曲，兴师动众地演奏。汲黯看不过去，自然又要进谏。他说：“凡是为王的制作乐曲，对上是为了继承祖宗的伟业，对下是为了教化黎民百姓。现在陛下得了一匹马就作词作曲，在宗庙里演奏，先帝和百姓能够理解这样的作为吗?”真是在汉武帝的兴头上泼了一盆凉水，说得汉武帝闷闷不乐。

汲黯的这种刚直的个性，尽管能得到汉武帝的包容，但也很难长久地在朝廷呆下去。那年刚好在淮阳发生“民多盗铸钱”的骚乱，汉武帝就把罢了官的汲黯叫来，叫他去那里赴任。汲黯并不想离开朝廷，他首先感谢皇帝还能任用他，然后以身体不好为借口，流着泪对汉武帝说：“臣愿做个中郎，出入宫禁，给皇上出主意提谏言补过拾遗，这是臣的愿望。”汉武帝却说：“你难道看不上淮阳这个地方吗?现在所以派你去，是因为那里的官吏与百姓关系不融洽。我只是借重你的名望，不要你出什么体力，你只要高枕而卧就可以把它治理好了。”汉武帝的意思再也明白不过了，他并不想让汲黯再留在宫中，也不忍心忠心耿耿的谏臣永久地处在被罢官的失落中，所以就安排了这样一条出路。

汲黯在淮阳当了10年的太守。由于他曾经预言了张汤的下场，汉武帝在张汤败亡后让汲黯享受了7年诸侯的待遇。汲黯作为淮阳的地方官，史书对他的评价是四个字：淮阳政清。