张汤刚以更改制定刑律法令做了廷尉，汲黯就曾多次在皇上面前质问指责张汤，说：“你身为正卿，却对上不能弘扬先帝的功业，对下不能遏止天下人的邪恶欲念。安国富民，使监狱空无罪犯，这两方面你都一事无成。相反，错事你竭力去做，大肆破坏律令，以成就自己的事业，尤为甚者，你怎么竟敢把高祖皇帝定下的规章制度也乱改一气呢？你这样做会断子绝孙的。”汲黯时常和张汤争辩，张汤辩论起来，总爱故意深究条文，苛求细节。汲黯则出言刚直严肃，志气昂奋，不肯屈服，他怒不可遏地骂张汤说：“天下人都说绝不能让刀笔之吏身居公卿之位，果真如此。如果非依张汤之法行事不可，必令天下人恐惧得双足并拢站立而不敢迈步，眼睛也不敢正视了！”这时，汉朝正在征讨匈奴，招抚各地少数民族。
汲黯力求国家少事，常借向皇上进言的机会建议与胡人和亲，不要兴兵打仗。皇上正倾心于儒家学说，尊用公孙弘，对此不以为意。及至国内事端纷起，下层官吏和不法之民都弄巧逞志以逃避法网，皇上这才要分条别律，严明法纪，张汤等人也便不断进奏所审判的要案，以此博取皇上的宠幸。而汲黯常常诋毁儒学，当面抨击公孙弘之流内怀奸诈而外逞智巧，以此阿谀主上取得欢心；刀笔吏专门苛究深抠法律条文，巧言加以诋毁，构陷他人有罪，使事实真相不得昭示，并把胜狱作为邀功的资本，于是皇上越发地倚重公孙弘和张汤，公孙弘、张汤则深恨汲黯，就连皇上也不喜欢他，想借故杀死他。
公孙弘做了丞相，向皇上建议说：“右内史管界内多有达官贵人和皇室宗亲居住，很难管理，不是素来有声望的大臣不能当此重任，请调任汲黯为右内史。”汲黯当了几年右内史，任中政事井井有条，从未废弛荒疏过。大将军卫青已经越发地尊贵了，他的姐姐卫子夫做了皇后，但是汲黯仍与他行平等之礼。
有人劝汲黯说：“从天子那里就想让群臣居于大将军之下，大将军如今受到皇帝的尊敬和器重，地位更加显贵，你不可不行跪拜之礼。”汲黯答道：“因为大将军有拱手行礼的客人，就反倒使他不受敬重了吗？”卫青听到他这么说，更加认为汲黯贤良，多次向他请教国家与朝中的疑难之事，看待他胜过平素所结交的人。淮南王刘安阴谋反叛，畏惧汲黯，说：“汲黯爱直言相谏，固守志节而宁愿为正义捐躯，很难用不正当的事情诱惑他。至于游说丞相公孙弘，就像揭掉盖东西的蒙布或者把快落的树叶震掉那么容易了。”
