故事由10年前陈永仁与刘建明在警校大门外擦身而过开始。1991年，倪氏家族当时稳坐香港的黑帮龙头位置，旗下有五大头目分别控制了不同的地区。但龙头倪坤突然被枪杀，当晚，除了新晋头目的韩琛(曾志伟饰)之外，其余四大头目均欲伺机夺取老大的位置。重案组督察黄志诚(黄秋生饰)及陆启昌(胡军饰)也加紧步署防范，各方都将陷入一触即发的火线状态中。倪家接班人倪永孝(吴镇宇饰)城府极深且心狠手辣，竟凭他一己之力，不费一兵一卒便牵制住四大头目，成为新任龙头，也因此引起了黄警督对他的疑心，于是派警校的学生陈永仁(余文乐饰)以被开除的身份掩盖渗入倪家进行长期的卧底。另一方面，韩琛为巩固势力，也早已安排手下刘建明(陈冠希饰)考进警察部作为自己的卧底。三年后，陈永仁取得倪永孝的信任，在家族中任居要职。刘建明也凭着向警队提供韩琛的情报扶摇直上，并且对韩琛女友Mary(刘嘉玲)渐生情愫。倪永孝在一切稳固之后，决定将五大头目一举歼灭，使自己的龙头地位名副其实，于是一夜之间，曾经背叛倪氏家族的四大头目同时被杀，而韩琛也在泰国受袭下落不明，就连Mary和陆启昌也没有逃过此劫。黄痛失好友，决意联合重出江湖的琛向倪永孝反击，但没想到琛已性情大变，比倪永孝更不受控制，整个局面再度陷入新一轮的争斗中。
在2002年的《无间道》大获成功之后，《无间道Ⅱ》又一次取得了辉煌的票房成绩。《无间道Ⅱ》的成功不是单是靠第一部的观众基础，它的口碑更是建立在内容风格的完全超越、精彩丰富的演员表演等艺术角度的创新上，打破了传统意义上香港“黑帮片”的拍法，上了一个新台阶。立志复兴香港电影的导演像麦兆辉说“《无间道》的成功会带旺香港电影，引来更多投资”；而刘伟强则认为自己在开启一个新的电影时代，抛弃传统滥俗的商业片拍法，重新实现电影的梦想。可以说在三部曲中这是最具有现实主义史诗色彩的一部杰作。
里面出了一句非常经典精彩对白：出来混，总有一天要还的。
