在古代汉语中，监督是两个词。《说文解字》中说：“监，临下也。”“督，察也。”两者结合起来，确有自上而下的察看之义。例如，《后汉书》：“古之遣将，上设监督之重，下建副二之任，所以尊严国命而鲜过者也。”但是，“监督”作为一种古代的官名，如清代设十三仓监督、崇文门左右监督，主要是履行对同级官员的监察督促之责的职位。自秦汉至清末，在中央权力机构中，御史之类的官员监督的对象上自皇帝下至百官，无论官职高低。由此看来，在古代国家的权力结构中，监督也并不局限于对下级官员的自上而下的监督。作为国家职能的监督，其目的就是提示督促、防止差错、治理国事和维护秩序。在现代汉语中，监督就是指察看并督促，也没有局限于自上而下的察看之义。

法律监督作为一项国家职能，同国家一样具有悠久的历史。早在古希腊时期，柏拉图就在其《法律篇》中反复提到“法律维护者”。他在谈到理想的社会和国家以及最好的法典时强调：“你们必须指派一个官员，他要有极锐利的目光去监督规则的遵守情况，这样，各种各样的犯法行为都会引起他的注意，而犯法者受到法律及神的惩罚。”

古罗马的著名法学家西塞罗认为，希腊人在保存法律文本方面较为用心，他们选举法律保管员，“这些法律保管员不仅保管法律文本，而且甚至监督人们的行为，引起他们遵从法律。这件事可委托给监察官去完成，因为我们希望他们在我们的国家永远存在。”西塞罗在他宣布的法律中指出：“监察官维护法律的纯洁。”这说明，自从有法律以来，在国家权力结构中，就有法律监督者的地位，法律监督职能是监督法律实施的必要手段。

然而，法律监督作为一个法律术语，未见于古代法律制度和著述。从目前掌握的文献来看，把“法律监督”作为检察机关的性质和定位，大致源于新中国成立之初中央领导人对苏联检察机关性质的概括性表述(如《1959年9月4日中共中央发给中央局、分局，省、市、县委关于建立检察机构问题的电报》)。1979年人民检察院组织法第一次明确规定人民检察院是国家的法律监督机关。1982年宪法第129条把组织法第一条规定上升为宪法规范，明确了检察机关在国家政治体制和司法体制中的法律性质和地位。

后来，在司法部统编教材《法学基础理论》、《法理学》和一些词典中，“法律监督”一般被赋予了广义和狭义两种意义：广义的法律监督是指国家和社会对法律实施情况进行的监督。狭义的法律监督是指检察机关依法对法律实施进行的专门监督。“法律监督机关”也有广义与狭义之分，广义的法律监督机关包括国家权力机关、检察机关、监察机关、审计机关等；狭义的法律监督机关仅指检察机关。在社会主义法制理论形成的初级阶段，学术界试图把法律监督上升为法制的一个环节，突出了法律监督的地位和价值。这是一个建设性的、积极的理论尝试，但是，这也带来了一个消极的后果，那就是人为地使法律监督概念泛化、模糊起来了。

法律监督概念的泛化是概念发展的初级阶段，是概念内涵界定不明确的结果。其实，从法律监督一词的出现到我国宪法和法律的规定，法律监督概念都是狭义的。虽然现在看来，法律监督的范围、手段和程序仍然存在一些不确定因素，有待于研究和界定，但是，在宪法和法律意义上，检察机关是法律监督的主体，这一直是十分明确的，在现行法律中没有任何歧义。在我国，“法律监督”特指人民检察院通过行使法律赋予的职务犯罪侦查权、公诉权和诉讼监督权，追诉犯罪和纠正法律适用中的违法行为来保障国家法律在全国范围内统一正确实施的专门工作。它与“监督法律的实施”虽有一定的包容关系，但却是两个不同的概念。法律监督的主体是惟一的，法律监督机关只能在法律规定的范围内运用法律规定的手段进行监督，而监督法律实施的主体是广泛的，监督的范围是全方位的、手段是多样的。因此，既不能过分夸大法律监督的地位和作用，用法律监督来取代监督法律实施的全部活动；也不能混淆监督法律实施与法律监督的区别，把监督法律实施的所有活动都视为法律监督，以此否定法律监督概念的特定性和主体的惟一性。