宪法第三条规定，“合众国的司法权，属于一个最高法院和国会随时规定和设立的下级法院”，这意味着制宪会议共同同意的是要建立一个最高法院作为联邦司法系统的最高审判庭，但对于联邦司法系统如何组成，是由各州法院组成还是由联邦下级法院组成，对于是否需要设立联邦下级法院等问题，未能达成一致，因此把所个问题留给国会去决定。
第一届国会开始工作不久就通过了1789年司法条例，建立了联邦法院体系，确定了联邦法院的组织和各类法院的管辖范围。当时规定最高法院由一名首席法官和5名大法官共6人组成，建立的下级法院包括13个地区法院，每个州为一个联邦司法区，每个地区法院设一名法官，三个巡迴法院，每个巡迴法院由两名最高法院法官和一名地区法院法官组成，从而构成了联邦法院体系。不过，自那以后，美国的司法条例经国会做过多次修订，增设和撤消各类法院、改变各类法院的管辖权、制定和修改程序规则、为各类法院设置官员和雇员的职位等。其中最重要的修改有两次，一是1891年通过的司法条例，为减轻最高法院的负担建立了上诉法院，在此之前各巡迴区的上诉案件是由最高法院法官承担审理的。二是1925年的条例赋予最高法院调阅下级法院案卷的裁处权。