在东北方面，明初是以恢复元朝的疆域为目标的。特别是由于在朝鲜半岛的王氏高丽是亲元的，所以明太祖朱元璋曾坚持要以铁岭为界，准备在朝鲜半岛的西北部设置屯驻军队的卫、所，为此与高丽发生过争执。但到洪武二十五年(公元1392年)，高丽李氏取代王氏自立，改而奉行亲明政策，因此明朝不再坚持以铁岭为界，从此鸭绿江成为明朝与朝鲜的界河。

在东北女真等部族地区，明朝陆续设置了一批羁縻卫、所，用以统治或控制当地民族。永乐七年(公元1409年)设置的奴尔干都司，管辖约300个羁縻卫、所。都司驻于黑龙江下游今俄罗斯哈巴罗夫斯克边区塔赫塔，下距江口150公里，辖境包括今黑龙江、精奇里江、乌苏里江、松花江流域，北至外兴安岭以北。永乐九年又征服了苦兀，辖境扩大到库页岛，在岛上设置了囊哈尔卫。奴尔干都司的主要官员如都指挥使、同知、佥事等职都用流官，即由朝迁派遣，而各卫、所的指挥、千户等职任用土官，即由当地部族的首领担任。奴尔干都司的性质与汉唐时的都护府相似，各卫、所内部的部族也享有自治权。但都司的管辖比都护府更严密，因为下属单位不再有西域那样的国，各卫、所必须完全服从都司。当然，由于属于羁縻性质，所以都司对下属单位的控制程度差异很大，不可一概而论。

都司的设立和存在不仅有可靠的文献记载，而且有确凿的物证。奴尔干都司设立后，内官亦失哈等多次奉命去对当地部族宣谕抚慰。永乐十一年(公元1413年)亦失哈第三次到奴尔干都司时，在都司城西南、黑龙江恒滚河口对岸山上建永宁寺，并在寺前立碑。宣德七年(公元1432年)他第十次到该地时，发现寺已被毁，次年就委官重建，又立碑纪事。这两块碑详细地记载了设置奴尔干都司的经过与亦失哈屡次宣谕镇抚其地的情况。永宁寺虽久已堙圯〔yin yi音夷〕，但两碑一直屹立原地。清光绪十一年(公元1885年)，曹廷杰奉清迁之命对被沙俄侵占地区进行调查，将碑文拓下携回，披露于世。原碑至今还保存在俄罗斯哈巴罗夫斯克(伯力)的博物馆中。

宣德十年(公元1435)年，奴尔干都司撤销，下属的卫所则继续存在。不过由于上一级建置取消了，明朝对这些卫所的控制也减弱了，尤其是在明朝国力衰弱以后。为了防止羁縻地区的部族和西部的鞑靼进入它的直接统治区——辽东都司，从永乐、宣德开始陆续建起了边墙。边墙东起今辽宁丹东市东北鸭绿江边，向北经宽甸东、本溪西，折东至本溪北，又北经抚顺东、铁岭东、开原东、昌图东，东折至昌图北，南折至昌图西、开原西，以后大致沿辽河而西南至三岔口(今辽宁海城市西北)，又自三盆口向西北，经台安、黑山，折东经阜新南，折西南经义县西、锦州西、锦西西、绥中西，折南至山海关止。这道边墙并不是明朝的边界，甚至也不是直接统治区的界线，因为边墙的东北是奴尔干都司辖境，即使在都司撤销后，也还是明朝疆域的一部分。而且由于军事防卫的需要，边墙也没有完全筑在辽东都司的边缘，它的一部分辖境就在边墙之外。由于辽东边墙通过山海关连接着明朝的另一道边墙(长城)，所以它的起点——丹东市东北鸭绿江边，也就是万里长城的起点。