在李世民的唐军队伍中，主要武将如单雄信、秦叔宝、徐世等大部分来自瓦岗集团，他们掌握着唐军的行动。这一方面为李渊、李世民提供了大批非凡的军事人才，带领唐军开始了所向披靡的征战；但是另一方面，让李世民心中不安的是这些人毕竟来自同一个队伍，虽然已经投诚，但他们一旦同仇敌忾，势必会形成不小的势力。每每想到这些，李世民就更加觉得应该大力挑选军事人才，在李唐建立后的第一年，有一员勇将就出现在李世民的眼前。

李渊在公元618年建唐之后，依靠着突厥的势力而盘踞在山西的刘武周势力便主动开始进攻大唐。刘武周先于李渊一年称帝，本来是北方地区最大的割据势力，因此李渊称帝让他不能安寝，便在得力助手宋金刚的建议下，派遣了大将吕崇茂率兵攻击晋阳，打算向南发展，谋取天下。刚刚建唐还沉浸在称帝喜悦中的李渊对于刘武周这次来犯势在必胜，所以派出了大批军队，由李姓王族永安王李孝基带着工部尚书独孤怀恩以及内史侍郎唐俭，一起讨伐吕崇茂。谁知吕崇茂不仅自己本身非常勇猛，而且其帐下还有一员偏将尉迟恭更是勇悍非常，数次击败唐军，并俘虏了唐军将领独孤怀恩和唐俭等人。眼看敌军步步逼近，李世民忙率军迎敌。

李世民和吕崇茂的军队在绛州对峙，此时的吕崇茂看着浩浩荡荡的唐军队伍，对李世民的兵法谋略早有耳闻，不由得心头发慌。李渊一边命李世民大军压境，一面对吕崇茂发出招安令，许之以高官厚禄，答应他一旦反叛刘武周而投奔到李渊帐下，便让他做夏州刺史，也算一方封疆大吏。

在绛州刚刚驻扎好军队，李世民便接到了线报，说是吕崇茂已经答应投降了。李渊对此深感满意，他对李世民说：“你看，天下熙熙皆为利来。吕崇茂在刘武周军中不过是做个统帅，我现在许他一个夏州刺史，他马上就投靠了我们，不费一兵一卒，我们就可以拿下这支队伍。”

李世民对此却不赞同，他说：“为人最重要的是一个气节。刘武周对吕崇茂非常信任，将这么重大的任务交给他，他却因为一点利益的诱惑就投靠我们，我并不觉得这个人有什么可取之处。”

李渊笑了笑说：“现在对我们来说，取得战争的胜利才是关键。”

李世民对此不好再发表什么，却听到李渊对使者说：“你去告诉吕崇茂，他军中有个人曾经捉拿了我军不少头领，他若要来投诚，先将那个人给我杀了，提着他的人头来，方能解我心头之恨！”

李世民忙问：“是谁？”

李渊说：“这人复姓尉迟，名恭，字敬德。他不仅捉拿了你叔叔永安王李孝基，还把唐俭和独孤怀恩也捉去了，实在可恶。不杀他，我难出这口恶气！”

使者领命而去，李世民却对父亲的做法不敢苟同。但也不能当堂争论，只好黯然退下。然而，就如同命运在开玩笑一样，第二天，吕崇茂的军中便传来了让人惊讶的消息：吕崇茂杀尉迟恭不得，反而被他杀了！

李渊闻讯大吃一惊，忙问使者：“那唐俭和独孤怀恩呢？”

使者说：“那尉迟恭发现吕崇茂将军要杀他，竟然先下手，将吕将军给杀了，现在他已经挟持着唐俭和独孤怀恩去了浍州。”

李世民听到这个消息，不由得心头暗喜，赞叹尉迟恭果然勇猛，而且如此机警。他向李渊请命说：“臣愿意率领军队前去浍州与他一战，定能俘获他。”

李渊被尉迟恭逃脱又惊又气，见李世民请命，便让他率领十万大军前去平定，并一再嘱咐他，一定要提了尉迟恭的人头来。

李世民率军来到浍州，他乘尉迟恭仓皇出逃，还没有来得及部署好阵营的机会，让兵部尚书殷开山和秦叔宝迅速出击，毫无准备的尉迟恭被打了个措手不及，急忙又逃离浍州朝蒲坂而去。李世民穷追不舍，从小路出击，将他打了个落花流水。接连的败仗让尉迟恭一听到李世民的名字就会惊醒，在不断出逃的过程中，居然没法顾及周全，让俘虏独孤怀恩逃脱了。

李渊听到了李世民连连获胜的消息，非常高兴，又见到逃脱回来的独孤怀恩，更觉开怀。他便让独孤怀恩带领五万兵马前去接应李世民，力求在最短的时间内击败尉迟恭，一雪前耻。

正当独孤怀恩就要领军出发的时候，在前线统兵的李世民忽然回来了，李渊忙接见了他。李世民一见李渊，便掏出一封信。李渊疑惑地问：“这是什么？”

李世民说：“您看过就知道了。”

李渊打开信一看，大吃一惊。原来这是被尉迟恭所俘虏的唐俭写给李渊的信。在信中，唐俭告诉李渊，自己和独孤怀恩被尉迟恭俘虏后，曾经亲耳听到独孤怀恩说他日逃出去，便不愿意再被唐王统治，意欲谋反。如今他果然逃脱，而李渊又给了他大量军队，恐怕他即将要谋逆，因此让李渊倍加小心！

李渊折起这封来自敌营的信，对李世民说：“幸亏有唐俭这封信，不然明日独孤怀恩一出发，恐怕我们就又要多一个敌人。”

李世民说：“对啊！但是父亲不该只感谢唐侍郎一个人，还有一个人也要感谢。”

李渊疑惑地说：“通风报信的是唐俭，我不谢他还要谢谁？”

李世民说：“唐俭是被俘虏的，现在居然能这么及时地发出信来，父亲难道不觉得应该感谢那个放过他的人吗？”

李渊说：“你是说尉迟恭？”

李世民说：“正是他！唐俭在俘虏营中恳求尉迟恭将这封信派人送给我，所以我才能及时给您送过来。所以，这次能拿住独孤怀恩，尉迟恭也算是有功。”

李渊凝神想了想，说：“你这是笑话，他是我们的敌人，怎么能谢他！”

李世民说：“我们和尉迟恭对峙这么久了，一直不见刘武周和宋金刚来支援他。而且最近我又连续将他打得大败，现在他已经逃往介休去了。这次他肯让人送信给我，看来他其实已经有了投诚之心。”

李渊说：“他捉过我手下数员大将，我不会接受他的投诚。”

李世民说：“所谓各为其主，他本来就是刘武周的部将，将我将士捉去是应该的。要怪只能怪我们自己战术不精。父亲怎么会认为这是他的错呢？何况，您既然能招降一个没有骨气的吕崇茂，为什么就不能招降一个勇猛善战的悍将呢？”

李渊低头想了想李世民的话，似乎正是这个道理。大唐目前刚刚建立，正是大量需求人才的时候，自己怎么可以因为一时的意气就放弃这员猛将呢？他为自己刚才的不理智有些惭愧，便对李世民说：“那你的意思是要招降他？”

李世民见李渊有所动摇，高兴地说：“对！现在我们大军压境，尉迟恭反抗越来越弱，这一次又放过唐俭送信给我们，我有把握一定可以招降成功。”

此时，尉迟恭一方面抵抗着唐军的步步逼近，一方面看到他的主公刘武周不仅不能救他，反而自身难保，与唐军在并州交战失利后，刘武周和宋金刚无处可去，便逃往一直支持他的突厥，谁知道被突厥可汗所杀。眼见自己大势已去，他不由得颓然暗叹：看来唐军的胜利已经是注定的了。想到自己即将兵败，他来到大牢，对唐俭说：“我们各为其主，现在刘武周已经被杀，我自己也即将战败。所以我不杀你，放你走吧。”

唐俭谢过尉迟恭，对他说：“将军英勇举世无敌，只不过所效忠的不是可信的君王而已。现在我家主公已经在长安称帝，各地都闻风而败，天下归心。将军不如弃暗投明，与我一起效忠唐王，岂不是好事？”

尉迟敬德说：“我曾数次击败唐军，只怕他们不肯接受我。”

唐俭说：“我愿意为将军引荐。”他来到了唐营，大赞尉迟恭勇武仁义。此时，李渊已经不再因为兵败而迁怒于他，又加上李世民的劝谏，终于答应招降尉迟恭。

公元620年，尉迟恭以所驻守的介休、永安二城降唐，成为李世民旗下的一员战将。在李唐军事集团中，他是极少数非瓦岗军将领，再加上其本身极其善战，因此获得了李世民的信任，成为平衡军事集团内部权力的重要一环，甚至因此引起了唐军其他将领的妒忌。唐行军元帅长史屈突通担心过分的宠信会导致尉迟恭拥兵自重，出现反复的情形，因此向李世民建议削减他的兵权，但被李世民拒绝了。因为在李世民心中，尉迟恭出现拥兵自重的可能性远远低于瓦岗军将领们。