离开左君行，杜伏威转掠淮南，自称将军。在劫掠的同时，杜伏威也没有忘了发展队伍，事实证明，杜伏威很有拉队伍的天赋。

当时下邳有个人叫苗海潮，与杜伏威是同行，也拉了一支队伍聚众为盗。为了收服这支队伍，杜伏威让辅公袥给苗海潮带了几句话：“若公能为主，吾当敬从，自揆不堪，可来听命，不则一战以决雄雌。”话说白了就是你要是觉得能领导我，你就当老大，如果自愧不如的话，就来认我当老大，不服咱就打一仗！

接到战争威胁的苗海潮仔细对比了一下双方的实力，最后一拍板，还是你杜伏威当老大，随即率领手下全部归附了杜伏威。

不过也有跟杜伏威较劲的，海陵起义军首领赵破阵就是其中一个，听说杜伏威兵比较少，也就没把杜伏威当回事，跟杜伏威恐吓苗海潮一样，他也强迫杜伏威来拜自己这个码头。

令赵破阵没想到的是，杜伏威真的就来了，还带着十个人抬来了好酒，嘴上还非常客气，看来赵破阵这个老大当定了！赵破阵大喜过望，引领杜伏威进入自己的大营，再召来其他头领一起喝酒，算是收编杜伏威的庆功酒。

然而赵破阵看到的仅仅是假象，杜伏威是来谈收编的不假，不过主语和宾语要颠倒一下，而且杜伏威收编的只是兵，光动嘴不动手的头领他一个不要！酒至半酣，杜伏威动手，将赵破阵及其几个手下斩于座位，顺势通告全营：你们被收编了，我杜伏威是你们的新老大！

自此杜伏威声势日益浩大，江淮间小盗争来附之，与此同时，杜伏威还走向了“精兵化”。

什么是精兵化呢？就是将精锐全部收为帐下，归自己直接领导。

在杜伏威的帐下，有义子三十余人，这些人都是一些头目，勇猛无比，见了杜伏威不叫老大，叫“干爹”。需要指出的是，此时的杜伏威不过二十出头，叫他干爹的，二十，三十，甚至四十岁的都有，在杜伏威那里，“干爹”就是一个尊称，与年龄无关！

除了三十多个干儿子，杜伏威还有五千死士，称为“上募”，估计是上等兵的意思。这五千死士杜伏威宠之甚厚，同甘共苦，每次作战，上募打头阵。每次战事结束后，杜伏威亲自验伤，伤在身前者重赏，伤在背部者立斩！为什么伤在背部者立斩呢？因为你曾经有逃跑的迹象，不然不会把后背露给敌人！（其实还有一种情况，敌人跑过头了呢？那只能算你倒霉了。）

残酷归残酷，杜伏威这个人赏罚非常分明，每次作战所获资财，皆以赏军士，有战死者，以其妻妾殉葬，故人自为战，所向无敌。

经过杜伏威的调教，这支队伍引起了隋炀帝杨广的重视，皇帝一挥手，右御卫将军陈棱以精兵八千讨之！

按照陈棱的本意，他是不敢出战的，他早就听闻杜伏威的凶猛，却没有想到杜伏威更有智谋。面对不出战的陈棱，杜伏威送了他一件礼物：女人的衣服，与衣服同时送达的还有一封信，信的开头是这样写的，“陈姥姥，你好！”

智者与愚者的区别在一件女人衣服和一封信上立刻显现，司马懿面对诸葛亮的挑衅坦然穿上女装，陈棱面对挑衅却选择了出城迎战，这一战陈棱一败涂地，杜伏威名声大噪！

两军对阵，杜伏威亲自出阵挑战，陈棱部将射中他的额头，杜伏威大怒，指着此人发下一句狠话：“不杀汝，我终不拔箭。”

随即冲向陈棱的军阵，闯祸的部将混入阵中，以为这下就安全了。然而令他没想到的是，杜伏威真的冲了进来，所向披靡，在乱军中居然找到了他，使其拔箭，然后斩之，携其首级复入陈棱军中奋击，杀数十人。棱阵大溃，仅以身免。

与杜伏威相比，辅公袥也是一个狠人，他的军事才能在对阵李子通的大战中发挥得淋漓尽致。

当时李子通刚刚击败沈法兴，士气正旺，这时杜伏威派辅公袥搅局来了，率领精兵数千渡江挑战李子通。面对辅公袥的挑战，李子通压根儿没有放在眼里，他的麾下有数万人，兵力对比基本为十比一，十个打一个，打不死还打不残吗？

事实证明，十个打一个不仅没打残，还被对方打残了。为什么呢，辅公袥太狠了。

辅公袥先选出披甲战士一千人，这些人全部手执长刀，成为攻击的第一方阵。在第一方阵的背后，另有一千余人随后，辅公袥只给他们一个任务：前队有退却者，斩！

辅公袥自领余众，复居其后。等到两军接战时，无路可退的第一长刀方阵与李子通大军以命死磕，而辅公袥也没有闲着，趁李子通疲于招架之际，将手下殿后士兵一分为二，分左右两翼迂回包抄过去，刚才还是一面接战，转眼之间就变成了多点进攻，再加上长刀方阵有进无退，李子通的数万大军很快抵挡不住，纷纷溃散，一仗下来辅公袥俘敌数千。

有这两个狠人领导，杜伏威和辅公袥的队伍受到了各方势力的重视，宇文化及江都兵变之后任命杜伏威为历阳太守，没想到杜伏威却不买账，他压根儿就看不起宇文化及，就更别提宇文化及任命的官职了。

杜伏威这些人虽然叛乱，虽然割据，但从骨子里他们都是渴望正统的，这也是中国大历史中大分裂之后总能愈合的原因之一。杜伏威得到的第一个所谓的正统任命来自越王杨侗，杨侗任命杜伏威为东道大总管，封楚王。等到王世充被围之后，李渊遣使招降，渴望正统的杜伏威顺势投降唐朝，李渊随即任命杜伏威为东南道行台尚书令、江淮以南安抚大使、上柱国，封吴王，赐姓李氏，预宗正属籍，封其子杜德俊为山阳公，赐帛五千缎、马三百匹。

封王，赐姓，入皇族宗谱，很多人想到却得不到的，杜伏威想到便得到了，至此杜伏威叛乱之心已弱，富贵之心反增。一个人一无所有时无所畏惧，而当富贵在手后就开始小心谨慎，战战兢兢，可以说一个人一生的谨慎程度与财富指数密切相关。

原本杜伏威也想在自己的根据地终老，然而随着形势的发展，杜伏威发现，想在自己的老巢终老是一件不可能完成的任务。武德五年，李世民先攻刘黑闼，再打徐圆朗，两次大战下来，杜伏威恐慌不已，想来想去只有去长安一条路，在天子脚下当一顺民，或许能保一生平安。杜伏威虽然一生草莽，还是有几分计谋，在去长安之前，他也留下了后手，临走前安排义子王雄诞辅助辅公袥留守淮南根据地，只要根据地在，那么淮南根据地就是杜伏威的永久护身符！

在长安，杜伏威受到了李渊的热烈欢迎，李渊请他坐上御座，以示恩宠，拜为太子太保，仍兼行台尚书令。留于京师，礼之甚厚，位在齐王元吉之上，以宠异之。