消息传到长安，李世民对伏允的挑衅嗤之以鼻！京中武官纷纷请战，其中以尉迟敬德、执失思力、阿史那社尔、薛万彻最为热切。
李世民每遇重大战事，任人为帅时，最为看重李靖和李世勣两人。与东突厥之战后，李世勣屯兵定襄，后来又移防并州。那里的突厥人固然需要镇抚，北面的薛延陀也不可不防，以李世勣之威名，可以起到震慑的作用，因此不可轻动。且现在李世勣丁忧在家，正替其父守孝，李世民也不愿夺情令其赴任。至于李靖，去岁末数次上表，以年老多病为由，坚持要辞掉尚书右仆射的职位。李世民见李靖意志坚决，挽留了数回，最后只好准其所辞。另下诏任李靖为特进（文散官一品），其封爵、禄赐如故，特旨待其疾病有所起色的时候，每隔三两日至门下、中书平章政事。所谓平章政事，即是以宰相之职参与朝政，这又是李世民发明的一个新名堂。李世民这样做，无非是看重李靖，让他在朝政之中发挥作用。如此一来，再派李靖出征为帅显然是不可能了。
按说征讨吐谷浑的合适人选，柴绍也算一人。柴绍当初设奇计打败伏允，对吐谷浑还是有相当威慑力的。只是柴绍近来恰好染病在榻，不能出征。
李世民思来想去，最后选定段志玄为出征之帅。贞观八年五月，李世民下诏授段志玄为西海道行军总管，由其总领西境边疆之兵征讨吐谷浑，另诏契苾、党项部落之兵协助段志玄完成征讨之举。段志玄接旨后，即迅速准备停当，既而率众奔赴陇西。