武士世家俊六，1879年出生于日本福岛县的一个武士家庭，其父俊藏曾经是会津藩士，在明治维新时期就参加过戊辰战争。俊六是这个崇拜武士道精神的家庭的第二个儿子，从小就受到“嗜战”、“尚武”思想的浸淫。曾就读于东京府寻常中学校(现东京都立日比谷高等学校)。
1896年9月，17岁的俊六进入陆军中央幼年学校学习，生性聪明的他以第三名的成绩从陆幼毕业，随后进入野战炮兵部队第一联队，同年12月，进入陆军士官学校，1900年11月21日毕业于陆军士官学校第12期炮兵科(655人中第11名)，翌年6月25日授予炮兵少尉军衔，任职于野炮兵第1联队。参加了日俄战争，在攻打东鸡冠山的战斗中被俄国人的子弹打穿左胸，子弹穿透了肺部。后来虽然经抢救活了下来，但他终生身材瘦削，形似病夫。这个伤也使他获得了军旅生涯的第一枚勋章——功五级“金鸱”勋章。
伤愈后被送入陆军炮兵工科学校学习，1906年12月21日毕业于陆军炮工学校高等科第12期。毕业后于1907年入日本陆军大学学习，1910年11月29日毕业于陆军大学校第22期(51人中首席)。后以参谋本部部员身份相继任日本驻德国使馆武官、驻瑞典使馆武官。参加了巴黎和会。1916年奉调回国后在参谋本部供职。工作期间，他随队到中国进行了两个月的综合考察，搜罗有关中国的军事、地理、政治、经济等方面的情报，为日后侵略中国做好了准备。不久，转任日本陆军大学教官。1920年被晋升为陆军炮兵大佐，历任野战炮兵第十六联队联队长、陆军野战炮兵学校教导队联队长等职。1923年，升任参谋本部作战课长兼军令部参谋。1926年3月2日晋升陆军少将，担任野战重炮兵第4旅团长，1927年任参谋本部第四部部长。1928年转任参谋本部作战部部长，炮兵监(九·一八事变)，1931年，晋升为陆军中将，担任野战炮兵总监。1933年任第十四师团长，后改任陆军航空本部长。1934年4月29日授予勋一等旭日大绶章，“二·二六兵变”之后代替皇道派的柳川平助担任台湾军司令官，次年任教育总监，晋升大将。
