加入后备军官训练团也使鲍威尔能从大学毕业，因为他的学习成绩都是不能毕业的“C”，而后备军官训练成绩都是“A”。1958年夏，鲍威尔大学毕业，这时有位现役军官对他说：“如果你干得好，也没有犯错，20年后我们就让你当中校。”抱着当中校的想法，鲍威尔于1958年6月宣誓参加了美国陆军。
鲍威尔从军后被派到佐治亚州的本宁堡受训，在训练和工作中吃苦耐劳，谈吐幽默，处事公正，富有感染力和组织能力，很快在不同肤色的同伴中建立了威信。此时虽然美国政府和军队已经严令禁止军队中有种族歧视的行为，但在纽约大都市长大的鲍威尔却在这个原来的南方蓄奴州的一家乡间酒吧里领教了种族歧视的滋味。他的白人朋友愤然要砸这家酒吧。鲍威尔心里暗下决心，要干出些成绩，让这些愚蠢的人看看。几个月后被授予少尉军衔的鲍威尔动身前往联邦德国，在巴伐利亚附近美国第3装甲师的一个步兵营里当排长。
