第一次世界大战刚一爆发,罗科索夫斯基就急着报名参军。为了被选为志愿兵,他虚报了年龄。由于在侦察工作中表现机敏,他获得了四等乔治十字奖章的嘉奖。后 来,他又因战斗中的英勇表现而分别获得了一枚三等乔治十字奖章、一枚四等乔治勋章。1917年,罗科索夫斯基与其他布尔什维克拥护者们一起加入了红军。
在国内战争期间,他站在红军一方,官衔是骑兵连长。1919年参加了对高尔察克海军上将的战斗。1921年在对冯·恩琴(Roman von Ungern-Sternberg)将军亚洲师的战斗中表现英勇并负伤。他因英勇表现而获得红旗勋章。
罗科索夫斯基同格奥尔吉·朱可夫(Georgy Zhukov)一起毕业于指挥官进修班。1926年,他去了蒙古,在那里从事军队培训工作,后又调至后贝加尔和远东。1937年,罗科索夫斯基未能逃脱镇压。他于1940年被释放、平反,并被授予少将军衔。
在伟大卫国战争期间,罗科索夫斯基于1942年指挥斯大林格勒战斗前线,并制定了“天王星”作战计划(斯大林格勒的反攻计划)。之后被任命为中央方面军司令。他的榜样不仅激励了苏联红军,也激励着西方盟军,被誉为“机动大师”。
罗科索夫斯基同A.M.瓦西里耶夫斯基(Aleksandr Vasilevsky)和G.K.朱可夫一起,制定了“巴格拉季昂”战役计划。它作为规模最大的一场战役而载入史册。因为在这次战役中的卓越指挥,罗科索夫斯基晋升为苏联元帅,并获得了“苏联英雄”称号。
1945年6月24日,罗科索夫斯基元帅指挥了在莫斯科的胜利大阅兵。他在战后被派到波兰,从事波兰军队的重新武装工作。在回到苏联之后,他于1956年担任国防部副部长。
1968年8月3日,康斯坦丁·罗科索夫斯基去世。他被埋葬在莫斯科的克里姆林宫墙下。