Родился 17 мая 1953 г. в г. Алма-Ате.
Окончил Московский государственный институт международных отношений (1975 г.), Пекинский лингвистический институт (КНР), Дипломатическую академию МИД России (1992 г.). Имеет степень доктора политических наук.
Работал в центральном аппарате Министерства иностранных дел СССР и в зарубежных представительствах.
С марта 1992 г. – первый заместитель министра иностранных дел Республики Казахстан. Впоследствии занимал посты министра иностранных дел, вице-премьера, премьер-министра, председатель сената парламента Республики Казахстан.
С мая 2011 г. возглавляет Женевское отделение ООН в качестве заместителя Генерального секретаря ООН. 19 мая 2011 г. Пан Ги Мун назначил
К.-Ж. Токаева Генеральным секретарём Конференции по разоружению.