Когда Карлу Густаву было 13 лет, его отец барон Карл Роберт Маннергейм, любивший жить на широкую ногу, сумел растранжирить и свое наследство, и приданное жены. После 18 лет брака он сбежал в Париж с любовницей, оставив жену и семерых детей без средств к существованию. Мать, Элен Маннергейм с четырьмя младшими детьми переехала в усадьбу Селлвик, принадлежавшую её мачехе Луизе фон Юлин и расположенную в волости Похья (Пуё).
Не выдержав такого ухода мужа, через год в 1881 году Элен умерла от сердечного приступа и детей взяли на воспитание родственники. Поэтому забота и содержание юного Карла Густава полностью легли на семью Юлин. Часть сестёр и братьев осталась в Финляндии, часть оказалась в Швеции на попечении родственников. С помощью родственников Густав смог получить образование. За воспитание и оплату расходов на обучение Густава отвечал в первую очередь его дядя по линии матери Альберт фон Юлин (1846-1906), попечитель (управляющий) финского завода «Fiskars».
Густава было решено отправить учиться в дешевый кадетский корпус недалеко от Выборга, но вскоре он был из него исключен за неподчинение дисциплине. Родственники хотели подыскать ему другое занятие, но неожиданно Густав переменился и вопреки всему решил сделать военную карьеру, избрав для этого Николаевскую кавалерийскую школу в Петербурге. Как писал сам Маннергейм: «Мне исполнилось 15 лет, когда в 1882 году я поступил в кадетский корпус Финляндии. Я был первым из трех поколений Маннергеймов, кто посвятил себя военной карьере».
В 1887 г. Маннергейм зачислен в кавалерию офицером, в 1889 г. закончил училище в чине поручика. В своих воспоминаниях Маннергейм с уважением вспоминает своих педагогов в кавалерийском училище, особенно генерала Алексеева (во время Первой мировой войны – заместитель верховного главнокомандующего). В Петербурге подружился с великим князем Николаем Александровичем, будущим императором Николаем II, что благотворно повлияло на его дальнейшую карьеру. Два года Маннергейм прослужил в «черных драгунах» (15-й Александрийский драгунский полк, дислоцированный в Западной Польше), а затем, воспользовавшись рекомендациями придворных дам, родственниц императрицы и при финансовой поддержке своего дяди, был переведен в кавалегардский полк, почетным командиром которого была сама императрица (кавалерийский полк гвардии Ее Императорского Величества, входивший в состав лейб-гвардии Его Императорского Величества). К императрице Марии Федоровне, датчанке по происхождению, Маннергейм относился с особым уважением. Впоследствии, уже после революции во время своего путешествия по Европе барон посетил с визитом императрицу, чтобы выразить свое почтение (Мария Федоровна провела свои последние годы жизни в Дании). Во время коронации Николая II и Александры Федоровны Маннергейм стоял в почетном карауле.
Архивные фотографии происходившей в 1896 году церемонии коронации Николая II запечатлели во главе торжественной процессии двух офицеров лейб-гвардии Кавалергардского полка с обнаженными палашами, в касках с орлами, белых колетах и супервестах (парадных латах). Одним из них был Карл Маннергейм. Отчасти выбор пал на него благодаря его высокому росту (197 см). Но Кавалергардский полк тем и отличался от прочих гвардейских полков, что низкорослых туда не брали. Кроме того, Маннергейма знали как превосходного кавалериста, но этим славились все кавалергарды. Он удостоился такой чести прежде всего потому, что человеком был весьма незаурядным.
И его внешность (стройный, высокий, с внушительной осанкой и благородными чертами лица), и его личные качества делали его любимцем женщин и способствовали его военной карьере. «Он принадлежал к тому типу как будто специально созданных для выполнения своей миссии великих исторических личностей, которыми так богаты были XVIII и XIX века, но в настоящее время вымершему практически полностью. Он был наделён личными чертами, свойственными всем жившим до него великим историческим персонажам. К тому же он был прекрасным наездником и стрелком, галантным кавалером, интересным собеседником и выдающимся знатоком кулинарного искусства и производил собой в салонах, равно как и на скачках, в клубах и на парадах в одинаковой степени великолепное впечатление» — вспоминал о нем его современник фон Блюхер, немецкий посол в Финляндии.
