汉武帝临终，为汉昭帝刘弗陵留下了四位顾命大臣：桑弘羊、霍光、上官桀与金日磾，其中比较特别的就是金日磾，因为他并不是汉人，而是汉朝的对头匈奴人，更关键的是金日磾还并非寻常的匈奴人，而是一位曾经的匈奴王子。
汉武帝元狩二年，骠骑将军霍去病率众一万，越过焉支山北击匈奴，切断匈奴右臂，缴获休屠部的祭天金人，匈奴的浑邪、休屠二部受到重创，怒不可遏的匈奴单于准备问罪二王，无奈之下休屠王与浑邪王打算归顺汉朝。
结果在半途中休屠后悔，被浑邪所杀，而被杀的休屠王，就是金日磾的父亲。由于休屠王被杀，金日磾无所依靠，只能跟自己的母亲、弟弟等部众随着浑邪王一起归顺了汉朝。
成为汉朝的臣民之后，仅有14岁的金日磾被安排在黄门署为武帝养马。虽然金日磾的年纪不大，但养马非常用心，一次偶然的机会，金日磾受到了游宴的汉武帝的青睐。
当时的金日磾高达八尺二寸，容貌甚严，而他养的马也非常肥壮，汉武帝非常欣赏金日磾，封其为马监，赐汤沐衣冠，赐姓为金，取名金日磾。
此后的金日磾成为了汉武帝的专职司机，同时，金日磾还专门掌管着汉武帝的銮驾仪仗、玉玺和衣食起居，成为汉武帝的近臣。
武帝登基初期，为了强化集权，开创了内朝制度，大量起用身边的近臣，以此削弱外朝诸臣的力量，而金日磾的职位虽然不高，但是作为汉武帝的近身之人，自然是近水楼台先得月，很快受到了重视。
金日磾性格忠厚谦虚谨慎，做事从未有过差错，备受武帝宠爱，而当时宫廷贵戚们纷纷私下议论，“陛下妄得一胡儿，反贵重之”。汉武帝得知此事毫不在意，反而愈发厚待金日磾。
金日磾后来受到汉武帝的重用，一来因为其确实有能力，二来更因为其确实忠心。
金日磾对武帝的忠诚，对亲子也能下狠手
由于金日磾受到盛宠，武帝爱屋及乌，连带着金日磾的儿子都受到了武帝的宠爱，金日磾的长子在武帝膝下长大，是武帝的弄儿，极得武帝的欢心，弄儿甚至有一回骑在武帝的脖子上玩耍，金日磾非常生气，可武帝却责怪了金日磾，觉得他不该对孩子发火。
结果，弄儿倚仗武帝的宠爱，愈发无法无天，竟然在宫中与宫人有染，金日磾得知此事，竟然将亲儿子给杀了，得知此事的武帝召来金日磾斥责，金日磾据实以告，武帝感叹伤怀，觉得很可惜，但也认定金日磾确实极其忠诚。
此外，金日磾有个貌美如花的女儿，武帝曾想将其纳入后宫，却被金日磾拒绝，金日磾跪在建章宫外连头都磕破，最终让武帝放弃了想法。
而金日磾的理由很简单，他并不想让女儿入宫，使得金家成为外戚，汉朝重视孝道，外戚发展迅速，但这既是福也是大祸，金日磾谨慎至此，也让汉武帝感慨。
武帝之所以成为一代雄主，不止因其丰功伟绩，同时也因为武帝用人不拘一格，比如马奴出身的卫青，依旧成为武帝的悍将，而武帝自己的皇后卫子夫，出身之低也令人咋舌，金日磾虽然是匈奴人，但武帝在其身上看到了谨慎、忠诚，这让武帝很放心。
