《史记》是司马迁父子积十余年之功而写成的一本史书，在司马迁活着的时候，这部史书并未流传开来。司马迁死后，《史记》一直由其女收藏。直到汉宣帝时期，他的外孙杨恽献书给朝廷后，人们才知道有这样一部史学名著。而这本书广泛流传开，已经是东汉时候的事了。
根据《太史公自序》的说法，汉武帝元封元年，司马迁的父亲司马谈病重，于是他拉着儿子的手叮嘱说司马家的祖宗为周王室的太史，日后司马迁应子承父业，继续为汉室修史。自从《春秋》之后，汉武帝之前，这四百年间的历史全是一片空白，还未出现过一本系统记载这段历史的通史，因此司马迁应肩负使命，完成父亲未竞的事业。
从司马迁与壶遂的对话中，我们隐约的发现司马迁最初似乎写的是一本汉代的国史，记录内容为“汉兴以来”的“圣德”及“功臣世家贤大夫之业”。后来遭遇李陵之祸，才立志写一本“陶唐以来，至于麟止”的史书，这便是《史记》。
在《报任安书》中，司马迁说自己“网罗天下放失旧闻”，将其整编成一部史书，可见《史记》并非完全是原创的，它还有更古老的史料来源。
班固在《汉书》中说自从秦朝焚书后，明堂、石室、金鐀、玉版图籍全部散乱了，一直过了近百年，在贾谊、公孙弘、董仲舒等人的努力下，那些散失的史料才逐渐被收集起来。其中最广为流传的史书有《春秋》、《左传》、《国语》、《世本》、《战国策》和《楚汉春秋》。班固认为这六本史书就是《史记》的底本，它先是依据《世本》写出本纪和世家的世系传承，然后再将《左传》《国语》里的故事内容穿插入春秋时代的历史中，将《战国策》纳入战国史里，至于楚汉部分则采用陆贾的《楚汉春秋》。
但我们很容易就发现，《史记》的篇幅巨大，共有五十二万六千五百字，远远超过了六部史书的总和，它不可能是对六部史书的照搬照抄，应另有其他史料来源。例如《天官书》混有《星经》，《三代世表》本于《五帝系谍》，《六国年表》多采《秦记》等。
司马迁自己也常说：“余读谍记，黄帝以来皆有年数”、“太史公读春秋历谱谍，至周厉王，未尝不废书而叹也”、“太史公读秦记”、“太史公读秦楚之际”等等，说明司马迁在写《史记》之前，先是读了许多史料，然后才根据这些史料来写出这本新的史书。那么这些史料大概都有哪些呢？
班固与张守节都说：“《史记》采六家杂说”，认为《史记》本于《春秋》等六本史书，这其实只是一种笼统的说法。司马迁居太史的官职，掌天下图籍，是在广纳史料的基础上写作《史记》的。
本纪部分，《五帝本纪》是采用了《五帝德》、《帝系姓》等古书；《夏本纪》大部分抄自《尚书》；《周本纪》兼用《逸周书》、《韩诗传》等；关于秦朝的两个本纪都是从秦国官史《秦记》取材的。
书部分，《天官书》由《巫咸》、《甘石》、《石申》等书籍拼凑而成；《封禅书》取自《虞书》、《秦记》和《管子》；
世家部分也并非原创，例如《吴太伯世家》中就说：“余读《春秋》古文，乃知中国之虞，与荆蛮、勾吴兄弟也。”《卫康叔世家》说：“余读《世家言》，至于宣公之太子”等等。根据其他的地方的透露，我们知道在春秋战国时代，列国人都写有一些史书，大部分都取名叫“春秋”。例如虞卿有《虞氏春秋》，吕不韦有《吕氏春秋》等，它们可能是世家的史料来源。
列传部分的取材更为广泛了，司马迁并不是道听途说的给传主写列传，而是读过有关人物写的书，或者到其故居去访问乡老，采访以收集资料。例如《管晏列传》说：“吾读《管氏》......及《晏子春秋》”，《商君列传》说：“余读《商君》开塞耕战书，与其人行事相类”，《孟子荀卿列传》说：“余读《孟子》，至于《梁惠王》”，《郦生陆贾列传》说：“余读陆生《新语》书十二篇，固当世之辨士”等等。可见如果没有司马迁博览群书的治学精神，是无法写得出那么多优秀的列传的。司马迁对他所写的每一个传主都进行了细心的研究，阅读他们的著作，了解他们的为人。
司马迁游历过的地方
优秀的史学家同时也是活动家，他们不是躲在书斋里与死文字打交道，而是走出家门，遍访名胜古迹，收集旧闻传说，再将其写入书中。
《项羽本纪》说：“余闻之周生曰‘舜目盖重瞳子’，又闻项羽亦重瞳子”，说明司马迁通过故老传闻而得知项羽的外貌；《齐太公世家》说：“吾适齐，自以泰山属之琅琊，北被于海，膏壤二千里”，可见为了了解齐国风俗，司马迁曾到山东去游历；《魏公子列传》说：“吾过大梁之墟，求问其所谓夷门”，据说这是当年魏无忌招贤纳士的地方，太史公亲临其地，想神游古今，一睹信陵君的风采；《屈原贾生列传》说：“余适长沙，观屈原所自沉渊”，在交通不便的古代，为了给修史积累材料，太史公常年游历各地，可谓兢兢业业。
从《史记》的有关段落中，我们大致知道司马迁曾在不同的年岁游历全国，他在二十岁时就曾南游江淮，北上齐鲁，然后从河南湖北返回关中。做官后，也出使巴蜀，甚至在平定西南夷时去过昆明，那是四十岁左右的事了。《五帝本纪》说他最西到过空桐，也就是甘肃一带，往北也去过涿鹿朔方，接近大漠，看过蒙括修的长城。也就是说司马迁往东南去长江三角洲，往正东去过渤海，往北去过内蒙，往西去过甘肃，往西南去过昆明，其游历之广，不得不令人叹服。
结语作为《史记》的作者，司马迁具有常人所没有的诸多优势。他生于太史世家，有着很深的家学渊源；早年曾游历过许多地方，便访名胜古迹，见识非常广泛；晚年做太史令后，又得以遍览天下图书，包括一些官方的史料和野史传记，质量参差不齐，全靠作者取舍。在此基础上，司马迁才能够写出一本集大成的《史记》来。《史记》的史料来源并不仅限于图书，还包括故老传闻、名碑石刻等等，可谓异常丰富。如果仅仅把《史记》看成司马迁个人的著作，而没有将其视为汉初集大成的史料总集，那就是没有读懂这本书了，也无法理解《史记》中一些由于采用史料出处不同而产生矛盾的地方了。