修史必须以广博地搜集资料为前提，刘知几在《采撰篇》中明确提出了这一问题，他说：“盖珍裘以众腋成温，广厦以群材合构。自古探穴藏山之士，怀铅握椠之客，何尝不征求异说，采摭群言，然后能成一家，传诸不朽。”广泛地搜集资料只是修史的第一步工作，更重要的是对史料进行鉴别，决定其去取。刘知几在这方面的贡献在于，他对史料进行了分类概括，从理论的角度分析了不同类型史料的不同价值。他在《申左篇》中谈到《左传》有三长、《公羊传》和《谷梁传》有五短时，区别了史料有亲见和传闻的不同，有原始文件和口头传说的不同，有原始记录和后来追记的不同，这就指出了第一手资料和二、三手资料的价值区别。刘知几在《采撰》、《杂述》以及批评历朝“正史”的诸篇中，还分析了“正史”与“偏记小书”的不同价值。一般地说，刘知几比较重视“正史”的价值，但他在《载文篇》中也指出了“正史”中的史料伪谬之处，概括为“虚设、厚颜、假手、自戾、一概”五条；在《忤时》、《古今正史》以及《疑古》、《惑经》诸篇中，也批评了官修史书中存在的回护、曲笔、讳饰等弊病。在这个意义上说，出自私家的“偏记小录”也不可忽视，他在《杂述篇》中指出“大抵偏记小录之书，皆记即日当时之事，求诸国史，最为实录。但这类出自私人的著述，也存在“言多鄙朴，事罕图备”的缺点，更甚者则“真伪不辨，是非相乱”。《采撰篇》还指出“郡国之记，谱牒之书，务欲矜其州里，夸其氏族”，难以征信，至于“讹言难信，传闻失实”之处，更为普遍。这些都是在史料鉴别、取舍中应注意的问题。