在统计学中，我们关注的对象是总体，它实质上是一个随机变量X，其特性通过概率分布来描述，这些特性通常表现为分布的参数。例如，正态分布的期望值和方差是其密度函数参数μ和σ，而二项分布的期望和方差则依赖于参数np和npq等。参数估计的目标就是利用样本信息来推测总体的这些数字特征。
当我们进行参数估计时，通常不会直接处理每个具体的样本值，而是通过样本值计算出一些特定的统计量。统计量本质上是样本的函数，只依赖于样本数据，而不涉及未知的参数。例如，样本均值和样本方差就是常见的统计量，它们分别基于样本X1, X2, ..., Xn计算得出，由于样本的随机性，这些统计量也会随着样本的改变而变化，因此它们自身也可以视为随机变量。
以10万台微型计算机为例，随机抽取的100台构成了一个样本。由于样本的选择是随机的，每组100台计算机可能不同，因此样本均值和方差等统计量会因其随机抽取而呈现出随机性。这些根据样本计算出的特征值，我们称之为样本统计量，它们反映了抽样过程中的分布特性，即抽样分布。
总体是指考察的对象的全体， 个体是总体中的每一个考察的对象， 样本是总体中所抽取的一部分个体， 而样本容量则是指样本中个体的数目样本分布是用来估计总体分布的。样本分布有区别于总体分布，它是从总体中按一定的分组标志选出来的部分样本容量。