深度学习中的浮点数比较

Question

如题所述

Answer 1

在数学中，实数系统表示所有可能的正数和负数的无限连续系统。计算机系统中使用浮点数来近似实数系统，浮点数的二进制编码包含三个字段：符号位、指数位和有效位。有效位表示一个数字的有效位数，指数用于确定小数点的位置。符号位表示数字的正负。

TF32浮点数格式采用与半精度(FP16)相同的10位尾数位精度，足以满足AI工作负载需求。TF32使用与FP32相同的8位指数位，支持与FP32相同的数字范围。因此，TF32成为单精度数学计算的优秀替代品，特别适用于大量乘积累加计算，这是深度学习和许多HPC应用的核心。借助NVIDIA函示库，用户无需修改代码即可使用TF32优势。

使用更低精度的浮点数可以缩短收敛时间，同时保持准确度。TPU使用bfloat16数字格式执行矩阵运算。矩阵乘法使用bfloat16值，而累积使用IEEE float32值。bfloat16是为机器学习设计的自定义16位浮点格式，包括一个符号位、八个指数位和七个尾数位。它与其他浮点格式相比的优势在于提高了硬件效率、保持了准确训练深度学习模型的能力，并将float32的转换成本降至最低。硬件乘法器的物理大小根据尾数宽度的平方进行扩展，bfloat16的尾数位比FP16少，因此其乘法器芯片大小仅为典型FP16乘法器的一半，比float32乘法器小8倍。

神经网络对指数大小的敏感度大于尾数大小。为了确保下溢、上溢和NaN的行为一致，bfloat16的指数大小与float32相同。与float32不同，bfloat16处理非正规数的方式是刷新为零。与需要特殊处理（如损失扩缩）的float16不同，bfloat16可以直接替代float32在训练和运行深度神经网络时使用。