在最近的一项研究中，一位数据分析师使用来自Epoch AI的数据，探讨了在处理高度偏斜的AI模型训练能耗数据时，对数变换与对数链接函数的不同效果。研究发现，正确选择统计方法对于数据的准确解释和模型的合理构建非常关键。 关键人物与参与组织 研究的核心人物是一名数据分析师，数据来源为Epoch AI，这是一家专门记录不同AI模型训练过程中能耗的机构。 事件的时间线与背景 研究者首先遇到的问题是AI模型训练能耗数据的高度右偏态分布，伴随明显的离群值。为了解决这个问题，研究者尝试了多种建模方法，包括对数变换和对数链接函数，分别在高斯分布和伽马分布下进行了模型拟合。 起因与发展 在初步探索中，研究者对能耗变量进行了对数变换，使数据更符合正态分布。但在建模过程中，通过对高斯分布和伽马分布下四个模型（即对数变换的高斯模型、对数链接的高斯模型、对数变换的伽玛模型和对数链接的伽玛模型）的AIC值和诊断图进行比较，发现对数变换模型虽然在高斯分布下具有更低的AIC值，但模型系数的解释存在明显问题。具体表现为：连续变量的斜率几乎为零，甚至负值，截距在原始尺度上仅为1 kWh，完全不符合实际能耗水平。相反，使用对数链接函数的伽马分布模型表现出了较高的拟合度，且模型系数解释更加合理。 结果与主要事实 最终，研究者选择了对数链接函数的伽马分布模型。该模型不仅AIC值适中（1775），且预测结果与实际数据高度一致。模型结果显示，每增加一小时的训练时间，总能耗会增加0.18%；每增加一个硬件单元，总能耗会增加0.07%。值得注意的是，训练时间和硬件数量的交互项对能耗有负向影响，体现了二者之间的相互抵消作用。两个对比图也直观地展示了对数变换模型和对数链接模型在预测效果上的显著差异，后者更符合实际数据特征。 背景补充 业内专家指出，选择正确的统计方法对于处理偏斜数据至关重要。对数变换虽然可以改善数据的分布形态，却容易扭曲变量间的真实关系。对数链接函数则能够在保留原始变量性质的同时，更好地解释实际数据的变化。研究者的单位是一家专注于AI能源效率的初创企业，他们的研究成果有助于推动行业更有效地利用资源，降低对环境的影响。在数据分析领域，正确理解和应用统计模型不仅能够提高预测的准确性，还能增强研究的科学性和可信度。