根据激光雷达方程建立了散射回波信号与大气消光系数边界值之间的非线性方程，以此为依据，提出了利用Broyden算法求解非线性方程确定大气消光系数边界值的新方法.在近地面开展了观测实验，首先分别使用Broyden算法和最小二乘法确定大气消光系数边界值，然后利用Klett反演方法获得消光系数空间分布，按路径积分计算得到两种方法下的大气透过率.同时，在附近开展了1 km路径的水平光单程传输实验直接测量大气透过率，并将此结果作为对比参考标准.将运用两种不同的边界值确定方法得到的水平大气透过率与参考标准值分别从相关性和相对误差两个方面进行了分析.实验结果表明:使用Broyden算法得到的大气透过率与参考标准具有高度的一致性；两者的线性相关系数高达0.968，平均相对误差约为最小二乘法与参考标准值平均相对误差的一半.由此验证了使用Broyden算法确定大气消光系数边界值的可行性和有效性.