小白求问一下加权最小二乘法是啥
来源:学生作业帮 编辑:神马作文网作业帮 分类:综合作业 时间:2024/09/27 12:12:45
小白求问一下加权最小二乘法是啥
在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x²,lnx等等,我想问下这个权数到底是啥意思,是不是将要拟合的每个数据都乘以一个对应的权数,然后再进行拟合?
在一些软件中经常遇到,在拟合的时候要求选择一个权数,比如1/x,x²,lnx等等,我想问下这个权数到底是啥意思,是不是将要拟合的每个数据都乘以一个对应的权数,然后再进行拟合?
呃,楼上是个广告男……
加权最小二乘(WLS)最一般的用法是克服异方差.比方说,现在有一个多元回归y = bX + e(矩阵表示,【X'】代表矩阵X转置).原来的一般最小二乘(OLS)公式是
b = (X'X)^(-1) * X'y
而在异方差情况下,由于不满足OLS的五大假定,因此OLS的结果不再有效(not efficient,不是not valid).因此相应的做法是将异方差矩阵分解,并左乘到回归模型中,得到的结果就是WLS回归.比如说,异方差阵为W,且W的逆可以分解为W^(-1) = P'P,那么经过一系列推导(略,可以找一本计量的课本,参考异方差相应章节),可以知道
b* = (X'P'PX)^(-1) * X'P'Py
换言之,正如题主所言,要用矩阵P去变换这个X和y,从而得到WLS回归,其中W矩阵里的元素,就是权重(weight).至于选择什么权重,就取决于W矩阵的设定形式.
举个简单的例子,设一个一元回归y = bx + e,而扰动项e的方差协方差阵W是一个对角矩阵,即W = diag(s1,s2,...,sn),其中si代表第i个对角元,si ≠ sj
那么W^(-1) = diag(1/s1,1/s2,...,1/sn)
如果用sqrt(a)表示a的开方,那么P矩阵就是P = diag(sqrt(1/s1),...sqrt(1/sn))
从而说b* = Σ(xi * yi/si) / Σ(xi * xi/si)
可以看到,权重在这里是1/si,而对数据的变换方法是每个数据都乘以sqrt(1/si)
至于更复杂的设定形式(如 ln x 等),代表更复杂的方差协方差阵W的设定.这里不再展开.有兴趣可以参考计量经济学教材(如,伍德里奇的),有更详细的推导.
加权最小二乘(WLS)最一般的用法是克服异方差.比方说,现在有一个多元回归y = bX + e(矩阵表示,【X'】代表矩阵X转置).原来的一般最小二乘(OLS)公式是
b = (X'X)^(-1) * X'y
而在异方差情况下,由于不满足OLS的五大假定,因此OLS的结果不再有效(not efficient,不是not valid).因此相应的做法是将异方差矩阵分解,并左乘到回归模型中,得到的结果就是WLS回归.比如说,异方差阵为W,且W的逆可以分解为W^(-1) = P'P,那么经过一系列推导(略,可以找一本计量的课本,参考异方差相应章节),可以知道
b* = (X'P'PX)^(-1) * X'P'Py
换言之,正如题主所言,要用矩阵P去变换这个X和y,从而得到WLS回归,其中W矩阵里的元素,就是权重(weight).至于选择什么权重,就取决于W矩阵的设定形式.
举个简单的例子,设一个一元回归y = bx + e,而扰动项e的方差协方差阵W是一个对角矩阵,即W = diag(s1,s2,...,sn),其中si代表第i个对角元,si ≠ sj
那么W^(-1) = diag(1/s1,1/s2,...,1/sn)
如果用sqrt(a)表示a的开方,那么P矩阵就是P = diag(sqrt(1/s1),...sqrt(1/sn))
从而说b* = Σ(xi * yi/si) / Σ(xi * xi/si)
可以看到,权重在这里是1/si,而对数据的变换方法是每个数据都乘以sqrt(1/si)
至于更复杂的设定形式(如 ln x 等),代表更复杂的方差协方差阵W的设定.这里不再展开.有兴趣可以参考计量经济学教材(如,伍德里奇的),有更详细的推导.
函数拟合问题其中T为1,求a和Th.应该是spss 参数拟合,非线性回归,加权最小二乘法等等 说不得也是二阶最小二乘法。
无论{u}是否存在异方差性,用EViews练习加权最小二乘法估计模型,并用模型进行预测
概率中“加权树”是神马意思?
eviews6中如何用WLS估计即加权最小二乘法来改变权重,即如何改变权重,来使得异方差得到修正
最小二乘法的公式是怎么样的?能举例最好
最小二乘法是用来把曲线拟合呈直线的吗
最小平方法(最小二乘法)是怎么推导出来的!
加权平均资本成本怎么算?公式是?
什么叫加权平均数?加权是一个什么概念?
汽车加权加速度和振动加速度是一个意思吗?
什么是加权,何谓加权不加权
eviews最小二乘法