• / 48
  • 下载费用:20 金币  

第04章多元线性回归分析估计

关 键 词:
第04章多元线性回归分析估计 第04章 多元线性回归分析估计 章多元线性回归 多元线性回归 多元线性回归分析
资源描述:
Multiple Regression Analysis: Estimation 多元线性回归分析:估计 (1) y = b0 + b1x1 + b2x2 + . . . bkxk + u 1 第2章内容回顾 • 1. Definition of the Simple Regression Model 简单回归模型的定义 • 2. Deriving the Ordinary Least Squares Estimates 推导普通最小二乘估计量 • 3. Mechanics of OLS OLS相关的代数性质 • 4. Unites of Measurement and Functional Form 测量单位和函数形式 • 5. Expected Values and Variances of the OLS estimators OLS估计量的期望值和方差 • 6. Regression through the Origin 过原点的回归 2 本章大纲 •1. 为什麽使用多元回归 Motivation for Multiple Regression •2. 普通最小二乘法的操作和解释 Mechanics and Interpretation of Ordinary Least Squares •3. OLS估计量的期望值 The Expected Values of the OLS Estimators •4. OLS估计量的方差 The Variance of the OLS Estimators •5. OLS的有效性:高斯-马尔科夫定理 Efficiency of OLS: The Gauss-Markov Theorem 3 本课大纲 • 1. 多元回归模型的结构 • 2. 为什么使用多元回归 • 3.多元回归模型中的零值条件期望假定 • 4.多元回归模型的OLS 估计及代数性质 • 5.解释多元回归模型参数 • 6. 简单回归模型与多元回归模型的比较 4 1. 多元线性回归模型结构: 5 多元线性回归模型结构: 含有k个自变量的模型 • 多元线性回归模型一般可以写作: • x1…xk,k=2,…K,多个解释变量。 6 多元回归模型的结构 • b0 仍是截距(intercept) • b1到bk仍然都称为斜率参数(slope parameters) • u仍是误差项(或干扰项) ( error term (or disturbance) ):除了x1…xk之外,影响y的 其他因素。 7 多元回归模型的结构 因变量 自变量 被解释 变量 解释 变量 响应 变量 控制 变量 被预测 变量 预测元变 量 回归子 回归元 8 多元回归模型的结构 • 线性: • 参数线性:对于回归模型参数是线性的。 9 2. 为什么使用多元回归模型? 10 为什么使用多元回归? 1. 为获得其它因素不变的效应,控制更多的因素 •在实证工作中使用简单回归模型,首要的困难在于:要得到在 其它因素不变的情况下, x1对y的影响(ceteris paribus effect) ,非常困难。 •在简单线性回归中,是否能够获得在其它条件不变情况下, x1对y的影响(ceteris paribus effects of x on y),完全取决于 零值条件期望假设是否符合现实。 •如果影响y的其它因素,与x1不相关,则改变x1,可以确保u( 均值)不变,从而识别出在其它条件不变情况下x对y的影响。 •不幸的是,影响y的其它因素(包含在u中),往往与x1相关:改 变x1,u(均值)也往往发生变化,从而使得仅仅利用简单回归 模型,无法识别出在其它条件不变情况下x1对y的影响。 11 为什么使用多元回归? 1. 控制更多的因素 •一个策略就是,将与x1相关的其他因素从误差项u中取出来,放在 方程里,作为新的解释变量,这就构成多元回归模型。 •多元回归分析可以明确地控制许多其它同时影响因变量的因素, 而不是放在不可观测的误差项中,故多元回归分析更适合于其它 条件不变情况下(ceteris paribus)的特定因素x对y的影响。 •多元回归模型能容许很多解释变量,而这些变量可以是相关的。 •在使用非实验数据时,多元回归模型对推断y与解释变量x间的因 果关系很重要。 12 为什么使用多元回归? 2. 更好地预测 • 一个变量y的变化,不仅与一种因素有关,可能 决定于许多因素。 • 预测一个变量的变化,往往需要尽可能多地知道 影响该变量变化的因素。 • 简单回归模型,只包含一个解释变量,有时只能 解释y的变动的很小部分。(如,拟合优度很低) • 多元回归模型由于可以控制更多地揭示变量,因 此,可以解释更多的因变量变动。 13 为什么使用多元回归? 3. 表达更多的函数关系 • 多元回归模型,可以包含多个解释变量, 因此,可以利用变量的函数变换,在模型 中表达多种函数关系。 • 因此,多元线性回归模型,是实证分析中 应用最广泛的分析工具。 14 为什么使用多元回归模型? 例1: 教育对工资的影响 • 教育educ对工资wage的影响 • 一个简单回归模型: Wage= b0 + b1 • educ +u • 然而,上述工资方程中,许多影响工资,同时又与教 育年限相关的变量,被包含于误差项u中,如劳动力 市场经验等。一方面,他们影响工资,但又不同于教 育,故包含于u中。另一方面,他们又与教育相关。 如教育年限越长,则参与劳动市场的时间就相对越短 。因此,零值条件期望假定不成立,会导致OLS估计 量^b1 有偏。 15 例1: 教育对工资的影响 • 一个策略就是,最好能够将这些与教育相关的变 量找出来,放在模型中,进行控制。 • 一个多元回归模型: Wage= b0 + b1 • educ + b2 • exper+ u • wage: 工资对数;educ: 教育年限; exper: 劳动 力市场经验(年)。 • 在此例中,劳动力市场经验exper,由于与感兴趣 变量教育educ相关,而被从误差项u中取出。 16 例2:预测高考成绩 • 预测高考成绩: • 一个简单模型: 成绩= b0 + b1 •师资 +u • 一个学生的期末成绩不仅决定于师资,还 决定于其他多种因素: 成绩= b0 + b1 •师资 + b2 •心理+ b3 •方法+ b4 • 内在能力+ b5 •家庭+b6 •早恋+u 17 为什么使用多元回归? 例3:收入与消费 • 假定存在一个模型:家庭消费cons是家庭 收入inc的二次方程,则模型可写作: cons = b0 + b1 • inc + b2 • inc2 +u • 尽管该模型表述的是消费与收入两个变量之 间的关系,但是,简单回归方程无法实现。 • 这里,边际消费倾向(marginal propensity to consume)可以近似表达为: MPC =Δcons/Δinc = b1 + 2b2•inc 18 3. 零值条件期望假定 19 多元回归模型中的零值条件期望假定 • 多元回归的零值条件期望假定: E(u|x1,x2, …,xk) = 0 • 两层含义: (1) E(u)=0 (2) E(u|x1,x2, …,xk) =E(u), 即, cov(u,xj)=0, j=1,…,k • 注意:在上面例3中,零值条件期望假定可以表述 为:E(u|inc,inc2)= E(u|inc)=0 20 4.多元回归模型的OLS 估计与 代数性质 21 4.多元回归模型的OLS 估计 • 普通最小二乘法(OLS): 选择能最小化残 差平方和的参数估计值: 22 4.多元回归模型的OLS 估计 如何得到OLS估计值 23 4.多元回归模型的OLS 估计 零值条件期望假定与距条件 • 一阶条件也是相关的总体矩在样本中 的对应。 • E(u|x1,x2, …,xk) = 0 E(u)=0 Cov(u,xj)=0,j=1…k • 在估计之后,得到样本回归函数( SRF),或称为OLS回归线: 24 OLS的代数性质 • 残差之和与平均值为零 • OLS残差与每个自变量之间的样本协方差为零。 OLS残差与因变量拟合值之间的样本协方差为零。 • 点 总位于OLS样本回归线上。 25 5. 解释多元回归模型: 其他因素不变; 剔除其他变量的影响; 26 解释多元回归模型 • 估计一个两自变量回归方程,得到: • 是当x1=0, x2=0时,y的(平均值)预测值 (predicted value), 或拟合值(fitted value). • 则可以解释为局部效应(partial effect), 或其他因素不变效应(ceteris paribus) 27 解释多元回归 • 可解释为:当x2保持不变,即Δx2=0时 ,x1变化所引起的y的变化。 • 相应地, 可解释为:当x1保持不变,即 Δx1=0时,x2变化所引起的y的变化。 28 解释多元回归 • 对于所估计的一个多元回归函数: • 进行差分,得到: • 保持x2…xk不变,意味着: • 此时: • 故, 解释为在其他解释因素不变的情况下,x1变化1单 位,所引起的y的(平均值)的变化数量。 • 因此,每一个^β均可解释为局部效应(partial effect),或其 他情况不变效应(ceteris paribus effect) 29 解释多元回归 教育对工资的影响 • 估计教育-经验-工资方程: ^wage= ^b0 + ^b1 • educ + ^b2 • exper •^wage: 工资拟合值;educ: 教育年限; exper: 劳动力市场经验(年)。 • 差分得到: Δ^wage= ^b0 + ^b1 • Δeduc + ^b2 • Δexper • ^b1衡量的就是,在工作经验exper不变的情况下, 教育每增加1年,工资增加多少元; • ^b2衡量的是,在教育水平educ不变的情况下,工 作经验每增加1年,工资增加多少元; 30 关于多元回归中的“保持其它因素不变” (Holding other factors fixed) • 多元回归中,所得到的“其他因素不变的效应” ,并非是通过在实际抽样中,固定其他因素 不变。 • 在教育-经验-工资一例中,在获得教育对的工 资其他条件不变影响时,在实际抽样中,也 并非是固定工作经验,收集不同教育年限的 样本,来分析教育年限变化,对于工资的影 响。 • 对个体进行随机抽样,就可通过多元回归分 析得到“其他因素不变的效应”。 • 多元回归分析的优势,在于它使我们能在非 实验环境中去做自然科学家在受控实验中所 能做的事情:保持其它因素不变。 31 一个“剔除其它变量影响”的解释 A “Partialling Out” Interpretation • 对于估计的样本回归线 • 可以表示为: • ? 32 一个“剔除其它变量影响”的解释 A “Partialling Out” Interpretation • 首先, 将第一个自变量x1对第二个自变量x2进行回 归,得到样本回归函数 , • 根据xi和拟合值 ,得到残差 。残差 表示剔除了x2的影响之后,x1的其他部分。它与x2 不相关,样本均值为0。 • 然后,将y对 进行简单回归得到 。 • 衡量的是,剔除了其他自变量的影响之后,x1 对于y的净影响。 33 “剔除其它变量影响” “Partialling Out” • 上述过程表明:将y同时对x1和x2回归得出的 x1的影响,与先将x1对x2回归得到残差,再将 y对此残差回归得到的x1的影响相同。 • 同时说明,在多元回归模型中, x1的系数衡 量的是,x1中与其他自变量不相关的部分, 与y的相关关系。 • 即,在多元回归模型中,所估计的是,在其 他自变量对于x1的影响“被剔除(partialled out)”后,x1对y的影响。 34 “剔除其它变量影响” “Partialling Out” • 在一个含有k个解释变量的一般模型中, 仍然可 以写成(3.22)式(证明见本章附录3A.2): • 残差 是来自x1对x2… , xk的回归。 • 因此, 度量的是,在排除x2… , xk等变量的影 响之后, x1对y的影响。 35 证明(3.22)式: 36 例子: 剔除其他变量的影(partialling out) A. 多元回归的系数 •lwage = 5.5027096 + .07778197 * educ + .0197768 * exper 37 B. 剔除其他变量的影响后简单回归的系数 (1)剔除工作经验exper对教育educ的影响 • (1) educ 对exper进行回归,求残差educ_uhat 38 B. 剔除其他变量的影响后简单回归的系数 (2)用lwage回归教育残差educ_uhat • (2) lwage 对残差educ_uhat回归,依然得 到回归系数^β1= .07778197 ! • 与多元回归完全相同! 39 6. 简单回归和多元回归估计值比较 40 • 用同一个样本: • 估计一个最简单的线性回归模型,得到: • 估计一个最简单的多元线性回归模型,得到: • 存在一个简单关系: • 是x2对x1进行简单回归所得到的斜率系数估 计值。 • 证明上式 41 42 • 一般而言, • 两种特殊情况下,两者相等: • 在第(1)种情况下,x2对于y没有局部效应 (partial effect) • 在(2)种情况下,x2与x1在样本中不相关。 43 • 用同一个样本: • 估计一个最简单的线性回归模型,得到: • 估计一个最简单的多元线性回归模型,得 到: • 存在一个关系: • 是x2,…,xk分别对x1进行简单回 归所得到的斜率系数估计值。 44 • 一般而言, • 两种特殊情况下,两者相等: • 在第(1)种情况下,x2,…,xk对于y均没有局 部效应(partial effect) • 在(2)种情况下, x2,…,xk中每一个均与x1 不相关。 45 例子:简单回归与多元回归 •(1) 多元回归:lwage= b0 + b1 • educ + b2 • exper+ u lwage = 5.5027096 + .07778197 * educ + .0197768 * exper ^b1= .07778197 , ^b2= .0197768 •(2) 简单回归: lwage= b0 + b1 • educ + u lwage = 5.9730625 + .0598392 * educ ~b1= .0598392 •(3) 自变量exper对educ回归:exper = δ0 + δ21 • educ + u exper = 23.783069 + -.90726353 * educ ~δ21= -.90726353 •(4) ~b1= .0598392 =^b1+ ^b2 * ~δ21 • = .07778197 + .0197768 * -.90726353 • = .0598392 46 总结 • 多元回归模型的结构 • 为什么使用多元回归模型 • 多元回归模型的条件期望零值假定、OLS估 计及其性质 • 多元回归模型的解释:其他因素不变;剔除 其他变量影响 • 多元回归模型与简单回归模型参数估计值的 关系 47 思考题与作业 • 思考题:3.2, 3.3 48
展开阅读全文
  麦档网所有资源均是用户自行上传分享,仅供网友学习交流,未经上传用户书面授权,请勿作他用。
0条评论

还可以输入200字符

暂无评论,赶快抢占沙发吧。

关于本文
本文标题:第04章多元线性回归分析估计
链接地址:https://www.maidoc.com/p-15676187.html

当前资源信息

天马****3

编号: 20180821122204658275

类型: 共享资源

格式: PPT

大小: 269.50KB

上传时间: 2019-11-07

关于我们 - 网站声明 - 网站地图 - 资源地图 - 友情链接 - 网站客服 - 联系我们

[email protected] 2018-2020 maidoc.com版权所有  文库上传用户QQ群:3303921 

麦档网为“文档C2C模式”,即用户上传的文档所得金币直接给(下载)用户,本站只是中间服务平台,本站所有文档下载所得的金币归上传人(含作者)所有。
备案号:蜀ICP备17040478号-3  
川公网安备:51019002001290号 


收起
展开