怎么做信度和效度的檢驗(yàn)(信度和效度的區(qū)別)
(1)信度低,效度不可能高。因?yàn)槿绻麥y(cè)量的數(shù)據(jù)不準(zhǔn)確,也并不能有效地說(shuō)明所研究的對(duì)象。(2)信度高,效度未必高。例如,如果我們準(zhǔn)確地測(cè)量出某人的經(jīng)濟(jì)收入,也未必能夠說(shuō)明他的消費(fèi)水平。(3)效度低,信度很可能高。例如,即是一項(xiàng)研究未能說(shuō)明社會(huì)流動(dòng)的原因,但它很有可能很精確很可靠地調(diào)查各個(gè)時(shí)期各種類型的人的流動(dòng)數(shù)量。(4)效度高,信度也必然高。
信度和效度是優(yōu)良的測(cè)量工具必備的條件,是評(píng)估所測(cè)量數(shù)據(jù)的可靠性和有效性的基本尺度。只有保證測(cè)量工具的信度和效度,才有可能獲得可靠、正確的數(shù)據(jù)。
一、信度和效度的概念
信度,即可靠性或一致性,指的是測(cè)量結(jié)果經(jīng)得起重復(fù)檢驗(yàn),即測(cè)量工具能否穩(wěn)定地測(cè)量到它想要測(cè)量的數(shù)據(jù)。 信度反映了測(cè)量中的隨機(jī)誤差大小,信度高,那么意味針對(duì)同一事物進(jìn)行多次測(cè)量的結(jié)果可以保持一致,說(shuō)明該測(cè)量工具可靠、穩(wěn)定;缺乏信度,則前后測(cè)量的結(jié)果就會(huì)出現(xiàn)不一致,說(shuō)明該測(cè)量工具有問(wèn)題。
效度,即切實(shí)性,指的是測(cè)量工具確實(shí)能夠測(cè)出其所要測(cè)量的內(nèi)容。 效度高,說(shuō)明測(cè)量結(jié)果能很好地反映測(cè)量對(duì)象的真實(shí)特征,能夠保證不同研究人員對(duì)某一研究變量的意義和內(nèi)內(nèi)涵有一致的理解;
缺乏效度,則說(shuō)明測(cè)量工具沒(méi)有正確地獲取反映真實(shí)特征的數(shù)據(jù)。比如農(nóng)村貧困,代表政府對(duì)貧困進(jìn)行測(cè)量的人對(duì)貧困的理解和農(nóng)民對(duì)貧困的理解是不一樣的,前者根據(jù)的是可量化的指標(biāo),后者關(guān)心的是自己的實(shí)際生活感受,以及與他人的比較。
二、信度和效度的關(guān)系
信度和效度的關(guān)系可用以下四幅圖來(lái)表示。 黑點(diǎn)表示測(cè)量結(jié)果,靶心表示測(cè)量目的,離靶心越近,表示測(cè)量結(jié)果越準(zhǔn)確。
a 圖: 黑點(diǎn)均集中在一個(gè)小區(qū)域,說(shuō)明多次測(cè)量比較穩(wěn)定、一致,即信度高;但黑點(diǎn)均遠(yuǎn)離靶心,說(shuō)明多次測(cè)量結(jié)果都沒(méi)有切合測(cè)量目的,測(cè)量結(jié)果準(zhǔn)確性較差,即效度低(高信度低效度);
b 圖: 黑點(diǎn)分散各處,說(shuō)明多次測(cè)量的結(jié)果很不穩(wěn)定,即信度低;而且大部分黑點(diǎn)都遠(yuǎn)離靶心,說(shuō)明測(cè)量結(jié)果的準(zhǔn)確性交叉,即效度低(低信度低效度)。
c 圖: 黑點(diǎn)分散在一側(cè),且大部分都遠(yuǎn)離靶心,說(shuō)明測(cè)量結(jié)果穩(wěn)定性不足,且準(zhǔn)確性也不行,即低效度低信度。
d 圖: 黑點(diǎn)均集中于靶心附近,說(shuō)明測(cè)量結(jié)果既穩(wěn)定又準(zhǔn)確,即高信度高效度。
由這四幅圖所表示的關(guān)系,我們可知:
(1)信度低,效度不可能高。如果收集的資料不可信、不可靠,那么它肯定是不能真實(shí)反映研究對(duì)象的真實(shí)特征;
(2)信度高,效度不一定高,效度有可能很低。比如,即使測(cè)量出某個(gè)人的經(jīng)濟(jì)收入,但未必能夠說(shuō)明他的消費(fèi)水平;
(3)效度低,信度有可能高;
(4)效度高,信度必然也高。
因此,信度是效度的必要條件,但不是充分條件,無(wú)信度必然無(wú)效度,但有信度未必有效度;效度是信度的充分條件,但不是必要條件,有效度必然會(huì)有信度,但無(wú)效度卻未必?zé)o信度。
三、信度和效度的檢驗(yàn)
問(wèn)卷、量表是調(diào)查研究常用的測(cè)量工具,而信度和效度是衡量測(cè)量工具質(zhì)量高低的重要指標(biāo)。因此,在問(wèn)卷設(shè)計(jì)、量表設(shè)計(jì)時(shí),需要對(duì)問(wèn)卷、量表進(jìn)行信度和效度的檢驗(yàn),以判斷通過(guò)它們獲取的數(shù)據(jù)的可靠和有效程度,保證所收集到的數(shù)據(jù)真實(shí)、可靠、有效。這里我們以檢驗(yàn)量表的信度和效度的檢驗(yàn)為基礎(chǔ)進(jìn)行介紹。
(一)信度的檢驗(yàn)
信度反映了測(cè)量中的隨機(jī)誤差大小,由于造成測(cè)量隨機(jī)誤差的來(lái)源有多種,因此信度檢驗(yàn)的方法也有多種,主要包括內(nèi)在信度檢驗(yàn)和外在信度檢驗(yàn)。
1. 內(nèi)在信度的檢驗(yàn)
內(nèi)在信度所檢驗(yàn)的是量表的內(nèi)部一致性,一致性程度越高,那么測(cè)量數(shù)據(jù)就越準(zhǔn)確,評(píng)估結(jié)果的可信度就越強(qiáng)。 內(nèi)部一致性主要有兩層意思:一是考察量表的所有題目測(cè)量的是否是同一個(gè)概念,一般來(lái)說(shuō),量表的作用是要測(cè)量某個(gè)單一的現(xiàn)象/心理特質(zhì);二是量表中的所有題目得分之間是否存在較高的正相關(guān)。
為什么量表的題目會(huì)存在相關(guān)?有兩種可能:第一種是題目之間有因果關(guān)系;第二種是量表各題目存在一個(gè)共同的因。大多數(shù)情況下,第一種原因是不存在的,更多的是第二種可能使量表的項(xiàng)目之間存在一定程度的相關(guān)性。
如果量表的內(nèi)在信度不高,說(shuō)明測(cè)量結(jié)果可能反映的是多個(gè)概念/心理特質(zhì)的綜合反映,這種結(jié)果就會(huì)比較難解釋,對(duì)此,我們可以把一次測(cè)量分解為多個(gè)具有一致性的分測(cè)量,再進(jìn)行解釋。
檢驗(yàn)量表內(nèi)部一致性的方法有多種,包括Cronbach-α、協(xié)方差矩陣、多項(xiàng)目量表的協(xié)方差矩陣、α與協(xié)方差矩陣。 最常用的是Cronbach-α。
(1)Cronbach-α
Cronbach-α 是量表信度最常用的檢驗(yàn)方法。 Cronbach-α 系數(shù)的范圍在0~1之間,越接近1,信度越好,其判斷標(biāo)準(zhǔn)為:
系數(shù)在0.9以上,表明該測(cè)量工具即量表的信度很好;0.8-0.9,表明信度較好;0.7-0.8,可以接受,但量表的某些內(nèi)容需要修改;0.7以下,說(shuō)明量表的某些內(nèi)容需要重新編寫(xiě)。
使用SPSS來(lái)計(jì)算 Cronbach-α 系數(shù)的操作路徑為:【分析】-【度量】-【可靠性分析】
2. 外在信度的檢驗(yàn)
外在信度的檢驗(yàn)主要考察的是時(shí)間、測(cè)量形式等外在因素的變化是否會(huì)對(duì)對(duì)測(cè)量結(jié)果的穩(wěn)定性和一致性產(chǎn)生影響。
常用的外在信度分析方法有:重測(cè)信度法、復(fù)本信度法、折半信度法。
(1)重測(cè)信度
用同一個(gè)量表對(duì)同一批被調(diào)查者前后調(diào)查兩次,再根據(jù)調(diào)查結(jié)果計(jì)算相關(guān)系數(shù),即可得到重測(cè)信度。兩次調(diào)查間隔的時(shí)間要適當(dāng),間隔太短,被調(diào)查者會(huì)記得上一次調(diào)查的答案;間隔太久,可能會(huì)因?yàn)榘l(fā)生一些事情影響他們的態(tài)度。
(2)復(fù)本信度
在一項(xiàng)調(diào)查中,針對(duì)同一批被調(diào)查者,先使用A量表進(jìn)行測(cè)量,再用A量表的復(fù)本進(jìn)行測(cè)量,然后根據(jù)調(diào)查結(jié)果計(jì)算其相關(guān)系數(shù)。A量表的復(fù)本需在題數(shù)、形式、內(nèi)容、難度等方面與A量表一致,僅只在問(wèn)法、用詞方面不同。
復(fù)本的調(diào)查可連續(xù)進(jìn)行調(diào)查,也可以隔一段時(shí)間再進(jìn)行調(diào)查。連續(xù)實(shí)施調(diào)查的復(fù)本信度又稱為等值系數(shù),相隔一段時(shí)間再進(jìn)行復(fù)本調(diào)查所得到的復(fù)本信度又稱為穩(wěn)定與等值系數(shù)。
(3)折半信度
將調(diào)查結(jié)果,按題目的單雙數(shù)或者前半部分和后半部分劃分為相同的兩份進(jìn)行計(jì)分,再根據(jù)每個(gè)樣本的兩部分的總分,并計(jì)算其相關(guān)系數(shù),該系數(shù)即為折半信度系數(shù)。
(二)效度的檢驗(yàn)
效度是指測(cè)量工具確實(shí)能夠測(cè)出其所要測(cè)量的內(nèi)容。因此,量表是否具備效度,就要看該量表結(jié)果是否達(dá)到了此次測(cè)量的目的。比如,一個(gè)用以測(cè)量產(chǎn)品滿意度的量表,被用來(lái)測(cè)量用戶活躍度,那么所得的測(cè)量結(jié)果肯定缺乏信度。即使是測(cè)量?jī)?nèi)容相同,被測(cè)量的目標(biāo)群體發(fā)生了變化,效度也會(huì)大受影響。
量表的效度檢驗(yàn),主要采用以下三種方法:
1. 內(nèi)容效度(content validity)
內(nèi)容效度的檢驗(yàn)主要是考慮所測(cè)量的內(nèi)容是否很好地反映了所要研究的概念(變量)的基本內(nèi)容,即策略工具實(shí)測(cè)的內(nèi)容與我們想要測(cè)量的內(nèi)容之間的匹配程度。
內(nèi)容效度的檢驗(yàn)一般采用專家評(píng)估、預(yù)調(diào)查的方法 ,來(lái)評(píng)估量表是否合理、用戶是否理解量表題項(xiàng),再根據(jù)結(jié)果來(lái)修正量表。
2. 結(jié)構(gòu)效度(construct validity)
結(jié)構(gòu)效度,也叫建構(gòu)效度 、構(gòu)想效度。 結(jié)構(gòu)效度的檢驗(yàn)主要是考察量表的內(nèi)部結(jié)構(gòu)與編制量表時(shí)依據(jù)的理論假設(shè)是否相符,具體來(lái)說(shuō),即是評(píng)估量表的題項(xiàng)與測(cè)量維度(測(cè)量方向)是否一致。一般通過(guò)因子分析來(lái)檢驗(yàn)結(jié)構(gòu)效度。
比如在開(kāi)發(fā)者體驗(yàn)調(diào)查量表中,10道題分為了易學(xué)、易用、高效三個(gè)維度的題項(xiàng),那么可以通過(guò)因子分析來(lái)評(píng)估每個(gè)維度下的題項(xiàng)與其所屬的維度是否一致。在使用因子分析評(píng)估結(jié)構(gòu)效度,一般會(huì)同時(shí)使用探索性因子分析和驗(yàn)證性因子分析進(jìn)行綜合評(píng)估:
(1)探索性因子分析目的是要探索所評(píng)估現(xiàn)象/特質(zhì)的因子結(jié)構(gòu),所得的公因子相當(dāng)于量表所要測(cè)量的潛在維度,因子載荷反映了量表題項(xiàng)對(duì)該維度的貢獻(xiàn),因子載荷越大,說(shuō)明題項(xiàng)與該維度的關(guān)系越密切;
(2)驗(yàn)證性因子分析是在已經(jīng)確定因子數(shù)量、各題項(xiàng)和因子的對(duì)應(yīng)關(guān)系的情況下,基于實(shí)際數(shù)據(jù)來(lái)擬合特定的因子模型,分析擬合優(yōu)度,以驗(yàn)證預(yù)設(shè)的因子結(jié)構(gòu)與實(shí)際數(shù)據(jù)的匹配程度。
3. 校標(biāo)效度(criterion validity)
校標(biāo)效度, 也叫準(zhǔn)則效度、校標(biāo)關(guān)聯(lián)效度。 校標(biāo)效度 的檢驗(yàn)主要是以一個(gè)公認(rèn)有效的量表作為標(biāo)準(zhǔn),考察當(dāng)前量表與標(biāo)準(zhǔn)量表的測(cè)量結(jié)果的相關(guān)性,所測(cè)得的相關(guān)系數(shù)為當(dāng)前量表的效度,相關(guān)系數(shù)越大表示該量表的校標(biāo)效度就越好。比如將自己設(shè)計(jì)的量表所搜集的數(shù)據(jù)與權(quán)威量表的數(shù)據(jù)進(jìn)行相關(guān)分析,如果相關(guān)大,說(shuō)明準(zhǔn)則效度比較好。
四、如何提升測(cè)量工具的信度和效度
(一)信度的提升
1. 定義清楚所要測(cè)量的概念
如果對(duì)單個(gè)清楚明確的概念或概念的某個(gè)維度進(jìn)行測(cè)量,可提高信度。每個(gè)測(cè)量工具只針對(duì)單獨(dú)的一個(gè)概念進(jìn)行測(cè)量,就可以明確所收集的數(shù)據(jù)是針對(duì)的哪個(gè)概念或維度,而不會(huì)因?yàn)槎鄠€(gè)概念的存在導(dǎo)致我們無(wú)法精確判斷測(cè)量結(jié)果是針對(duì)哪一個(gè)概念,而且不同維度的測(cè)量指標(biāo)之間可能會(huì)相互影響,從而影響測(cè)量結(jié)果的可靠性、準(zhǔn)確性。這意味著,在調(diào)查研究中,我們要將概念定義清楚,不能模糊不清。
2. 提高測(cè)量層次
測(cè)量層次越高,獲取的信息就越精確、詳細(xì),自然信度就會(huì)越高。因此,在研究時(shí),盡可能以最精確的測(cè)量層次來(lái)測(cè)量概念或變量。
3. 使用多重指標(biāo)來(lái)測(cè)量一個(gè)變量
多重指標(biāo)允許研究者對(duì)概念或變量進(jìn)行更廣泛、全面的測(cè)量,自然測(cè)量結(jié)果也會(huì)更準(zhǔn)確、穩(wěn)定。比如滿意度評(píng)分,分維度的滿意度評(píng)價(jià)比總體的滿意度評(píng)價(jià)所獲取的信息更為廣泛、細(xì)致,讓研究者可以了解不同方面的滿意度情況。但并不意味測(cè)量指標(biāo)越多越好,指標(biāo)數(shù)量也要在合適的范圍。
4. 進(jìn)行預(yù)測(cè)試,提前發(fā)現(xiàn)問(wèn)題
正式調(diào)查前,可在小范圍內(nèi)進(jìn)行預(yù)測(cè)試,以了解問(wèn)卷題項(xiàng)是否清楚明白,避免題項(xiàng)含糊不清,造成錯(cuò)誤理解。
5. 問(wèn)卷題項(xiàng)清楚且易于理解
題項(xiàng)要清楚明白,且能讓被調(diào)查者容易理解,不然模糊不清、難以理解會(huì)導(dǎo)致被調(diào)查者回答錯(cuò)誤,從而影響調(diào)查的信度。
6. 問(wèn)卷題項(xiàng)數(shù)量適當(dāng),不宜過(guò)多
問(wèn)卷題項(xiàng)不要太多,不要占用被調(diào)查者太多時(shí)間,如果太多,可能被調(diào)查者填答到后面就漸漸沒(méi)了耐心,回答也就變得隨意,甚至亂填。
7. 調(diào)查人員需規(guī)范操作
對(duì)于需要調(diào)查人員與被調(diào)查者面對(duì)面調(diào)查的,要求調(diào)查人員需按照程序和標(biāo)準(zhǔn)詢問(wèn)被調(diào)查者,不得有意無(wú)意對(duì)被調(diào)查者施加影響,在后續(xù)的數(shù)據(jù)記錄的時(shí)候也要耐心認(rèn)真,避免出錯(cuò)
8. 安靜良好的填答環(huán)境
盡量給被調(diào)查者安排或者營(yíng)造一個(gè)良好的填答環(huán)境,避免被他人或者外界因素的干擾
9. 問(wèn)卷設(shè)計(jì)規(guī)范標(biāo)準(zhǔn)
問(wèn)卷設(shè)計(jì)需做到規(guī)范標(biāo)準(zhǔn),比如價(jià)值中立、選項(xiàng)窮盡、題項(xiàng)排序等要求,都需要做好。
(二)效度的提升
1. 明確調(diào)查目的,緊緊圍繞調(diào)查目的設(shè)計(jì)問(wèn)卷內(nèi)容
要明確調(diào)查目的是什么,收集該信息點(diǎn)的目的是什么,以確保題項(xiàng)能夠真正收集到想要測(cè)量的數(shù)據(jù)。
2. 問(wèn)卷題項(xiàng)清楚且易于理解
題項(xiàng)要清楚明白,且能讓被調(diào)查者容易理解,不然模糊不清、難以理解會(huì)導(dǎo)致被調(diào)查者回答錯(cuò)誤,從而影響調(diào)查的信度。
3. 問(wèn)卷題項(xiàng)數(shù)量適當(dāng),不宜過(guò)多
問(wèn)卷題項(xiàng)不要太多,不要占用被調(diào)查者太多時(shí)間,如果太多,可能被調(diào)查者填答到后面就漸漸沒(méi)了耐心,回答也就變得隨意,甚至亂填。
4. 安靜良好的填答環(huán)境
盡量給被調(diào)查者安排或者營(yíng)造一個(gè)良好的填答環(huán)境,避免被他人或者外界因素的干擾。
5. 問(wèn)卷設(shè)計(jì)規(guī)范標(biāo)準(zhǔn)
問(wèn)卷設(shè)計(jì)需做到規(guī)范標(biāo)準(zhǔn),比如價(jià)值中立、選項(xiàng)窮盡、題項(xiàng)排序等要求,都需要做好。
6. 確保樣本的代表性
樣本具備代表性,意味著所調(diào)查的對(duì)象是我們實(shí)際想要了解的對(duì)象,自然所收集的數(shù)據(jù)就越準(zhǔn)確。
本站部分文章來(lái)自網(wǎng)絡(luò)或用戶投稿。涉及到的言論觀點(diǎn)不代表本站立場(chǎng)。閱讀前請(qǐng)查看【免責(zé)聲明】發(fā)布者:方應(yīng),如若本篇文章侵犯了原著者的合法權(quán)益,可聯(lián)系我們進(jìn)行處理。本文鏈接:http://www.256680.cn/life/115583.html