怎么做信度和效度的檢驗(yàn)(信度和效度的區(qū)別)
(1)信度低,效度不可能高。因?yàn)槿绻麥y量的數(shù)據(jù)不準(zhǔn)確,也并不能有效地說明所研究的對象。(2)信度高,效度未必高。例如,如果我們準(zhǔn)確地測量出某人的經(jīng)濟(jì)收入,也未必能夠說明他的消費(fèi)水平。(3)效度低,信度很可能高。例如,即是一項(xiàng)研究未能說明社會流動的原因,但它很有可能很精確很可靠地調(diào)查各個時期各種類型的人的流動數(shù)量。(4)效度高,信度也必然高。
信度和效度是優(yōu)良的測量工具必備的條件,是評估所測量數(shù)據(jù)的可靠性和有效性的基本尺度。只有保證測量工具的信度和效度,才有可能獲得可靠、正確的數(shù)據(jù)。
一、信度和效度的概念
信度,即可靠性或一致性,指的是測量結(jié)果經(jīng)得起重復(fù)檢驗(yàn),即測量工具能否穩(wěn)定地測量到它想要測量的數(shù)據(jù)。 信度反映了測量中的隨機(jī)誤差大小,信度高,那么意味針對同一事物進(jìn)行多次測量的結(jié)果可以保持一致,說明該測量工具可靠、穩(wěn)定;缺乏信度,則前后測量的結(jié)果就會出現(xiàn)不一致,說明該測量工具有問題。
效度,即切實(shí)性,指的是測量工具確實(shí)能夠測出其所要測量的內(nèi)容。 效度高,說明測量結(jié)果能很好地反映測量對象的真實(shí)特征,能夠保證不同研究人員對某一研究變量的意義和內(nèi)內(nèi)涵有一致的理解;
缺乏效度,則說明測量工具沒有正確地獲取反映真實(shí)特征的數(shù)據(jù)。比如農(nóng)村貧困,代表政府對貧困進(jìn)行測量的人對貧困的理解和農(nóng)民對貧困的理解是不一樣的,前者根據(jù)的是可量化的指標(biāo),后者關(guān)心的是自己的實(shí)際生活感受,以及與他人的比較。
二、信度和效度的關(guān)系
信度和效度的關(guān)系可用以下四幅圖來表示。 黑點(diǎn)表示測量結(jié)果,靶心表示測量目的,離靶心越近,表示測量結(jié)果越準(zhǔn)確。
a 圖: 黑點(diǎn)均集中在一個小區(qū)域,說明多次測量比較穩(wěn)定、一致,即信度高;但黑點(diǎn)均遠(yuǎn)離靶心,說明多次測量結(jié)果都沒有切合測量目的,測量結(jié)果準(zhǔn)確性較差,即效度低(高信度低效度);
b 圖: 黑點(diǎn)分散各處,說明多次測量的結(jié)果很不穩(wěn)定,即信度低;而且大部分黑點(diǎn)都遠(yuǎn)離靶心,說明測量結(jié)果的準(zhǔn)確性交叉,即效度低(低信度低效度)。
c 圖: 黑點(diǎn)分散在一側(cè),且大部分都遠(yuǎn)離靶心,說明測量結(jié)果穩(wěn)定性不足,且準(zhǔn)確性也不行,即低效度低信度。
d 圖: 黑點(diǎn)均集中于靶心附近,說明測量結(jié)果既穩(wěn)定又準(zhǔn)確,即高信度高效度。
由這四幅圖所表示的關(guān)系,我們可知:
(1)信度低,效度不可能高。如果收集的資料不可信、不可靠,那么它肯定是不能真實(shí)反映研究對象的真實(shí)特征;
(2)信度高,效度不一定高,效度有可能很低。比如,即使測量出某個人的經(jīng)濟(jì)收入,但未必能夠說明他的消費(fèi)水平;
(3)效度低,信度有可能高;
(4)效度高,信度必然也高。
因此,信度是效度的必要條件,但不是充分條件,無信度必然無效度,但有信度未必有效度;效度是信度的充分條件,但不是必要條件,有效度必然會有信度,但無效度卻未必?zé)o信度。
三、信度和效度的檢驗(yàn)
問卷、量表是調(diào)查研究常用的測量工具,而信度和效度是衡量測量工具質(zhì)量高低的重要指標(biāo)。因此,在問卷設(shè)計(jì)、量表設(shè)計(jì)時,需要對問卷、量表進(jìn)行信度和效度的檢驗(yàn),以判斷通過它們獲取的數(shù)據(jù)的可靠和有效程度,保證所收集到的數(shù)據(jù)真實(shí)、可靠、有效。這里我們以檢驗(yàn)量表的信度和效度的檢驗(yàn)為基礎(chǔ)進(jìn)行介紹。
(一)信度的檢驗(yàn)
信度反映了測量中的隨機(jī)誤差大小,由于造成測量隨機(jī)誤差的來源有多種,因此信度檢驗(yàn)的方法也有多種,主要包括內(nèi)在信度檢驗(yàn)和外在信度檢驗(yàn)。
1. 內(nèi)在信度的檢驗(yàn)
內(nèi)在信度所檢驗(yàn)的是量表的內(nèi)部一致性,一致性程度越高,那么測量數(shù)據(jù)就越準(zhǔn)確,評估結(jié)果的可信度就越強(qiáng)。 內(nèi)部一致性主要有兩層意思:一是考察量表的所有題目測量的是否是同一個概念,一般來說,量表的作用是要測量某個單一的現(xiàn)象/心理特質(zhì);二是量表中的所有題目得分之間是否存在較高的正相關(guān)。
為什么量表的題目會存在相關(guān)?有兩種可能:第一種是題目之間有因果關(guān)系;第二種是量表各題目存在一個共同的因。大多數(shù)情況下,第一種原因是不存在的,更多的是第二種可能使量表的項(xiàng)目之間存在一定程度的相關(guān)性。
如果量表的內(nèi)在信度不高,說明測量結(jié)果可能反映的是多個概念/心理特質(zhì)的綜合反映,這種結(jié)果就會比較難解釋,對此,我們可以把一次測量分解為多個具有一致性的分測量,再進(jìn)行解釋。
檢驗(yàn)量表內(nèi)部一致性的方法有多種,包括Cronbach-α、協(xié)方差矩陣、多項(xiàng)目量表的協(xié)方差矩陣、α與協(xié)方差矩陣。 最常用的是Cronbach-α。
(1)Cronbach-α
Cronbach-α 是量表信度最常用的檢驗(yàn)方法。 Cronbach-α 系數(shù)的范圍在0~1之間,越接近1,信度越好,其判斷標(biāo)準(zhǔn)為:
系數(shù)在0.9以上,表明該測量工具即量表的信度很好;0.8-0.9,表明信度較好;0.7-0.8,可以接受,但量表的某些內(nèi)容需要修改;0.7以下,說明量表的某些內(nèi)容需要重新編寫。
使用SPSS來計(jì)算 Cronbach-α 系數(shù)的操作路徑為:【分析】-【度量】-【可靠性分析】
2. 外在信度的檢驗(yàn)
外在信度的檢驗(yàn)主要考察的是時間、測量形式等外在因素的變化是否會對對測量結(jié)果的穩(wěn)定性和一致性產(chǎn)生影響。
常用的外在信度分析方法有:重測信度法、復(fù)本信度法、折半信度法。
(1)重測信度
用同一個量表對同一批被調(diào)查者前后調(diào)查兩次,再根據(jù)調(diào)查結(jié)果計(jì)算相關(guān)系數(shù),即可得到重測信度。兩次調(diào)查間隔的時間要適當(dāng),間隔太短,被調(diào)查者會記得上一次調(diào)查的答案;間隔太久,可能會因?yàn)榘l(fā)生一些事情影響他們的態(tài)度。
(2)復(fù)本信度
在一項(xiàng)調(diào)查中,針對同一批被調(diào)查者,先使用A量表進(jìn)行測量,再用A量表的復(fù)本進(jìn)行測量,然后根據(jù)調(diào)查結(jié)果計(jì)算其相關(guān)系數(shù)。A量表的復(fù)本需在題數(shù)、形式、內(nèi)容、難度等方面與A量表一致,僅只在問法、用詞方面不同。
復(fù)本的調(diào)查可連續(xù)進(jìn)行調(diào)查,也可以隔一段時間再進(jìn)行調(diào)查。連續(xù)實(shí)施調(diào)查的復(fù)本信度又稱為等值系數(shù),相隔一段時間再進(jìn)行復(fù)本調(diào)查所得到的復(fù)本信度又稱為穩(wěn)定與等值系數(shù)。
(3)折半信度
將調(diào)查結(jié)果,按題目的單雙數(shù)或者前半部分和后半部分劃分為相同的兩份進(jìn)行計(jì)分,再根據(jù)每個樣本的兩部分的總分,并計(jì)算其相關(guān)系數(shù),該系數(shù)即為折半信度系數(shù)。
(二)效度的檢驗(yàn)
效度是指測量工具確實(shí)能夠測出其所要測量的內(nèi)容。因此,量表是否具備效度,就要看該量表結(jié)果是否達(dá)到了此次測量的目的。比如,一個用以測量產(chǎn)品滿意度的量表,被用來測量用戶活躍度,那么所得的測量結(jié)果肯定缺乏信度。即使是測量內(nèi)容相同,被測量的目標(biāo)群體發(fā)生了變化,效度也會大受影響。
量表的效度檢驗(yàn),主要采用以下三種方法:
1. 內(nèi)容效度(content validity)
內(nèi)容效度的檢驗(yàn)主要是考慮所測量的內(nèi)容是否很好地反映了所要研究的概念(變量)的基本內(nèi)容,即策略工具實(shí)測的內(nèi)容與我們想要測量的內(nèi)容之間的匹配程度。
內(nèi)容效度的檢驗(yàn)一般采用專家評估、預(yù)調(diào)查的方法 ,來評估量表是否合理、用戶是否理解量表題項(xiàng),再根據(jù)結(jié)果來修正量表。
2. 結(jié)構(gòu)效度(construct validity)
結(jié)構(gòu)效度,也叫建構(gòu)效度 、構(gòu)想效度。 結(jié)構(gòu)效度的檢驗(yàn)主要是考察量表的內(nèi)部結(jié)構(gòu)與編制量表時依據(jù)的理論假設(shè)是否相符,具體來說,即是評估量表的題項(xiàng)與測量維度(測量方向)是否一致。一般通過因子分析來檢驗(yàn)結(jié)構(gòu)效度。
比如在開發(fā)者體驗(yàn)調(diào)查量表中,10道題分為了易學(xué)、易用、高效三個維度的題項(xiàng),那么可以通過因子分析來評估每個維度下的題項(xiàng)與其所屬的維度是否一致。在使用因子分析評估結(jié)構(gòu)效度,一般會同時使用探索性因子分析和驗(yàn)證性因子分析進(jìn)行綜合評估:
(1)探索性因子分析目的是要探索所評估現(xiàn)象/特質(zhì)的因子結(jié)構(gòu),所得的公因子相當(dāng)于量表所要測量的潛在維度,因子載荷反映了量表題項(xiàng)對該維度的貢獻(xiàn),因子載荷越大,說明題項(xiàng)與該維度的關(guān)系越密切;
(2)驗(yàn)證性因子分析是在已經(jīng)確定因子數(shù)量、各題項(xiàng)和因子的對應(yīng)關(guān)系的情況下,基于實(shí)際數(shù)據(jù)來擬合特定的因子模型,分析擬合優(yōu)度,以驗(yàn)證預(yù)設(shè)的因子結(jié)構(gòu)與實(shí)際數(shù)據(jù)的匹配程度。
3. 校標(biāo)效度(criterion validity)
校標(biāo)效度, 也叫準(zhǔn)則效度、校標(biāo)關(guān)聯(lián)效度。 校標(biāo)效度 的檢驗(yàn)主要是以一個公認(rèn)有效的量表作為標(biāo)準(zhǔn),考察當(dāng)前量表與標(biāo)準(zhǔn)量表的測量結(jié)果的相關(guān)性,所測得的相關(guān)系數(shù)為當(dāng)前量表的效度,相關(guān)系數(shù)越大表示該量表的校標(biāo)效度就越好。比如將自己設(shè)計(jì)的量表所搜集的數(shù)據(jù)與權(quán)威量表的數(shù)據(jù)進(jìn)行相關(guān)分析,如果相關(guān)大,說明準(zhǔn)則效度比較好。
四、如何提升測量工具的信度和效度
(一)信度的提升
1. 定義清楚所要測量的概念
如果對單個清楚明確的概念或概念的某個維度進(jìn)行測量,可提高信度。每個測量工具只針對單獨(dú)的一個概念進(jìn)行測量,就可以明確所收集的數(shù)據(jù)是針對的哪個概念或維度,而不會因?yàn)槎鄠€概念的存在導(dǎo)致我們無法精確判斷測量結(jié)果是針對哪一個概念,而且不同維度的測量指標(biāo)之間可能會相互影響,從而影響測量結(jié)果的可靠性、準(zhǔn)確性。這意味著,在調(diào)查研究中,我們要將概念定義清楚,不能模糊不清。
2. 提高測量層次
測量層次越高,獲取的信息就越精確、詳細(xì),自然信度就會越高。因此,在研究時,盡可能以最精確的測量層次來測量概念或變量。
3. 使用多重指標(biāo)來測量一個變量
多重指標(biāo)允許研究者對概念或變量進(jìn)行更廣泛、全面的測量,自然測量結(jié)果也會更準(zhǔn)確、穩(wěn)定。比如滿意度評分,分維度的滿意度評價比總體的滿意度評價所獲取的信息更為廣泛、細(xì)致,讓研究者可以了解不同方面的滿意度情況。但并不意味測量指標(biāo)越多越好,指標(biāo)數(shù)量也要在合適的范圍。
4. 進(jìn)行預(yù)測試,提前發(fā)現(xiàn)問題
正式調(diào)查前,可在小范圍內(nèi)進(jìn)行預(yù)測試,以了解問卷題項(xiàng)是否清楚明白,避免題項(xiàng)含糊不清,造成錯誤理解。
5. 問卷題項(xiàng)清楚且易于理解
題項(xiàng)要清楚明白,且能讓被調(diào)查者容易理解,不然模糊不清、難以理解會導(dǎo)致被調(diào)查者回答錯誤,從而影響調(diào)查的信度。
6. 問卷題項(xiàng)數(shù)量適當(dāng),不宜過多
問卷題項(xiàng)不要太多,不要占用被調(diào)查者太多時間,如果太多,可能被調(diào)查者填答到后面就漸漸沒了耐心,回答也就變得隨意,甚至亂填。
7. 調(diào)查人員需規(guī)范操作
對于需要調(diào)查人員與被調(diào)查者面對面調(diào)查的,要求調(diào)查人員需按照程序和標(biāo)準(zhǔn)詢問被調(diào)查者,不得有意無意對被調(diào)查者施加影響,在后續(xù)的數(shù)據(jù)記錄的時候也要耐心認(rèn)真,避免出錯
8. 安靜良好的填答環(huán)境
盡量給被調(diào)查者安排或者營造一個良好的填答環(huán)境,避免被他人或者外界因素的干擾
9. 問卷設(shè)計(jì)規(guī)范標(biāo)準(zhǔn)
問卷設(shè)計(jì)需做到規(guī)范標(biāo)準(zhǔn),比如價值中立、選項(xiàng)窮盡、題項(xiàng)排序等要求,都需要做好。
(二)效度的提升
1. 明確調(diào)查目的,緊緊圍繞調(diào)查目的設(shè)計(jì)問卷內(nèi)容
要明確調(diào)查目的是什么,收集該信息點(diǎn)的目的是什么,以確保題項(xiàng)能夠真正收集到想要測量的數(shù)據(jù)。
2. 問卷題項(xiàng)清楚且易于理解
題項(xiàng)要清楚明白,且能讓被調(diào)查者容易理解,不然模糊不清、難以理解會導(dǎo)致被調(diào)查者回答錯誤,從而影響調(diào)查的信度。
3. 問卷題項(xiàng)數(shù)量適當(dāng),不宜過多
問卷題項(xiàng)不要太多,不要占用被調(diào)查者太多時間,如果太多,可能被調(diào)查者填答到后面就漸漸沒了耐心,回答也就變得隨意,甚至亂填。
4. 安靜良好的填答環(huán)境
盡量給被調(diào)查者安排或者營造一個良好的填答環(huán)境,避免被他人或者外界因素的干擾。
5. 問卷設(shè)計(jì)規(guī)范標(biāo)準(zhǔn)
問卷設(shè)計(jì)需做到規(guī)范標(biāo)準(zhǔn),比如價值中立、選項(xiàng)窮盡、題項(xiàng)排序等要求,都需要做好。
6. 確保樣本的代表性
樣本具備代表性,意味著所調(diào)查的對象是我們實(shí)際想要了解的對象,自然所收集的數(shù)據(jù)就越準(zhǔn)確。
本站部分文章來自網(wǎng)絡(luò)或用戶投稿。涉及到的言論觀點(diǎn)不代表本站立場。閱讀前請查看【免責(zé)聲明】發(fā)布者:方應(yīng),如若本篇文章侵犯了原著者的合法權(quán)益,可聯(lián)系我們進(jìn)行處理。本文鏈接:http://www.256680.cn/life/115583.html