非量表题如何进行信效度分析

效度是指设计的题确实在测量某个东西,一般问卷中使用到。如果是量表类的数据,其一般是用因子分析这种方法去验证效度水平,其可通过因子分析探究各测量量表的内部结构情况,分析因子分析得到的内部结构与自己预期的内部结构进行对比,进而判断效度情况。
但如果本身数据不是量表,比如都是些选择题,这些测量项是否有效地测量对应的概念(变量或维度信息),此时无法使用因子分析,此时可考虑使用内容效度,内容效度的概念较为广泛,其是指测量项真实可以测量的文字分析佐证,比如来源于某文献或者得到专家的认可等。本文档则是指专家打分数据的数字化结果论证,将专家打分数据收集后分析,利用实际指标来判断内容效度。

内容效度案例

1、背景
某研究者新设计一份问卷,希望通过专家打分方式来判断其有效性,避免个人主观臆断情况,研究者共设计出20个测量项(即20个题),并且找到8位该研究领域的专家进行打分(专家打分只能为1/2/3/4共4个分值,1分代表较差,2分表示一般,3分表示较好,4分表示良好)并且整理得到数据结果如下图所示。

需要提示的是:打分分值只能为1/2/3/4共4个数字,这是由当前算法决定,如果不是这样,系统会提示‘专家打分只能为1/2/3/4分!’。以及第1列测量项的名称可修改为实际的名称,第1行的专家1/2/3等也可修改为实际的专家名称。

2、理论
SPSSAU中内容效度的计算参考文献来源如下:

史静琤, 莫显昆, & MO Xiankun. (2012). 量表编制中内容效度指数的应用. 中南大学学报:医学版, 37(2), 4.
柯友枝, 孙建刚, 李博, & 刘阳. (2023). 问卷是否有效—基于2010-2020年cssci收录体育期刊文献的系统分析. 上海体育学院学报, 47(2), 37-47.

内容效度的计算上较为简单,专家打分只能为1/2/3/4分,3/4分表示测量项较好或者好,那么首先计算出每项时打分为3/4分的专家数量,从而得到打分为3/4分的占比情况(即I-CVI指标),该指标值越大越好,可使用该指标进行内容效度判断,其判断标准如下表格:

专家数量判断标准
<=5个专家时I-CVI<1小于1则不通过I-CVI=1则通过
>5个专家时I-CVI<1小于0.78则不通过I-CVI>=0.78则通过


当专家个数小于等于5个时即专家个数较少时,此时希望专家打分均为3/4分。如果专家个数大于5个时即专家个数较多时,此时只要78%的专家打分为3/4分即可。
与此同时,为防止专家打分出现随机性,还可计算专家打分随机一致性概率Pc值,并且计算校正内容效度(调整Kappa,K*值),进一步进行内容效度判断。专家打分随机一致性指标的目的在于衡量专家打分的独立性,比如10个专家全部都打4分的概率一般较低,那么如果出现了就需要校正它,即计算调整 Kappa值。专家打分随机一致性概率Pc值=C(n,A)*(0.5^n),此处n表示专家总数量,A表示某测量项时专家打分为3/4的个数,C表示数学上的组合计算。得到专家打分随机一致性概率Pc值后,接着计算校正内容效度即调整Kappa值(K*值),调整Kappa值=(I-CVI值 – Pc值) / (1 – Pc值),如果是正常的专家打分数据,Pc值通常较高,最后结合调整Kappa值进行内容效度判断,其判断标准如下表格:

调整Kappa(K*值)判断标准
<0.4
[0.4, 0.6)一般
[0.6, 0.74)良好
[0.74, 1)优秀


调整Kappa值越大越好,一般大于0.6即说明内容效度良好,但如果调整Kappa值小于0.4则无法接受。I-CVI指标是针对具体每测量项,当然还可计算全部一起的测量项,比例本文档所述共20个测量项全部一起时的整体内容效度情况,其有两个指标,分别全体一致S-CVI(也称S-CVI或UA值),还有平均S-CVI指标值。全体一致S-CVI = 打分全部都为3/4的测量项个数 / 总测量项个数,其用于判断到底有多少测量项均全部是3/4分,通常其判断标准是0.8,即需要有80%以上的测量项全部都被专家认为是良好或者好才行。而平均一致S-CVI则是I-CVI指标的算术平均值而已,其通常标准为0.9,即需要平均来看I-CVI指标大于0.9才可以。一般情况下可能使用I-CVI较多。

3、操作
本例子操作如下图:

直接将SPSSAU默认数据进行粘贴替换即可。

4、SPSSAU输出结果
SPSSAU共输出3个表格,分别是测量项内容效度专家评分及指标计算、整体内容效度(S-CVI)和不同专家人数各情况下I-CVI的评估速查表。如下述:

表格说明
测量项内容效度专家评分及指标计算输出I-CVI指标及校正内容效度(调整Kappa值)等,用于每个测量项的内容效度判断
整体内容效度(S-CVI)输出全体一致S-CVI(也称S-CVI或UA值),平均S-CVI指标值,用于整体内容效度判断
不同专家人数各情况下I-CVI的评估速查表其为一个评估速查表,包括3~9个打分专家时的I-CVI合格临界值及调整Kappa合格临界值等信息

5、文字分析
本次案例结果分别如下:

上表格可以看到,共有20个测量项并且8个专家进行打分,8个专家对20个测量项打分为3/4的次数是152,即仅有8次是打分1或2。具体来看,测量项13为校正内容效度为一般,测量项13时,共有5个专家打分为3/4分,还有3个专家均打2分。其I-CVI=5/8=0.625<0.78,因而I-CVI不通过即内容效度不达标。与此同时Pc值=C(8,5)*(0.5^8)=0.21875,调整Kappa=(0.625-0.21875)/(1-0.21875)=0.52,介于0.4到0.6之间,意味着调整内容效度一般。通常情况下建议使用调整内容效度即针对调整Kappa值进行判断,因为调整Kappa值将专家打分独立性纳入考虑范畴。

上表格展示整体内容效度的两个指标,分别是全体一致S-CVI和平均S-CVI指标。计算上,全体一致S-CVI=打分全部都为3/4的测量项个数 / 总测量项个数 = 14/20=0.7<0.8,因而不通过。如果是平均S-CVI指标,其为I-CVI指标的算术平均为0.95>=0.9,其通过。全体一致S-CVI指标衡量的是所有测量项整体内容效度情况,而平均S-CVI指标衡量的是平均内容效度,一般查阅全体一致S-CVI可能更加适合。

上表格展示不同专家数量时I-CVI的评价临界值,比如如果6个专家,那么如果评价为3/4的专家人数为4个则I-CVI为0.667则不通过(但此时调整Kappa值=0.565,调整内容效度通过),该表格仅为速查使用,无其它意义。

6、剖析

涉及以下几个关键点,分别如下:

S-CVI和调整Kaapa两个指标均是衡量内容效度,但二者结论可能不一致,此时建议以调整Kappa指标结果为准,因为该指标考虑专家打分独立性情况,通常更准确。

全体一致S-CVI和平均S-CVI指标这两个指标结论不一致,一般以全体一致S-CVI指标结论作为标准较多,因为平均S-CVI仅为I-CVI的算术平均而已。

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处:http://www.mzph.cn/web/18804.shtml

如若内容造成侵权/违法违规/事实不符,请联系多彩编程网进行投诉反馈email:809451989@qq.com,一经查实,立即删除!

相关文章

自学之路Flutter使用Provider进行状态管理

使用前的准备 首先在pubspec.yaml中配置&#xff0c;然后pub get,等待安装完成 我们首先创建两个比较简单的控制器&#xff0c;测试页面跳转之间的数据传递。 import package:flutter/material.dart;void main() {runApp(const MyApp()); }class MyApp extends StatelessWid…

python接口自动化之会话保持

&#x1f366; 会话保持-token 有的网站登录需要token鉴权&#xff0c;是啥意思呢&#xff0c;现在有两个接口&#xff0c;一个接口是登录&#xff0c;一个接口是提交订单&#xff0c;那你怎么保证&#xff0c;提交登录这个用户是登录状态呢。登录成功的接接口会在response里面…

大模型预训练结果到底是什么?

近日参加一个线下 AI 交流会议&#xff0c;会上有个非本行业的老师提问&#xff1a;“大家说的训练好的大模型到底是什么&#xff1f;是像 Word 软件一样可以直接使用的程序吗&#xff1f;” 这个问题看似简单&#xff0c;却一下把我问住了。的确&#xff0c;我们这些身处 AI 领…

Kafka原生API使用Java代码-生产者-发送消息

文章目录 1、生产者发送消息1.1、使用EFAK创建主题my_topic31.2、根据kafka官网文档写代码1.3、pom.xml1.4、KafkaProducer1.java1.5、使用EFAK查看主题1.6、再次运行KafkaProducer1.java1.7、再次使用EFAK查看主题 1、生产者发送消息 1.1、使用EFAK创建主题my_topic3 1.2、根…

STM32 OTA需要注意问题

一、OTA设计思路&#xff08;问题&#xff09; 1、根据stm32f405 flash分布&#xff0c;最初将flash划分为四个区域&#xff0c;分别是Bootloader、APP1、APP2、参数区&#xff0c;设备上电后&#xff0c;进入Bootloader程序&#xff0c;判断OTA参数&#xff0c;根据参数来确定…

APP逆向之调试的开启

很基础的一个功能设置&#xff0c;大佬轻喷。 背景 在开始进行对APP逆向分析的时候&#xff0c;需要对APP打开调试模式。 打开调试的模式有多种方式可以通过直接改包方式也可以通过借助第三方工具进行打开调试模式。 下面就整理下这个打开调试模式的一些方式。 改包修改模…

Java面试题分享-敏感词替换 java 版本

入职啦最近更新了一些后端笔试、面试题目&#xff0c;大家看看能快速实现吗&#xff1f; 关注 入职啦 微信公众号&#xff0c;每日更新有用的知识&#xff0c;Python&#xff0c;Java&#xff0c;Golang&#xff0c;Rust&#xff0c;javascript 等语言都有 不要再用replaceAll做…

npm获取yarn在安装依赖时 git://github.com/user/xx.git 无法访问解决方法 -- 使用 insteadOf设置git命令别名

今天在使用一个node项目时突然遇到 一个github的拉取异常&#xff0c;一看协议居然是git://xxx 貌似github早就不用这种格式了&#xff0c; 而是使用的gitgithub.com:xxx 这种或者https协议&#xff0c;解决方法&#xff1a; 使用insteadof设置git别名 url.<base>.inste…

DNF手游攻略:开荒必备攻略!

DNF手游马上就要开服了&#xff0c;今天给大家带来最完整的DNF手游入门教程。这篇攻略主要讲述了 DNF手游开服第一天要注意的事项&#xff0c;这是一个新手必备的技能书&#xff0c;可以让你在开服的时候&#xff0c;少走一些弯路&#xff0c;让你更快完成任务&#xff01;废话…

蓝牙Mesh模块多跳大数据量高带宽传输数据方法

随着物联网技术的飞速发展&#xff0c;越来越多的设备需要实现互联互通。蓝牙Mesh网络作为一种低功耗、高覆盖、易于部署的无线通信技术&#xff0c;已经成为物联网领域中的关键技术之一。在蓝牙Mesh网络中&#xff0c;节点之间可以通过多个跳数进行通信&#xff0c;从而实现大…

mysql-日志管理-error.log

日志管理 默认的数据库日志 vim /etc/my.cnf //错误日志 log-error/usr/local/mysql/mysql.log查看数据库日志 tail -f /usr/local/mysql/mysql.log1 错误日志 &#xff1a;启动&#xff0c;停止&#xff0c;关闭失败报错。rpm安装日志位置 /var/log/mysqld.log #默认开启 2 …

【OrangePi AIpro】香橙派 AIpro 为AI而生

产品简介 OrangePi AIpro(8T)&#xff1a;定义边缘智能新纪元的全能开发板 在当今人工智能与物联网技术融合发展的浪潮中&#xff0c;OrangePi AIpro(8T)凭借其强大的硬件配置与全面的接口设计&#xff0c;正逐步成为开发者手中的创新利器。这款开发板不仅代表了香橙派与华为…

最新淘宝死店全自动采集私信筛选脚本,号称日赚500+【采集软件+使用教程】

原理&#xff1a; 利用脚本自动采集长时间未登录店铺&#xff0c;然后脚本自动私信对应的店铺&#xff0c;看看商家是不是不回消息来判断是否是死店&#xff0c;再下单购买死店的产品&#xff0c;超过48小时不发货就可以联系客服获得赔付&#xff0c;一单利润百分之5%-30%&…

配置阿里yum源

配置阿里yum源&#xff08;这个很重要&#xff09;&#xff1a;https://developer.aliyun.com/article/1480470 1.备份系统自带yum源配置文件 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup2.下载ailiyun的yum源配置文件 2.1 CentOS7 wge…

SRS、ZLMediakit音视频流媒体服务器

SRS、ZLMediakit都是做为webrtc的SFU&#xff08;selective forward unit&#xff09; WebRTC 开发实践&#xff1a;为什么你需要 SFU 服务器 https://mp.weixin.qq.com/s?__bizMzAxNTc1MjM0Mw&mid2652213442&idx1&sn33f0393a2dbc2b6a39c613bb238ec145&chksm…

Ansible03-Ansible Playbook剧本详解

目录 写在前面5. Ansible Playbook 剧本5.1 YAML语法5.1.1 语法规定5.1.2 示例5.1.3 YAML数据类型 5.2 Playbook组件5.3 Playbook 案例5.3.1 Playbook语句5.3.2 Playbook1 分发hosts文件5.3.3 Playbook2 分发软件包&#xff0c;安装软件包&#xff0c;启动服务5.3.3.1 任务拆解…

DHCP原理和配置服务

一、DHCP工作原理 DHCP(Dynamic Host Configuration Protocol&#xff0c;动态主机配置协议)由Internet工作任务小组设计开发专门用于为TCP/IP网络中的计算机自动分配TCP/IP参数的协议 使用DHCP的好处 减少管理员的工作量 避免输入错误的可能 避免IP地址冲突 当更改IP地址…

VUE3 学习笔记(9):VUE 插槽的概念、基本应用、传值

在调用子组件时&#xff0c;我们希望把父组件的HTML传给子组件&#xff0c;那么在引用子组件内部进行定义&#xff0c;然后子组件通过slot标签进行接收 基本示例 父 app.vue <!--内容控制--> <template><test><div><p>{{name}}</p><p…

Hikyuu性能实测:A股全市场1915万日K Bar,HDF5首次加载计算6.5秒

因为网友对“百万数据跑两秒"有疑问&#xff0c;经过一番交流后&#xff0c;才发现原来是我没有注明是首次数据加载过程中进行的计算&#xff0c;否则百万数据2秒反而是显的慢了&#xff0c;对此重新更新了相关描述&#xff1a;“AMD 7950x 实测&#xff1a;A股全市场&…

5.28.1 使用卷积神经网络检测乳腺癌

深度学习技术正在彻底改变医学图像分析领域&#xff0c;因此在本研究中&#xff0c;我们提出了卷积神经网络 (CNN) 用于乳腺肿块检测&#xff0c;以最大限度地减少手动分析的开销。CNN 架构专为特征提取阶段而设计&#xff0c;并采用了更快的 R-CNN 的区域提议网络 (RPN) 和感兴…