SPSS: PROGRAMAS E ROTINAS COMPLEMENTARES (SYNTAX FILES)

Sintaxes Diversas

Respostas Aleatórias a 100000 Testes de Escolha Múltipla

Imagine que ao longo dos 36 anos sua vida profissional, entre frequências, exames da 1ª época, exames da 2ª época e exames das épocas especiais, incluindo testes de diagnóstico e outras provas de regulação do processo de ensino-aprendizagem, corrigiu 100000 testes de escolha múltipla com 100 questões de 5 alternativas de resposta.

Esta sintaxe simula as notas que teria dado, numa escala de 0 a 20 valores, se todos alunos tivessem respondido inteiramente ao acaso [Para uma hipotética correcção dos resultados para os acertos aleatórios, cf. Nota 1].

*** Simulação de respostas ao acaso a testes de escolha múltipla.

*** Valentim Rodrigues Alferes (Universidade de Coimbra, 2003)

*** valferes@fpce.uc.pt

** Gera respostas aleatórias de 100000 respondentes a um teste

** de escolha múltipla com 100 questões de 5 alternativas.

NEW FILE.

INPUT PROGRAM.

LOOP NI=1 TO 100000.

END CASE.

END LOOP.

END FILE.

END INPUT PROGRAM.

EXECUTE.

SET SEED RANDOM.

DO REPEAT Q=Q1 TO Q100.

COMPUTE Q=RND(RV.UNIFORM(0.5,5.5)).

END REPEAT.

EXECUTE.

** Corrige as respostas e calcula o número de respostas

** correctas (SOMA) para cada um dos respondentes [cf. Nota 2].

DO REPEAT C=C1 TO C100

/Chave =

3 4 5 1 4 3 4 1 4 3 5 4 3 5 1 4 4 3 1 4 1 4 4 4 2

4 5 1 1 2 2 2 5 2 5 4 4 2 2 3 2 3 1 5 5 1 1 5 5 1

5 5 4 2 3 2 1 2 1 3 2 5 1 4 3 1 3 4 3 1 2 3 4 2 3

4 2 4 5 1 1 1 1 4 4 1 3 4 5 3 4 4 5 2 4 1 1 3 4 2.

COMPUTE C=CHAVE.

END REPEAT.

DO REPEAT R=R1 TO R100/Q=Q1 TO Q100/C=C1 TO C100.

COMPUTE R=Q-C.

END REPEAT.

RECODE R1 TO R100(0=1)(ELSE=0).

COUNT SOMA=R1 TO R100(1).

EXECUTE.

** Classifica os testes numa escala de 0 a 20 valores (CF).

COMPUTE CF=SOMA/100*20.

EXECUTE.

** Arrendonda os valores para a unidade mais próxima (CF_DEFI).

COMPUTE CF_DEFI=RND(CF).

EXECUTE.

** Formata as variáveis.

FORMATS SOMA CF_DEFI(F8.0) CF(F8.2).

** Quadro 1: Estatísticas descritivas.

DESCRIPTIVES VARIABLES=SOMA CF CF_DEFI

/STATISTICS=MEAN STDDEV VARIANCE MIN MAX.

** Quadro 2: Distribuição de frequências.

FREQUENCIES VARIABLES=SOMA CF_DEFI.

** Representação gráfica dos resultados dos 100000 de respondentes.

GRAPH/BAR(SIMPLE)=PCT BY SOMA.

GRAPH/BAR(SIMPLE)=PCT BY CF_DEFI.

Output

*** Simulação de respostas ao acaso a testes de escolha múltipla.

[...]

** Quadro 1: Estatísticas descritivas.

DESCRIPTIVES VARIABLES=SOMA CF CF_DEFI

/STATISTICS=MEAN STDDEV VARIANCE MIN MAX.

Descriptives

Descriptive Statistics
	N	Minimum	Maximum	Mean	Std. Deviation	Variance
SOMA	100000	4,000	39,000	20,008	3,992	15,933
CF	100000	,800	7,800	4,002	,798	,637
CF_DEFI	100000	1,000	8,000	4,002	,847	,717
Valid N (listwise)	100000

** Quadro 2: Distribuição de frequências.

FREQUENCIES VARIABLES=SOMA CF_DEFI.

[...]

Frequency Table

SOMA
		Frequency	Percent	Valid Percent	Cumulative Percent
Valid	4	1	,0	,0	,0
	5	2	,0	,0	,0
	6	7	,0	,0	,0
	7	23	,0	,0	,0
	8	56	,1	,1	,1
	9	156	,2	,2	,2
	10	322	,3	,3	,6
	11	692	,7	,7	1,3
	12	1197	1,2	1,2	2,5
	13	2106	2,1	2,1	4,6
	14	3410	3,4	3,4	8,0
	15	4814	4,8	4,8	12,8
	16	6366	6,4	6,4	19,2
	17	7854	7,9	7,9	27,0
	18	8974	9,0	9,0	36,0
	19	9920	9,9	9,9	45,9
	20	9985	10,0	10,0	55,9
	21	9449	9,4	9,4	65,3
	22	8517	8,5	8,5	73,9
	23	7305	7,3	7,3	81,2
	24	5802	5,8	5,8	87,0
	25	4336	4,3	4,3	91,3
	26	3112	3,1	3,1	94,4
	27	2183	2,2	2,2	96,6
	28	1404	1,4	1,4	98,0
	29	864	,9	,9	98,9
	30	533	,5	,5	99,4
	31	299	,3	,3	99,7
	32	163	,2	,2	99,9
	33	77	,1	,1	99,9
	34	39	,0	,0	100,0
	35	19	,0	,0	100,0
	36	8	,0	,0	100,0
	37	2	,0	,0	100,0
	38	2	,0	,0	100,0
	39	1	,0	,0	100,0
	Total	100000	100,0	100,0

CF_DEFI
		Frequency	Percent	Valid Percent	Cumulative Percent
Valid	1	33	,0	,0	,0
	2	2423	2,4	2,4	2,5
	3	24550	24,6	24,6	27,0
	4	46845	46,8	46,8	73,9
	5	22738	22,7	22,7	96,6
	6	3263	3,3	3,3	99,9
	7	145	,1	,1	100,0
	8	3	,0	,0	100,0
	Total	100000	100,0	100,0

** Representação gráfica dos resultados dos 100000 de respondentes.

GRAPH/BAR(SIMPLE)=PCT BY SOMA.

GRAPH/BAR(SIMPLE)=PCT BY CF_DEFI.

Nota 1

Diversas fontes recomendam a correcção dos resultados para os acertos aleatórios dos respondentes. A fórmula geralmente utilizada é a seguinte:

em que:

RC = Resultado corrigido para os acertos aleatórios

C = Número de respostas correctas

I = Número de respostas incorrectas

N = Número de alternativas de resposta por questão

Se utilizar esta fórmula com a presente simulação:

** Corrige os resultados para os acertos aleatórios (SOMA_COR).

COMPUTE SOMA_COR=SOMA-((100-SOMA)/(5-1)).

EXECUTE.

** Calcula a classificação em valores (CF_COR) com base nos

** resultados corrigidos para os acertos aleatórios.

COMPUTE CF_COR=SOMA_COR/100*20.

EXECUTE.

** Estatísticas descritivas.

DESCRIPTIVES VARIABLES=SOMA CF SOMA_COR CF_COR

/STATISTICS=MEAN STDDEV VARIANCE MIN MAX.

as médias das respostas correctas e da classificação em valores deixariam de ser, respectivamente, 20.008 e 4.002 para se aproximarem, obviamente, do valor zero: 0.011 e 0.002.

Descriptives

Descriptive Statistics
	N	Minimum	Maximum	Mean	Std. Deviation	Variance
SOMA	100000	4,000	39,000	20,008	3,992	15,933
CF	100000	,800	7,800	4,002	,798	,637
SOMA_COR	100000	-20,000	23,750	,011	4,989	24,895
CF_COR	100000	-4,000	4,750	,002	,998	,996
Valid N (listwise)	100000

Existem, contudo, boas razões psicológicas, pedagógicas e estatísticas para não utilizar qualquer procedimento de correcção para os acertos aleatórios. Num memorando sobre esta questão, Robert Frary conclui:

In balance, then, it is difficult to recommend any scoring procedure to control guessing for typical college multiple-choice testing. In the absence of this practice, the only fair procedure is to advise all students that it is to their advantage to answer every question regardless of knowledge.

Para os docentes, a melhor estratégia consiste, pois, em assegurar a validade e fidelidade dos itens pelos procedimentos canónicos e em ter um número suficientemente elevado de questões.

Aos discentes, para além do conselho de Robert Frary e da preparação adequada das provas de avaliação, recomenda-se que vejam este site sobre estratégias de resposta aos testes.

Nota 2

Como é evidente, a chave de respostas correctas não foi sempre a mesma. Contudo, para os objectivos da presente simulação, este facto é irrelevante.

NIIPS / CSEO

SYNTAX FILES

valferes@fpce.uc.pt

Última actualização: 2003-04-18