Avaliação Comparativa em Farmacologia Mú

(MD) (Farmacologia) *** (MD) (Farmacologia) *, *** Departamento de Farmacologia, **** Departamento de Medicina Comunitária, Kasturba Medical College, Mangalore, Manipal Universidade. **** (M.Sc.) (Bioestatística), ** Departamento de Farmacologia, JJM Medical College, Davangere, Karnataka, Índia.

Endereço para correspondência :
Dr. Preethi G Pai
Departamento de Farmacologia
Kasturba Medical College, PB No.53,
Light House Hill Road, Hampanakatta, Mangalore-575001 Karnataka, (Índia)
E-mail: meddocpai2@yahoo.com;
Tele: Escritório: 91-0824-242227; Resi-91-9880750040 Fax: 91 824 2428183

Abstrato

Contexto: A avaliação é um motor de inovação e mudanças na educação. Neste estudo, os desempenhos dos estudantes de medicina em farmacologia, pequenas questões de redação (SEQ) e questões de múltipla escolha (MCQ) foram avaliadas e comparadas e as diferenças de gênero também foram exploradas.
Métodos: Um total de 712 alunos do segundo ano com registros de pontuação em artigos do SEQ e MCQ foram analisados. Os desempenhos dos estudantes que marcaram> 60% de notas em trabalhos teóricos foram comparados com os que obtiveram> 60% de notas no MCQ e vice-versa. Diferenças de gênero nos desempenhos também foram estudadas. A análise estatística foi feita usando o coeficiente de correlação de McNemar, Chi-Square e Pearson. Valores de p <0,05 foram considerados significativos.
Resultados: A análise mostrou que a probabilidade de os alunos marcarem> 60% de notas nos artigos do SEQ era maior quando eles pontuaram> 60% das notas nos artigos do MCQ (P <0,001). O desempenho do SEQ correlacionou-se positivamente com o desempenho do MCQ (r = 0,768, r = 0,599 er = 0,767 para o primeiro, segundo e terceiro testes, respectivamente). As mulheres pontuaram mais que os machos em todos os testes.
Conclusão: A literatura indica que o MCQ como uma ferramenta de avaliação é discutível. Este estudo indica: o desempenho no MCQ é uma ferramenta eficaz para prever o desempenho do papel SEQ; e correlaciona-se com dados globais sobre melhores desempenhos de contrapartes femininas.

Palavras-chave

Farmacologia, avaliação, ensaios, questões de múltipla escolha

Como citar este artigo:

PAI MRSM, SANJI N, PAI PG, KOTIAN S. AVALIAÇÃO COMPARATIVA EM FARMACOLOGIA MÚLTIPLAS PERGUNTAS DE ESCOLHA VERSUS ENSAIOS COM FOCO EM DIFERENÇAS DE GÊNERO. Jornal de Pesquisa Clínica e Diagnóstica [serial on-line] 2010 junho [citado: 2018 31 de agosto]; 4: 2515-2520. Disponível em
http://www.jcdr.net/back_issues.asp?issn=0973-709x&year=2010&month=June&volume=4&issue=3&page=2515-2520&id=752

Introdução
A revisão do currículo da faculdade de medicina e as mudanças evolutivas nos currículos com base nessas revisões são requisitos obrigatórios nas escolas de medicina em todo o mundo. Algumas razões que exigem essas inovações são: mudanças nos padrões das doenças; tradução de educação médica em profissionais de saúde para a construção da nação; aumento exponencial no número de estudantes de medicina em todo o mundo e sua exigência sem opção da mais alta qualidade de educação médica; além do desejo de mudança como exigência principal nos esforços do homem. Para suportar o teste de mudança efetiva e objetiva que se traduz em melhor atendimento ao paciente, essas inovações educacionais precisam ser avaliadas no nível do aluno, para saber se o componente de prestação de serviços foi transmitido de forma apropriada por meio do currículo.

A avaliação é um poderoso impulsionador de mudanças inovadoras na educação e define metas para alunos e professores (1) . O aprendizado do aluno é orientado pela avaliação e a avaliação é importante para a experiência do aluno (2) . Neste século, o ímpeto em cada módulo de atividade se acelerou, deixando pouco tempo para responder meticulosamente a perguntas dissertativas como uma avaliação. Outras razões citadas para o seu desaparecimento gradual incluem a menor correlação com o desempenho geral versus questão de múltipla escolha (MCQ) / exame clínico (3) , (4) e baixos níveis de confiabilidade com generalização (5). O processo de estruturação e resposta ao MCQ e as questões de redação objetivamente estruturadas (SEQ) atingiram a maioridade na maioria das faculdades de medicina da Índia. Isso é de relevância nos países em desenvolvimento, já que esses módulos são econômicos em termos de tempo sobrecarregado de pessoal (não obstante um requisito de abrangência em sua especialidade) e finanças institucionais. Diferenças de gênero no desempenho dos estudantes foram relatadas. Estudos mostram que em exames médicos de graduação, estudantes do sexo feminino tiveram desempenho significativamente melhor do que estudantes do sexo masculino (6) , (8) .

O objetivo deste estudo foi avaliar o desempenho dos alunos no MCQ e SEQ e avaliar o valor preditivo de cada um em seu desempenho no outro componente. Os alunos de graduação que obtiveram mais tempo de ensino competindo com menor atenção aos pós-graduados paralelos formaram a coorte deste estudo. A mais poderosa dessas ferramentas pode então ser usada para prever as séries posteriores e sua transição para as habilidades clínicas. Desempenhos entre os gêneros também foram estudados.

Material e métodos

O estudo foi um estudo observacional, retrospectivo de avaliação escrita do tipo caneta e papel em exames formativos que utilizaram uma amostra de conveniência de 200-250 estudantes de medicina do segundo ano, em cada um dos três anos lectivos consecutivos 2004-2005, 2005-2006 e 2006- 2007. Os dados de desempenho dos alunos (marcas de porcentagem) para cada módulo de avaliação - MCQ e SEQ desses anos foram adquiridos dos registros do aluno central. As porcentagens de cada componente desses módulos nos exames sumativos da universidade não estavam disponíveis e, portanto, não foram incluídas no estudo. O curso de farmacologia na Manipal University é oferecido durante o segundo ano do currículo MBBS dos alunos, cuja duração abrange um total de 18 meses e é dividido em três semestres; cada uma das 24 semanas. O conteúdo do curso inclui: farmacologia geral e clínica, sistema nervoso autônomo, sistema cardiovascular e diuréticos no primeiro semestre (horas alocadas -40); sistema nervoso central, trato gastrointestinal, sangue, autacoides e sistema respiratório no segundo semestre (horas alocadas -47); sistema endócrino, quimioterapia, imunomoduladores, uso racional de drogas, lista de medicamentos essenciais e fármaco P no terceiro semestre (horas distribuídas -45). Os alunos receberam palestras didáticas com auxiliares de ensino três horas por semana e sessões práticas, incluindo tutoriais e seminários, duas horas por semana. lista de fármacos essenciais e fármaco P no terceiro semestre (horas atribuídas -45). Os alunos receberam palestras didáticas com auxiliares de ensino três horas por semana e sessões práticas, incluindo tutoriais e seminários, duas horas por semana. lista de fármacos essenciais e fármaco P no terceiro semestre (horas atribuídas -45). Os alunos receberam palestras didáticas com auxiliares de ensino três horas por semana e sessões práticas, incluindo tutoriais e seminários, duas horas por semana.

O artigo da teoria escrita consistia em dois componentes: o MCQ da parte 1, onde quatro opções são dadas para uma pergunta e a única melhor resposta seria escolhida; parte 2 teoria papel de pequenas perguntas de ensaio (SEQ). O MCQ foi cronometrado em 30 minutos para 40 perguntas com 20 pontos. (0,5 pontos para a resposta correta e 0,166 pontos deduzidos para uma resposta errada). O SEQ foi cronometrado em 150 minutos para 60 pontos, o que incluiu perguntas para 2, 3, 5 e 9 pontos. Todo esforço foi feito para eliminar o viés do examinador quando o artigo de teoria foi avaliado pela faculdade. A folha de respostas do MCQ foi avaliada por um scanner óptico.

As pontuações obtidas nos artigos MCQ e SEQ foram analisadas para: desfecho primário - correlação entre o grupo de escore alto (> 60%) no SEQ, que também estavam no grupo de escore alto (> 60%) para o MCQ e vice-versa; e desfecho secundário - diferenças de gênero em exames escritos.

Todas as pontuações foram analisadas usando o teste de Mc Nemar. Os coeficientes de correlação (valor 'r') entre os componentes MCQ e SEQ foram estimados pelo método do momento de produto de Pearson. Em todas as análises, valores de p inferiores a 0,05 foram considerados significativos. O pacote estatístico SPSS (versão 11.5) foi utilizado para a análise.

Os princípios e procedimentos da universidade sobre ética em pesquisa foram seguidos ao longo do estudo, que foi aprovado pelo Comitê de Ética Institucional. Dados sobre o desempenho dos alunos foram apresentados, de tal forma que a identificação de desempenhos individuais era impossível, cumprindo os requisitos da Lei de Proteção de Dados.

Resultados

Um total de 683, 653 e 707 segundo MBBS alunos que haviam aparecido para os componentes MCQ e SEQ do primeiro, segundo e terceiro exames formativos entre os anos de 2004 a 2007 foram incluídos para o estudo. O coeficiente de correlação de Pearson (r) no grupo de escore alto (> 60%), no SEQ, que também estavam no grupo de escore alto (> 60%) para o MCQ e vice-versa, foi estudado para o nível de significância.

O número e (porcentagem) dos alunos que obtiveram mais de 60% de notas no SEQ e que também obtiveram mais de 60% de notas no MCQ em três exames formativos é dado na (Tabela / Fig. 1)Os desempenhos do grupo de escore alto no SEQ correlacionaram-se positivamente com o grupo de escore alto para o MCQ (r = 0,768, 0,599, 0,767). Valores de p <0,001 foram indicativos de significância estatística muito alta.

O número e (porcentagem) dos alunos que obtiveram mais de 60% de notas no MCQ e que também obtiveram mais de 60% de notas no SEQ em três exames formativos é dado na (Tabela / Figura 2) . Os desempenhos do grupo de alta pontuação no MCQ correlacionaram-se positivamente com o grupo de alta pontuação para SEQ (r = 0,294, 0,167, 0,445). Valores de p <0,001 foram indicativos de significância estatística muito alta. No entanto, os valores de r foram menores, indicando um menor grau de correlação positiva entre o grupo de alta pontuação do SEQ em sua capacidade de estar no grupo de alta pontuação para o MCQ também.

Diferenças de gênero foram analisadas para 712 estudantes (406 homens e 306 mulheres). Nos primeiros, segundo e terceiro exames de formação, 57,35%, 58% e 57,5% dos estudantes do sexo feminino teve mais de 60% marcas nos componentes MCQ e seq (P <0,001) (Tabela / Figura 3) dos estudantes fêmeas consistentemente marcados melhor do que seus homólogos masculinos.

Discussão

(1) DFES (Departamento de educação e competências) Rumo a uma estratégia de aprendizagem electrónica unificada: documento de consulta, Nottingham: DFES Publications, 2003.
(2) Rust C. O impacto da avaliação na aprendizagem dos alunos: como pode a literatura de investigação praticamente ajudar informar o desenvolvimento de estratégias de avaliação departamental e práticas de avaliação centradas no aluno? Aprendizagem Ativa no Ensino Superior 2002; 3 (2): 145-58.
(3) Robinowitz HK, Hojat M. Uma comparação de pergunta de ensaio modificada e formatos de pergunta de múltipla escolha - a relação com o desempenho clínico. Fam Med 1989; 21 (5): 364-7.
(4) McCloskey DI, Holanda RA. Uma comparação entre os desempenhos dos alunos ao responder a perguntas do tipo ensaio e de múltipla escolha. Med Educ 1976; 10 (5): 382-5.
(5) Tombleson P. Demise da questão do ensaio. Occas Pap R Coll Gen Prat 1990; 46: 23-4.
(6) Tyrer SP, Leung WC, Smalls J, Katona C. A relação entre a escola médica de treinamento, idade, sexo e sucesso nos exames MRCPsych. Boletim Psiquiátrico 2002; 26: 257-263.
(7) Pritchard, DJ. Efeitos do sexo e listagem alfabética no desempenho em exames de estudantes de medicina. Med Educ 1988; 22 (3): 205-210.
(8) Krueger PM. As mulheres estudantes de medicina superam os homens em obstetrícia e ginecologia? Acad Med 1998; 73 (1): 101-102.
(9) Woodford K, Bancroft P. Questões de múltipla escolha não consideradas prejudiciais. ACM International Conference Proceeding Series; Vol. 106 Anais da 7ª Conferência Australasiana de Educação em Informática - Volume 42. NewCastle, Austrália; 2005.p.109-116.
(10) Prout RES, Hoy TG. Avaliação do desempenho acadêmico dos estudantes de odontologia, correlação entre as qualificações de entrada e os exames não clínicos e clínicos. Br Dent J 1976; 141: 141 - 5.
(11) Shittu LA, Zacarias MP, Adesanya OA, Izegbu MC e Ashiru OA. O impacto diferencial de vários parâmetros de avaliação no desempenho dos estudantes de medicina no exame de anatomia profissional. Pesquisa Científica e Ensaio 2006; 1 (1): 14-19.
(12) Jain S, Alkhawajah A, Larbi E, Al-Ghamdi M & Al-Mustafa Z.Avaliação de desempenho de estudante em exame escrito em Farmacologia Médica. J Científica da King Faisal University (Ciências Básicas e Aplicadas) 2005; 6 (1): 1426-35.
(13) Lugman W, Ibrahim E. O resultado de alguns métodos de avaliação de estudantes clínicos. Mater Med Pol 1987; 19: 60-1
(14) Robinowitz, HK. A questão do ensaio modificado - Uma avaliação de seu uso em uma enfermaria de medicina de família. Med educ 1987; 21 (2): 114-8.
(15) Edelstein RA, Reid HM, Usatine R, Wilker MS. Um estudo comparativo de medidas para avaliar o desempenho de estudantes de medicina. Acad Med 2000; 75 (8): 825-33.
(16) Williams JB. Critério de afirmação: teste de múltipla escolha como ferramenta para a aprendizagem profunda: uma análise qualitativa. Avaliação e Avaliação no ensino superior 2006; 31 (3): 287-301.
(17) Epstein RM. Avaliação em educação médica. N Engl J Med 2007; 356: 387-96.
(18) Burton RF. Quantificar os efeitos do acaso em testes de múltipla escolha e verdadeiro / falso: seleção de questões e adivinhação de respostas, Avaliação e Avaliação no Ensino Superior 2001; 26 (1): 41-50.
(19) De Vita G. Equivalência cultural na avaliação de estudantes de administração de empresas nacionais e internacionais: um estudo exploratório no Reino Unido. Estudos no Ensino Superior 2002; 27 (2): 221-231.
(20) Leamnson R. Pensando em ensinar e aprender. Sterling, VA, Stylus Publishing; 1999
(21) Vyas R, Supe A. Questões de múltipla escolha: Uma revisão de literatura sobre o número ideal de opções. Natl Med J India 2008; 21 (3): 130-33.
(22) Hettiaratchi ES. Uma comparação do desempenho dos alunos em dois testes de fisiologia paralela em formulários de múltipla escolha e de resposta curta. Med Educ 1978; 12 (4): 290-6.
(23) Wakeford RE, Robert S. Short responder a perguntas em um exame de qualificação de graduação: um estudo de variabilidade de examinador. Med Educ 1984; 18 (3): 168-73.
(24) Webber RH. Perguntas estruturadas de resposta curta: um método de exame alternativo. Med Educ1992; 26 (1): 58-62.
(25) McManus IC, Richards P, Winder PC, Sproston KA. Desempenho do exame final de estudantes de medicina de minorias étnicas. Med Educ 1996; 30: 195-200.
(26) Acheson AG. Estudantes do sexo masculino enfrentam preconceito? Lancet1997; 350: 964.
(27) McDonough CM, Horgan A, Codd MB, Casey. Diferenças de gênero nos resultados do exame médico final da University College Dublin. Med Educ 2000; 34: 30-34.
(28) Matsubayashi K. Sexo e resultados do exame. Lancet 1997; 350: 1711.

Mensagem chave

1) A avaliação autêntica está inseparavelmente ligada à aprendizagem construtivista. O formato de avaliação do MCQ é uma ferramenta eficaz de avaliação de tempo em Farmacologia. O uso criterioso do MCQ pode fornecer uma visão melhor da compreensão, aplicação e síntese do conhecimento do aluno.
2) A probabilidade de os alunos marcarem> 60% de marcações no SEQ foi maior quando eles obtiveram> 60% de notas nos trabalhos do MCQ (P <0,001). O desempenho do SEQ correlacionou-se positivamente com o desempenho do MCQ.
3) O formato da questão do ensaio correlacionou-se mal quando comparado com o padrão de avaliação do MCQ. Os factores que não eram a favor dos ensaios incluíam os comportamentos idiossincráticos dos examinadores na distribuição de notas atribuídas a ensaios, problemas de linguagem, a maturidade emocional dos alunos, caligrafia fraca e ilegível, etc.
4) As estudantes do sexo feminino têm consistentemente melhor do que as do sexo masculino. homólogos e os dados correlacionados com os dados em todo o mundo sobre as diferenças de gênero no desempenho dos alunos.

Reconhecimento

Gostaríamos de agradecer e transmitir nossa gratidão ao Kasturba Medical College, Mangalore, Universidade Manipal, por nos fornecer os dados necessários durante a realização deste estudo.

Referências

DFES (Departamento de Educação e Competências) Rumo a uma Estratégia de Aprendizagem Electrónica Unificada: documento de consulta, Nottingham: DFES Publications, 2003.

Ferrugem C. O impacto da avaliação na aprendizagem dos alunos: como a literatura de pesquisa pode praticamente ajudar a informar o desenvolvimento de estratégias de avaliação departamental e práticas de avaliação centradas no aluno? Aprendizagem Ativa no Ensino Superior 2002; 3 (2): 145-58.

Robinowitz HK, Hojat M. Uma comparação da pergunta de ensaio modificada e formatos de pergunta de múltipla escolha - a relação com o desempenho clínico. Fam Med 1989; 21 (5): 364-7.

McCloskey DI, Holanda RA. Uma comparação entre os desempenhos dos alunos ao responder a perguntas do tipo ensaio e de múltipla escolha. Med Educ 1976; 10 (5): 382-5.

Tombleson P. Demise da questão do ensaio. Occas Pap R Coll Gen Prat 1990; 46: 23-4.

Tyrer SP, Leung WC, Smalls J, Katona C. A relação entre a escola médica de treinamento, idade, gênero e sucesso nos exames MRCPsych. Boletim Psiquiátrico 2002; 26: 257-263.

Pritchard, DJ. Efeitos do sexo e listagem alfabética no desempenho em exames de estudantes de medicina. Med Educ 1988; 22 (3): 205-210.

Krueger PM. As mulheres estudantes de medicina superam os homens em obstetrícia e ginecologia? Acad Med 1998; 73 (1): 101-102.

Woodford K, Bancroft P. Questões de múltipla escolha não consideradas prejudiciais. ACM International Conference Proceeding Series; Vol. 106 Anais da 7ª Conferência Australasiana de Educação em Informática - Volume 42. NewCastle, Austrália; 2005.p.109-116.

10.

Prout RES, Hoy TG. Avaliação do desempenho acadêmico dos estudantes de odontologia, correlação entre as qualificações de entrada e os exames não clínicos e clínicos. Br Dent J 1976; 141: 141 - 5.

11.

Shittu LA, Zacarias MP, Adesanya OA, Izegbu MC e Ashiru OA. O impacto diferencial de vários parâmetros de avaliação no desempenho dos estudantes de medicina no exame de anatomia profissional. Pesquisa Científica e Ensaio 2006; 1 (1): 14-19.

12.

Jain S, Alkhawajah A, Larbi E, Al-Ghamdi M & Al-Mustafa Z.Avaliação de desempenho de estudante em exame escrito em Farmacologia Médica. J Científica da King Faisal University (Ciências Básicas e Aplicadas) 2005; 6 (1): 1426-35.

13.

Lugman W, Ibrahim E. O resultado de alguns métodos de avaliação de estudantes clínicos. Mater Med Pol 1987; 19: 60-1

14.

Robinowitz HK. A questão do ensaio modificado - Uma avaliação de seu uso em uma enfermaria de medicina de família. Med educ 1987; 21 (2): 114-8.

15.

Edelstein RA, Reid HM, Usatine R, Wilker MS. Um estudo comparativo de medidas para avaliar o desempenho de estudantes de medicina. Acad Med 2000; 75 (8): 825-33.

16.

Williams JB. Critério de afirmação: teste de múltipla escolha como ferramenta para a aprendizagem profunda: uma análise qualitativa. Avaliação e Avaliação no ensino superior 2006; 31 (3): 287-301.

17.

Epstein RM. Avaliação em educação médica. N Engl J Med 2007; 356: 387-96.

18.

Burton RF. Quantificar os efeitos do acaso em testes de múltipla escolha e verdadeiro / falso: seleção de questões e adivinhação de respostas, Avaliação e Avaliação no Ensino Superior 2001; 26 (1): 41-50.

19.

De Vita G. Equivalência cultural na avaliação de estudantes de administração de empresas domésticas e internacionais: um estudo exploratório no Reino Unido. Estudos no Ensino Superior 2002; 27 (2): 221-231.

20.

Leamnson R. Pensando em ensinar e aprender. Sterling, VA, Stylus Publishing; 1999

21.

Vyas R, Supe A. Questões de múltipla escolha: Uma revisão de literatura sobre o número ideal de opções. Natl Med J India 2008; 21 (3): 130-33.

22.

Hettiaratchi ES. Uma comparação do desempenho dos alunos em dois testes de fisiologia paralela em formulários de múltipla escolha e de resposta curta. Med Educ 1978; 12 (4): 290-6.

23.

Wakeford RE, Robert S. Short responder a perguntas em um exame de qualificação de graduação: um estudo de variabilidade de examinador. Med Educ 1984; 18 (3): 168-73.

24.

Webber RH. Perguntas estruturadas de resposta curta: um método de exame alternativo. Med Educ1992; 26 (1): 58-62.

25.

McManus IC, Richards P, Winder PC, Sproston KA. Desempenho do exame final de estudantes de medicina de minorias étnicas. Med Educ 1996; 30: 195-200.

26.

Acheson AG. Estudantes do sexo masculino enfrentam preconceito? Lancet1997; 350: 964.

27.

McDonough CM, Horgan A, Codd MB, Casey. Diferenças de gênero nos resultados do exame médico final da University College Dublin. Med Educ 2000; 34: 30-34.

28.

Matsubayashi K. Sexo e resultados do exame. Lancet 1997; 350: 1711.