Precisão de avaliadores na avaliação da criatividade por meio da produção de metáforas Inter rater reliability in the creativity assessment using metaphor production

• Main Authors: Ricardo Primi, Fabiano Koich Miguel, Gleiber Couto, Monalisa Muniz
• Format: Article
• Language: English
• Published: Universidade de São Francisco 2007-12-01
• Series: Psico-USF
• Subjects: Teste de criatividade; Modelo de Rasch; Teoria de resposta ao item; Creativity test; Rasch model; Item response theory
• Online Access: http://www.scielo.br/scielo.php?script=sci_arttext&pid=S1413-82712007000200008

A criatividade é um dos temas da psicologia cuja mensuração está circundada de dificuldades, já que é uma área carente de bons instrumentos. Metáforas como "O camelo é o barco do deserto" são meios de expressão de aspectos diferente de algum conceito (camelo) por meio da associação de idéias. A elaboração de metáforas desse tipo pressupõe a execução de processos cognitivos básicos, tais como o raciocínio analógico e as associações remotas, processos esses que estão associados aos componentes cognitivos da criatividade. Objetivou-se nesta pesquisa estudar a precisão de critérios de pontuação de um instrumento de avaliação da criatividade por meio de produção de metáforas que avalia respostas metafóricas a partir de um estímulo do tipo "O camelo é o ______ do deserto". Participaram deste estudo 19 sujeitos e nove juízes. O teste de metáforas é composto por nove itens, aos quais os sujeitos deram um total de 513 respostas. Cada resposta foi avaliada independentemente pelos juízes, em uma escala de 0 a 3, indicando o nível de elaboração da metáfora. A precisão foi calculada a partir do modelo de Rasch, assumindo cada idéia como um caso e cada juiz como um item de um teste hipotético, aplicando-se um procedimento chamado rede de juízes ancorados. A precisão de avaliadores variou de 0,52 a 0,83, com média 0,74 (DP=0,08), indicando uma boa precisão de avaliadores.<br>The measure of creativity is a difficult task in psychology and consequently there is a shortage of good quality instruments. Metaphors, like "The camel is the boat of the desert", are means of expressing different characteristics of a concept (camel) through association of ideas. The creation of such metaphors assumes the accomplishment of basic cognitive processes, like analogical reasoning and remote associations, which are linked to the creativity cognitive processess. The goal of this research was to study the reliability of scoring system for a creativity test based on metaphors creation, making use of items like "The camel is the ______ of the desert". The participants were 19 people and nine raters. The metaphor test is made of nine items, to which the participants gave 513 answers. Each answer was independently measured by the raters using a scale from 0 to 3, indicating the metaphor's elaboration. Reliability was calculated by a Rasch model assuming every idea as a case and each judge as an item of a hypothetical test in procedure called judge-linking network. The inter-rater reliability varied from .52 to .83 with a mean of .74 (SD=.08) resulting in a acceptable inter-rater reliability.