| Summary: | Este trabalho versa sobre a validação externa de um modelo para predição de pneumonias em pacientes submetidos a cirurgias cardíacas. Também apresenta uma revisão dos métodos e técnicas para análise crítica e avaliação de desempenho dos modelos preditivos em medicina e discorre sobre aplicações do nomograma. Método: Dados de uma série de 527 pacientes, consecutivamente submetidos a cirurgias cardíacas entre Junho de 2000 e Agosto de 2002, foram utilizados para desenvolver os modelos de prognósticos. Foram realizadas análise de regressão logística múltipla e árvore de classificação e regressão (CART) para identificar fatores preditivos para a ocorrência de pneumonia. Diversos fatores de risco simples e convencionais pré-operatórios foram avaliados. Os modelos foram validados internamente com um método de bootstrap Um nomograma foi desenvolvido para melhorar a aplicabilidade clínica. O desempenho do nomograma foi avaliado por meio de medidas de calibração, discriminação e indicadores globais. Em uma segunda etapa estudo em um hospital público foi realizado com 333 pacientes adultos submetidos a cirurgias cardíacas entre Outubro de 2006 e Maio de 2007. Modelos construídos previamente por meio de regressão logística (LRM) e árvore de classificação e regressão (CART) foram validados com dados externos. Resultados: Um modelo de nomograma simples foi desenvolvido e validado internamente, mostrando discriminação moderada e boa calibração (AUC 0,79; escore Brier 0,064, ângulo de discriminação 0,13; Hosmer-Lemeshow p = 0,27). Pneumonia ocorreu em 7,6% dos pacientes da amostra de validação externa. LRM apresentou melhor desempenho com baixa discriminação (R2 7,1%, Brier=0,06, AUC=0,694) e com calibração adequada (Hosmer-Lemeshow p=0,08). Conclusões: As probabilidades preditas mostraram concordância global com a freqüência observada de pneumonia após cirurgia cardíaca. O nomograma forneceu uma predição satisfatória da probabilidade de pneumonia. Sua aplicabilidade para o uso clínico pode facilitar a informação do paciente e do cirurgião antes da cirurgia cardíaca. Foi validado externamente um modelo capaz de identificar pacientes de alto risco para pneumonia submetidos à cirurgias cardíacas. CART apresentou um bom desempenho na derivação e maiores perdas do que LRM, quanto à discriminação e calibração, na amostra de validação. === This study concerns the external validation of a prediction model for pneumonias after cardiac surgery. It also presents a review of methods and techniques for critical appraisal and performance assessment of clinical predictive models and nomogram applications. Methods: A consecutive series of 527 patients who underwent cardiac surgeries between June 2000 and August 2002 was used to develop a prognostic model.. Multiple logistic regression analysis was performed to predict the occurrence of pneumonia. Diverse simple and conventional preoperative risk factors were evaluated. The model was internal validated with bootstrap. A nomogram was developed to enhance clinical applicability. The performance was evaluated by calibration, discrimination and global measures. Prospective study was done to validate models predicting pneumonia after cardiac surgery with 333 adult patients who underwent cardiac surgery from October 2006 to May 2007. Previously constructed logistic regression (LRM) and classification and regression tree (CART) models were validated with external data. Results: a simple nomogram model was developed and showing low discrimination and good calibration (AUC 0.79, Brier score 0.064, discrimination slope 0.13, Hosmer-Lemeshow p=0.27). Pneumonia occurred in 7.5% of patients in the external validation set. LRM performed better with moderate discrimination (R2 7.1%, Brier=0.06, AROC=0.694) and calibration (Hosmer-Lemeshow P=0.08). Conclusions: Overall agreement between the predicted probabilities and observed frequencies was good in the development and the internal validation set. The nomogram predicts the probability of pneumonia for individual patients and may help in informing patients and surgeons before undergoing cardiac surgery. We validated a model that can identify which patients undergoing cardiac surgery are at high risk for pneumonia. CART performs well in derivation, and looses more discrimination and calibration than LRM in the validation set.
|
|---|
