Analysis of the procedures used in the forensic evaluation of illegal substances: a statistical approach to interpreting reports

Resumo Este estudo utilizou ferramentas estatisticas para avaliar laudos forenses sobre substâncias ilegais. Avaliamos variaveis quanto as caracteristicas da analise e abordamos a metodologia empregada pelos peritos. Perguntas baseadas no que e necessario para esclarecer a lei foram formuladas. Analisamos 1008 documentos oficiais de diferentes jurisdicoes, divididos em 504 conjuntos compostos por um laudo preliminar e um laudo definitivo para cada caso. Os laudos foram examinados por uma equacao empirica formulada para fornecer um parâmetro denominado “ Report Relevance ” (Relevância do Laudo), que teve por finalidade classificar cada documento de acordo com uma pontuacao relacionada a quantidade de informacao contida. A validacao do metodo foi realizada por analise multivariada de dados: Analise de Componentes Principais ( Principal Component Analysis , PCA), Analise de Agrupamentos Hierarquicos ( Hierarchical Cluster Analysis , HCA), Soft Independent Modeling of Class Analogy (SIMCA) e Minimos Quadrados Parciais ( Partial Least Squares , PLS). A analise quantitativa mostrou que os documentos foram bem produzidos, com boa qualidade, uma vez que a Relevância do Laudo apresentou valores em torno de 0,74 ± 0,08 para aqueles provenientes da Policia Estadual. Em comparacao, os documentos provenientes da Policia Federal obtiveram valores em torno de 0,87 ± 0,05. Fatores que podem explicar essas diferencas e as melhores pontuacoes para os laudos federais incluem maior investimento em tecnologia e treinamento de pessoal, e menor demanda de mao-de-obra e rotina. Para ambas as forcas policiais, alguns aspectos poderiam ser melhorados, como imagens das evidencias coletadas ou procedimentos analiticos laboratoriais. Finalmente, a metodologia neste estudo pode ser adaptada para ser usada em outros tipos de investigacao forense. Palavras-chave : Substâncias Ilicitas, Procedimentos Periciais, Analise Multivariada Abstract This study used statistical tools to evaluate forensic reports on illegal substances. We evaluated variables regarding the characteristics of the analysis and we addressed the methodology employed by the experts. Questions based on what is required to clarify the law were formulated. We have parsed 1008 official documents from different jurisdictions, divided into 504 sets comprised of a preliminary and a final report for each case. The reports were examined by an empirical equation formulated to provide a parameter called “Report Relevance”, which intended to classify each report according to a score related to the amount of information it contained.  The validation of the method was performed by multivariate data analysis: Principal Component Analysis (PCA), Hierarchical Cluster Analysis (HCA), Soft Independent Modeling of Class Analogy (SIMCA) and Partial Least Squares (PLS). Quantitative analysis showed that the expert documents were well produced, with good quality, since the Report Relevance showed values around 0.74 ± 0.08 for the reports from the State Police. By comparison, reports from the Federal Police obtained scores around 0.87 ± 0.05. Factors that might explain these differences and the better scores for the Federal reports include increased investment in technology and training of staff, and a lower labor demand and routine. For both police forces, some aspects could be improved, such as images of the collected evidence or laboratory analytical procedures. Finally, the methodology in this study can be adapted to be used in other kinds of forensic investigation. Keywords : Illegal Substances, Expertise Procedures, Multivariate Analysis.