Maximum likelihood! (-2lnL)

Bom eu iria fazer um video disso mas como minha voz fica (ou ela é) horrível acho melhor tentar escrever.  Reparei que uma grande quantidade de pessoas não consegue entender os perigos de se trabalhar com máxima verossimilhança. Eu não irei explicar o que é como funciona de forma formal as inferências baseadas em máxima verossimilhança, mas irei dar um exemplo prático de como alguns desses algoritmos funcionam.

A maioria dos ecólogos não são bons programadores e não gostam/querem aprender como os softwares de estatística que usam durante suas analises pode apresentar um resultado incorreto se não conseguem entender como o processo ocorre. Os algoritmos que usam máxima verossimilhança tem como objetivo encontrar o parâmetro que maximiza a verossimilhança para o dado conjunto de dados.

Vamos ver um gráfico:

Distribuição normal padrão, média zero e desvio padrão um.

O algoritmo faz o produto das verossimilhanças com diversos parâmetros até encontrar um valor que melhor se ajusta aos dados.  Vamos supor que estamos interessados em saber qual a média e o desvio padrão de uma amostra retirada de uma população fictícia. Essa população segue a distribuição normal padrão e vamos retirar uma amostra de 100 elementos. O script usado pode ser encontrado aqui.

Os gráficos abaixo mostram o resultado satisfatório do método:

Linha solida representa a distribuição real e a linha tracejada a distribuição prevista pelas amostras utilizando o método de máxima verossimilhança.

Mudança dos parâmetros (média e desvio padrão) em relação ao número de iterações do algoritmo. As linhas tracejadas representam os valores reais dos parâmetros.

Podemos ver que o método funciona relativamente bem nesse caso. Na vida real não temos certeza das distribuições que governam a população. Isso sempre é motivo de discussão já que estamos expressando nossa ignorância sobre algum fenômeno de forma arbitraria em algum nível. Aqui pode começar todo o problema…podemos acabar escolhendo distribuições a priori que não adequadas para o problema ou o dado real pode ser uma mistura delas. Abaixo um exemplo de como pode ficar difícil realizar uma inferência com dados um pouco mais complexos.

Vamos supor que a distribuição dos dados é uma combinação de distribuições normais. O meu algoritmo faz o possível para conseguir ajustar os parâmetros a toda nova variação.

 

O pico da distribuição prevista agora é justamente em um “vale” na distribuição real. Para solucionar isso é necessário adicionar mais parâmetros no modelo, aumentando assim sua dimensionalidade e complexibilidade. Devo assumir que meu algoritmo é apenas uma implementação simples, porém é um ótimo exemplo de como podemos acabar fazendo inferências de forma incorreta. É importante fazer uma inspeção visual dos dados primeiro antes de rodar qualquer analise. Um simples histograma já demonstraria o comportamento dos dados e a necessidade de um modelador/estatístico acostumado a trabalhar com distribuições ia ser requisitada.

Outros cuidados importantes são os parâmetros iniciais. Deve verificar como a distribuição se comporta modificando os parâmetros iniciais de forma aleatória. Caso todas as soluções apresentem a tendência de convergir para o mesmo valor sua simulação ocorreu de forma apropriada. Se ocorrer o contrario provavelmente você ficou preso em um local optima. O local optima é um ponto no espaço de parâmetros onde aparentemente você encontrou a verossimilhança máxima e o algoritmo assume que deve parar. Porém como o nome sugere é apenas um pico local, não é o maior pico possível de ser encontrado. Geralmente é um problema comum de problemas com muitas dimensões (grande número de parâmetros) e algoritmos não reativos/self-tuning. Devido ao tamanho desse post irei deixar para o próximo a explicação com exemplos.

Resumo: max L é bom mas tem que ter um bom conhecimento do assunto para usar de forma correta, métodos complexos não fazem mágica. O que deve ter de coisa errada nesse post não é brincadeira 😀

Próximo post local optima ou lei dos grandes numeros e teorema do limite central (tenho um ǵrafico perfeito pra explicar isso).

Cya

Anúncios

Deixe um comentário

Preencha os seus dados abaixo ou clique em um ícone para log in:

Logotipo do WordPress.com

Você está comentando utilizando sua conta WordPress.com. Sair / Alterar )

Imagem do Twitter

Você está comentando utilizando sua conta Twitter. Sair / Alterar )

Foto do Facebook

Você está comentando utilizando sua conta Facebook. Sair / Alterar )

Foto do Google+

Você está comentando utilizando sua conta Google+. Sair / Alterar )

Conectando a %s

%d blogueiros gostam disto: