Seis Sigma

01 de julho de 2017

Última atualização: 25 de janeiro de 2023

Como realizar testes para ter sucesso rápido?

Quais são os tipos de testes?

Alguns diferentes tipos de estudos podem ser usados dentro do ciclo PDSA para testar uma mudança. Eles alcançam de simples testes informais para compreensivos complexos experimentos. O indivíduo ou time envolvido em testar uma mudança pode selecionar um nível de formalidade e complexa relevância para sua situação. Neste artigo, dois tipos de testes – o antes e depois, e a comparação simultânea entre duas ou mais alternativas, são introduzidas.

Estes estudos são largamente aplicados e ocupam uma posição de média ordem de formalidades e complexidade. O alvo de métodos gráficos é para visualizar o mostrador de impacto de mudança nos dados que estão coletados. Organizar cartas e histogramas é comumente usado por causa da sua simplicidade. Usando métodos gráficos também tem o lado de benefício permitindo total envolvimento com o planejamento e teste para ser envolvido na análise.

Como realizar testes do tipo “Antes e Depois”

Uma maneira prática e usual de se testar uma mudança é executá-la para em seguida compará-la com a situação anterior. A coleção de dados anteriores demonstra a experiência histórica utilizada como base de comparação.

A partir do momento que a comparação, por meio de um teste antes e depois, é uma experiência histórica, o teste é vulnerável a uma má interpretação se uma causa especial não relacionada com a mudança ocorrer no mesmo momento da sua realização. Talvez um seminário onde se aprenda uma nova maneira de se utilizar o velho instrumento seja realizado na mesma época da introdução do novo instrumento.

Quem realiza o teste deve ter certeza do julgamento que faz sobre se o efeito visto se refere precisa e unicamente às mudanças testadas. Esse julgamento terá uma base racional se nenhum evento externo interferir e se o sistema estiver estável já há algum tempo. No exemplo apresentado, os médicos acreditavam que a melhoria na porcentagem de amostras inadequadas era decorrente do uso do novo instrumento. Eles decidiram planejar outro ciclo de experiências, para testar o uso do novo instrumento sob novas condições.

Como é a coleta de dados nos testes antes e depois?

Os dados coletados durante o teste “antes e depois” são suscetíveis a uma outra causa especial, mais difícil de se detectar: o efeito de se conduzir o teste pela primeira vez. Durante o teste, as pessoas envolvidas podem ter mais cuidados operacionais do que quando desempenham seu trabalho normalmente. Isto pode ser a causa da melhoria obtida quando da realização do teste.

Esta dificuldade pode ser mitigada testando-se ao longo do tempo de forma que a novidade inicial do teste fique excluída. Também, se isso for possível e ético, as pessoas podem não ser informadas que estão fazendo parte de um teste. Comunicá-los, entretanto, quase sempre é a melhor alternativa. Se o efeito Hawthorne interferir, os dados coletados durante o teste podem ser usados para fornecer feedback para as pessoas. Este feedback permite às pessoas mudarem o que estão fazendo, de modo que a melhoria visualizada durante o teste possa ser sustentada.

Como realizar um teste do tipo comparação simultânea?

Num teste de comparação simultânea (também denominado estudo de comparação pareada), duas ou mais alternativas são comparadas ao mesmo tempo, no mesmo espaço ou em outras condições similares. Quando uma das alternativas é um sistema já em uso, o teste é frequentemente denominado de comparação simultânea com controle. Pela comparação de alternativas, o efeito de eventos externos pode ser estudado durante o teste. Um teste de comparação simultânea pode ajudar a se ter explicações diferentes para as melhorias encontradas.

Por que é importante aletorizar o teste?

Aleatorizar a escolha é o uso de um dispositivo, como uma tabela de números aleatórios, para designar as coisas ou pessoas que farão parte do teste das mudanças. Neste exemplo, um número de pessoas foi designado para cada procedimento, escolhidos de forma aleatória. Se a escolha aleatória é utilizada, pode-se assumir que os grupos não diferem entre si antes do teste.

Em algumas situações, uma verificação pode ser feita na escolha realizada, por meio de coleta de dados nos grupos antes da mudança ser testada. Com isso, as diferenças nos grupos podem ser avaliadas antes das mudanças.

Como escolher qual o tipo de teste é mais adequado à você?

O teste “antes e depois” e a comparação simultânea podem ser usadas em muitas situações. A seguir algumas características a serem consideradas quando se decide qual o tipo de estudo se deve usar:

Considere um teste “antes e depois” quando:

Os dados disponíveis ou que podem ser coletados antes das mudanças são suficientes para se formar uma base de comparação.

Existe um mínimo tratamento das informações errôneas dos resultados, porque alguns eventos externos estão presentes no mesmo tempo em que as mudanças são feitas.

Dados serão continuamente coletados durante um longo período de tempo após as mudanças serem feitas.

Grandes melhorias são esperadas.

Os grupos envolvidos num teste de comparação simultânea não podem ser isolados, por exemplo, quando um grupo de mecânicos designados para usarem um procedimento antigo de manutenção prefere o novo procedimento e passam a usá-lo.

Considere uma comparação simultânea quando:

Duas ou mais alternativas ao sistema vigente (por exemplo, dois novos fornecedores) vão ser testadas.

Apenas uma alternativa é testada, mas eventos externos demandam um tratamento para interpretação dos resultados. Um grupo de controle (um grupo utilizando o sistema vigente) deve ser usado ao mesmo tempo de quando o grupo alternativo é testado.

Existe um desejo de se incluir uma grande faixa de condições no teste. Isto é possível utilizando-se grupos planejados.

Como testar várias mudanças no mesmo teste?

É possível testar mais do que uma mudança ao mesmo tempo utilizando um tipo de teste denominado experimento fatorial. Um experimento fatorial permite uma alternativa a se testar uma mudança de cada vez. Ele permite o estudo do impacto de diferentes combinações de mudanças. Por exemplo, um experimento fatorial pode detectar que algumas combinações de temperatura e pressão têm um efeito ótimo numa característica importante de um produto.

Da mesma forma, um professor pode querer testar alunos estudando em equipes em comparação a um formato tradicional de leitura e ao mesmo tempo testar o impacto do tamanho da sala. Talvez, as equipes obterão resultados de melhoria apenas nas classes pequenas. Para o estudo aprofundado da teoria do experimento fatorial (que foge ao escopo deste trabalho), muitos livros estão disponíveis para leituras aprofundadas.

Como avaliar as evidências dos testes?

A previsão de que uma mudança resultará em melhorias é baseada no conhecimento das pessoas que promovem as mudanças e nas evidências ou dados que são coletados durante os testes. Em alguns casos, as evidências são muito fortes. Nos exemplos das seções anteriores, os impactos das mudanças eram óbvios. Os dados indicavam que as mudanças tiveram o efeito desejado.

Ou seja, os padrões presentes nos dados depois das mudanças não foram explicados pelos padrões antes das mudanças. Estes resultados facilitam o encaminhamento da implementação das mudanças. Em algumas situações, as evidências não serão tão fortes. Será que isto quer dizer que as mudanças devem ser abandonadas?

Qual é o método?

Quando os dados originários de um teste são analisados utilizando-se um gráfico, um histograma ou outro método, especialistas no assunto em questão devem avaliar os dados e determinar as ações que devem ser tomadas. Diante de evidências não tão fortes não significa necessariamente que as mudanças devam ser abandonadas. Esta decisão depende do estágio de desenvolvimento das mudanças e das expectativas com os resultados.

Nos primeiros ciclos dos testes, o conhecimento deve ser construído sobre os problemas e os efeitos colaterais das mudanças. A expectativa deve ser de que as mudanças não terão resultados positivos enquanto esses problemas e efeitos colaterais não forem removidos. Neste ponto, as pessoas devem se tornar defensores das mudanças. Nos primeiros ciclos, espera-se como resultado que as mudanças devam ser revisadas e melhoradas. Indicações de melhorias devem ser visualizadas nos próximos ciclos, quando as mudanças estão sendo refinadas. Nos ciclos finais, as mudanças devem ser analisadas criticamente e fortes evidências de melhorias devem ser percebidas.

Em poucos casos, a predição deve ser que o impacto das mudanças deve ser pequeno, comparado com as grandes variações no sistema, mas mesmo as pequenas melhorias serão benéficas. Isto pode ser verdade em relação à melhoria no rendimento no gasto de matéria prima ou com a redução dos efeitos colaterais sérios de uma determinada droga. A decisão deve ser tomada no sentido de continuar as mudanças para determinar se as melhorias apresentadas podem ser sustentáveis ao longo do tempo. Nestes casos um estatístico deve ser consultado para ajudar no planejamento dos ciclos e na avaliação das evidências.

Quais são os princípios para se realizar testes?

Construa Conhecimento Continuadamente

Em virtude de nem todas as mudanças resultarem em melhoria, aquelas responsáveis pelo desenvolvimento e mudança deveriam ser continuamente procuradas como modo para reduzir o risco do teste enquanto maximizando a aprendizagem.

O teste em pequenas escalas

A escala do teste deveria ser decidida de acordo com o grau de confiabilidade em que a mudança irá resultar em melhoria, e o risco do teste falhar.Os testes de escalas pequenas são necessários quando as conseqüências das falhas irão ser maiores e o grau de confiabilidade em sucesso é baixo, consequentemente poderia resultar em impactos negativos para os consumidores, perdas financeiras, ou danos. O uso de novas tecnologias dispendiosas, introdução de novos serviços, ou o teste de um novo procedimento médico cairia nesta categoria. Quando os riscos são altos, é sempre bom ter um plano desenvolvido que descreva as ações necessárias no caso dos testes falharem.

Se as consequências para um teste falhado são maiores, mas o grau de confiabilidade em sucesso é alto, então o teste de pequenas para médias escalas deveria ser considerado. O teste de procedimento médico ou uma droga usada para ser uma melhoria cairia nesta categoria. O teste é usado ao aprendizado sobre o uso de novos procedimentos médicos no desenvolvimento de uma nova droga.

As consequências são menores quando são feitos testes que afetam processos ou sistemas que são internos a organização, ou seja, quando os testes não têm impacto aos consumidores da organização. Exemplos poderiam ser a entrega pelo correio ou a estocagem do produto. Nesses casos, testes poderiam ser feitos numa escala mais alta.

Quais outros modos de realizar testes em pequena escala?

Pergunte a outros que tenham algum conhecimento sobre a revisão da mudança e comente sobre a sua viabilidade.

Teste os novos produtos ou processos nos membros do time que o desenvolveu antes de introduzi-los aos outros.

Incorpore redundância no teste fazendo a mudança lado a lado com o processo ou produto existente (um teste de comparação existente).

Conduza o teste em um curto período

Teste a mudança em um pequeno grupo de voluntários

Testar a mudança em pequenas escalas é uma maneira importante de reduzir o medo das pessoas de realizar a mudança. Quando os testes com escalas pequenas não são considerados pessoas procrastinam. Elas tentam desenvolver a mudança perfeita em virtude das conseqüências potenciais de um teste falhar. Esta tendência poderia particularmente prevalecer em algumas grandes companhias ou agências governamentais onde qualquer mudança em programas ou políticas tendem a ser boicotados.

Faça múltiplos testes

Testar em escalas pequenas conduz ao uso de ciclos múltiplos para construir conhecimento construtivamente. Tentar obter todas as respostas relativas a uma mudança em um ciclo grande deveria ser evitado. Além do mais, o efeito negativo para uma grande mudança poderia ser usado em operações normais, as pessoas e os efeitos da mudança terão mais dificuldades em realizar a mudança. Alguns ciclos iniciais poderiam ser usados para decidir se a mudança é executável sobre as melhores condições. Isto aumentaria também o interesse das pessoas e vontade para seguir em frente com a mudança.

Aumente a Habilidade em Predizer os Resultados do Testes

Coletando dados com o passar do tempo, as medidas de um produto ou processo serão sempre afetadas por causas comuns de variação que não possuem conexão à mudança a ser testada. Então, analisar os padrões com o passar do tempo é crucial para se determinar os efeitos da mudança. Após a mudança, dados podem ser analisados para decidir se o sistema é estável; uma predição sobre o desempenho futuro pode ser feita.

Na maioria dos testes de mudança, as condições durante os testes são considerações mais importantes do que o tamanho da amostra (o número de itens testados). Uma mudança pode ter o efeito de predizer no curto prazo, mas a maioria dos testes também tem o objetivo de determinar se o efeito irá persistir no futuro.

Desde que as condições mudarão naturalmente com o passar do tempo, mais informação é obtida de uma amostra selecionada em um longo período do que de uma amostra maior selecionada em um pequeno período (um ciclo ou vários ciclos poderiam ser usados para fornecer um período apropriado). O tempo requerido para aumentar o grau de confiabilidade em que a mudança irá resultar em melhoria e que a melhoria persistirá é uma questão de bom senso.

A importância em se determinar o tempo, é que se uma mudança é uma melhoria, ela fixa um contexto por determinar o tamanho de amostra para o teste. O tamanho da amostra precisa ser adequado para detectar padrões que indicam melhoria.

Teste sobre uma variedade grande de condições

Fazendo uma mudança para melhorar um processo, sistema, ou produtos envolve fazer uma predição. A predição é que a mudança será no final das contas benéfica. É importante reconhecer que as condições no futuro serão diferentes das condições do teste. A mudança ainda é uma melhoria sob essas novas condições?

Frequentemente também, testes de mudanças não são conduzidos sobre condições extremamente variadas. Algumas razões dadas para a limitação das condições incluem a escassez de recursos, tempo, falta de conhecimento que testar sobre diferentes condições leva a resultados mais eficientes, e a existência de muitas condições possíveis a considerar.