Variáveis com diferentes efeitos e o modelo de Cox: Alguns conceitos estatísticos, ilustrado com um fator prognóstico de estudo de câncer de mama

análise de Sobrevivência

Em muitos estudos, a principal variável de interesse é um atraso, tais como o tempo de diagnóstico de câncer para um determinado evento de interesse., Este evento pode ser a morte, e por esta razão a análise de tais dados é muitas vezes referida como análise de sobrevivência. O evento de interesse pode não ter ocorrido no momento da análise estatística, e da mesma forma, um sujeito pode ser perdido para acompanhamento antes do evento é observado. Nesse caso, dizem-se que os dados são censurados no momento da análise ou no momento em que o paciente foi perdido no seguimento. Dados censurados ainda trazem alguma informação, pois embora não saibamos a data exata do evento, sabemos que ocorreu mais tarde do que o tempo de censuração.,

Tanto o método de Kaplan-Meier e o de riscos proporcionais de Cox (PH) o modelo permite analisar dados censuradas , e para estimar a probabilidade de sobrevivência, S(t), que é a probabilidade de que um sujeito sobrevive além do tempo t. Estatisticamente, esta probabilidade é fornecido pela função de sobrevivência S(t) = P (T > t), onde T é o tempo de sobrevivência. O método Kaplan Meier estima a probabilidade de sobrevivência não parametricamente, isto é, assumindo nenhuma função subjacente específica ., Vários testes estão disponíveis para comparar as distribuições de sobrevivência entre os grupos, incluindo o log-rank e os testes Mann-Whitney-Wilcoxon . O modelo Cox PH responde por múltiplos fatores de risco simultaneamente. No entanto, a taxa de incidência instantânea do evento é modelada em função do tempo e dos fatores de risco.,

a taxa de perigo instantânea no tempo t, também chamada de incidência instantânea, morte, ou taxa de falha, ou risco, é a probabilidade instantânea de experimentar um evento no momento t, dado que o evento ainda não ocorreu. É uma taxa de eventos por unidade de tempo, e é permitido variar ao longo do tempo. Assim como o risco de eventos por unidade de tempo, pode-se fazer uma analogia considerando a velocidade dada por um velocímetro de carro, que representa a distância percorrida por unidade de tempo. Suponha que o evento de interesse é a morte, e nós estamos interessados em sua associação com n covariates, X1, X2, …,, Xn, então o perigo é dado por:

(1)

a taxa de perigo de base h0(t) é uma função não-negativa do tempo. É a parte do perigo dependente do tempo e corresponde à taxa de perigo quando todos os valores covariados são iguais a zero. β1, β2, …, ßn são os coeficientes da função de regressão ß1×1 + ß2×2 +… não., Suponha que estamos interessados em uma única covariável, em seguida, o perigo é:

(2)

(3)

a Tomar x2 = x1 + 1, o hazard ratio reduz para HR = exp(β) e corresponde, para o efeito de um aumento unitário na variável explicativa X sobre o risco de um evento. Uma vez que β = log(HR), β é referido como a razão de perigo log. Embora se permita que a taxa de perigo hx(t) varie ao longo do tempo, a taxa de risco HR é constante; esta é a suposição de perigos proporcionais., Se o RH é maior do que 1 (β > 0), o evento de risco é maior para indivíduos com covariável valor de x2 comparação com indivíduos covariável valor de x1, enquanto que uma HR inferior a 1 (β < 0) indica uma diminuição do risco. Quando a HR não é constante ao longo do tempo, diz-se que a variável tem um efeito variável no tempo; por exemplo, o efeito de um tratamento pode ser forte imediatamente após o tratamento, mas desaparece com o tempo. Isto não deve ser confundido com uma covariada variável no tempo, que é uma variável cujo valor não é fixo ao longo do tempo, como o status de fumante., Na verdade, uma pessoa pode ser um não-fumante, depois um fumante, depois um não-fumante. Note no entanto, que uma variável pode variar tanto no tempo quanto no tempo e ter um efeito que muda ao longo do tempo.

num modelo de pH Cox, a HR é estimada considerando cada vez que t ocorre um evento. Ao estimar a RH global ao longo do período de seguimento completo, os mesmos pesos são dados à RH muito precoce, que afeta quase todos os indivíduos e à RH muito tardia, afetando apenas os poucos indivíduos ainda em risco. A HR é, portanto, média sobre os tempos do evento., Em caso de perigos proporcionais, o RH global não é afectado por este procedimento de ponderação. Se, por outro lado, a RH mudar ao longo do tempo, ou seja, as taxas de perigo não forem proporcionais, a ponderação igual pode resultar numa RH não representativa e pode produzir resultados tendenciosos . Note-se que a HR é média ao longo do tempo do evento e não ao longo do tempo de acompanhamento. Mantém-se inalterada se a escala de tempo for alterada sem perturbar a ordenação dos eventos.,aplicámos alguns dos métodos apresentados a doentes com cancro da mama, uma vez que foram notificados efeitos variáveis no tempo, tais como para o estado de nodal ou receptor hormonal . Nós estudamos mulheres com câncer de mama não metastático e operável que foram submetidas a cirurgia entre 1989 e 1993 em nossa instituição, e que não receberam tratamento neoadjunt anterior. Os critérios de exclusão incluíram antecedentes de carcinoma da mama, cancro da mama contralateral concomitante e ausência de dados patológicos., O acompanhamento foi realizado de acordo com os requisitos europeus de Boas Práticas Clínicas e consistiu em exames físicos regulares, mamografia anual de raios-X e avaliações adicionais em caso de suspeita de metástases. As características clínicas e patológicas foram analisadas de acordo com o arquivo registrado no hospital no momento da iniciação do tratamento. O tamanho patológico do tumor (≤ ou

20 mm) foi medido em amostras cirúrgicas frescas. Foi utilizada uma versão modificada do Scarff-Bloom-Richardson grading system (SBR grau I, II, ou III)., A PVI (sim, não) foi definida como a presença de embolia neoplásica dentro do Lumina vascular vascular ou capilar inequívoco em áreas adjacentes ao tumor da mama. Foram realizadas análises imuno-histoquímicas exploratórias num microarray tecidular (TMA) para avaliar o estado do receptor hormonal (HRec) (positivo se ER positivo e/ou receptor progesterona positivo). Os níveis de expressão de ER e PgR foram avaliados semi-quantitativamente de acordo com um protocolo padrão com valores-limite em 10% de células tumorais positivas. O nível de expressão Her2 foi avaliado de acordo com o sistema de pontuação Herceptest., O nível de expressão Mib1 foi avaliado semi-quantitativamente. Estavam disponíveis informações sobre todos os factores para 979 Mulheres (Quadro 1). O tempo mediano de seguimento foi de 14 anos (intervalo de confiança de 95%: 13, 7-14, 2) e 264 mulheres desenvolveram metástases.

Tabela 1 Características da população em estudo.

exemplo de Trabalho

Os fatores prognósticos foram inicialmente selecionados com base no conhecimento atual sobre o risco de metástases., Eles foram analisados em seguida usando um modelo convencional de regressão Cox; todos foram estatisticamente significantes no nível de 5% nas análises univariadas, e foram então inseridos em um modelo Cox multivariado., O risco de metástases foi maior para as mulheres com menor idade em relação aos mais velhos de idade; grau II e III tumores comparado com tumores de grau I; grandes em comparação ao pequeno tumor tamanhos; comprometimento de linfonodos comparado a nenhum envolvimento; e PVI comparado a nenhum PVI (arquivo Adicionais 1: Estimativa do log de hazard ratios (log(H)), e as hazard ratios (HR = exp()) com 95% de intervalos de confiança (95% CI) e p-valores para o modelo covariáveis na montagem de uma multivariada convencional Cox modelo e um modelo de Cox, com o tempo, a covariável medicamentosas.)., Com base neste modelo, Todas as variáveis, mas o receptor hormonal, estado Her2 e Mib1, afetaram significativamente o risco de metástases.

avaliando a não proporcionalidade: estratégia gráfica

na presença de uma variável categórica, pode-se traçar a distribuição de sobrevivência de Kaplan-Meier, S(t), em função do tempo de sobrevivência, para cada nível do covariato. Se a suposição de PH for satisfeita, as curvas devem afastar-se constantemente., Pode-se também aplicar uma transformação das curvas de sobrevivência Kaplan-Meier e traçar o log da função (- log(s(t))) em função do tempo de sobrevivência log, onde log representa a função logaritmo natural. Se os perigos forem proporcionais, as parcelas log-minus-log específicas do estrato devem apresentar diferenças constantes, ou seja, aproximadamente paralelas. Estes métodos visuais são simples de implementar, mas têm limitações. Quando o covariato tem mais de dois níveis, os gráficos Kaplan-Meier não são úteis para discernir a não proporcionalidade porque os grafos se tornam confusos ., Da mesma forma, embora o PH suposição não pode ser violada, o log minus log curvas raramente são perfeitamente paralelas, na prática, tendem a ser dispersos em mais pontos de tempo, e, portanto, menos preciso. Não é possível quantificar quão perto do paralelo está suficientemente perto e, portanto, quão proporcionais são os perigos. A decisão de aceitar a hipótese do PH muitas vezes depende se essas curvas se cruzam. Como resultado , a decisão de aceitar a hipótese do PH pode ser subjetiva e conservadora, uma vez que é preciso ter fortes evidências (linhas de cruzamento) para concluir que a suposição do PH é violada., Tendo em conta estas limitações, alguns sugerem o fornecimento de erros padrão a estas parcelas . Esta abordagem, no entanto, pode ser computacionalmente intensiva e não está diretamente Disponível em programas de computador padrão. Os gráficos Kaplan-Meier e log-minus-log estão disponíveis na maioria dos pacotes estatísticos padrão (Quadro 2).

Tabela 2 Estatística de software

exemplo de Trabalho (cont’)

de Kaplan-Meier de sobrevida e as curvas de log minus log parcelas são exibidos para algumas variáveis (Figuras 1 e 2)., As curvas de sobrevivência Kaplan-Meier pareciam se afastar constantemente para todos, exceto para o estado do receptor hormonal, estado Her2 e estado mib1. Os log-minus log plots pareciam aproximadamente paralelos para a idade, Tamanho do tumor, envolvimento dos gânglios linfáticos, e PVI. Novamente, gráficos para o estado receptor de hormônio, Estado Her2, e estado mib1 tenderam a indicar uma violação da suposição de PH. Houve também alguma suspeita em relação ao grau SBR.,

Figure 1

Kaplan-Meier survival curves for SBR grade, tumour size, PVI, hormone receptor status.

Figure 2

Log(-log(survival)) curves as a function of time (log scale) for SBR grade, tumour size, PVI, hormone receptor status.,

a Avaliação não-proporcionalidade: Modelagem e estratégias de teste

Gráfica métodos para verificar o PH pressuposto de não fornecer um formal de teste de diagnóstico, e de confirmação abordagens são necessárias. Estão disponíveis várias opções para testar e contabilizar a não proporcionalidade.

Cox propôs a avaliação do afastamento da não proporcionalidade introduzindo uma variável construída dependente do tempo, ou seja, adicionando um termo de interação que envolve tempo ao modelo Cox, e testando a sua significância ., Suponha que alguém está interessado em avaliar se alguma variável X tem um efeito de variação de tempo. Uma variável dependente do tempo é criada pela formação de um termo de interação (produto) entre o predictor, X (contínuo ou categórico), e uma função do tempo t (f(t) = t, t2, log(t), …). Adicionar esta interação para o modelo (equação 2), o perigo torna-se então:

(5)

O hazard ratio é dada por H(t) = hx+1(t)/hx(t) = exp para um aumento unitário na variável X, e é dependente do tempo através da função f(t)., If γ > 0 (γ< 0), then the HR increases (decreases) over time. O ensaio da não proporcionalidade dos perigos é equivalente ao ensaio Se γ for significativamente diferente de zero. Pode-se usar diferentes funções de tempo, tais como decaimento polinomial ou exponencial, mas muitas vezes funções fixas muito simples de tempo, tais como funções lineares ou logarítmicas são preferidas . Esta abordagem de modelagem também fornece estimativas da razão de perigo em diferentes pontos temporais, uma vez que os valores t de tempo podem ser instalados na função da razão de perigo., Variáveis dependentes do tempo fornecem um método flexível para avaliar o afastamento da não proporcionalidade e uma abordagem para construir um modelo para a dependência do risco relativo ao longo do tempo. No entanto, esta abordagem deve ser utilizada com precaução. De facto, se a função do tempo seleccionado for mal especificada, o modelo final não será apropriado. Esta é uma desvantagem deste método em relação a uma abordagem mais flexível.

exemplo de trabalho (cont’)

criamos interações tempo por covariato para cada variável do modelo, introduzindo produtos entre as variáveis e uma função linear do tempo., Como mostrado no Arquivo Adicionais 1 (Estimado registo de taxas de risco (log(H)), e as hazard ratios (HR = exp()) com 95% de intervalos de confiança (IC 95%) e p-valores para o modelo covariáveis na montagem de uma multivariada convencional Cox modelo e um modelo de Cox, com o tempo, a covariável medicamentosas.), interacções tempo-a-co-variáveis significativas envolveram o grau SBR, o estado do receptor hormonal, o estado Her2 e PVI (p < 0, 05). Assim, estes resultados indicaram que as razões de perigo associadas a estes factores não eram constantes ao longo do tempo., Os parâmetros () associados à maioria das interacções foram negativos, sugerindo que as razões de perigo estavam a diminuir ao longo do tempo. A estimativa da taxa de risco associada a um SBR grau II (versus Grau i) em função do tempo t foi dada por: HR(t) = exp(1, 71 – 0, 14 t). As taxas de risco foram de 4, 8, 3, e 2, 7 aos 1, 3 e 5 anos, respectivamente. Do mesmo modo, a relação de risco estimada associada ao estado do receptor da hormona foi: HR(t) = exp(0, 73 – 0, 14 t), ou seja, razões de perigo de 1, 8, 1, 3 e 1, 0, respectivamente, 1, 3 e 5 anos., Embora o modelo Cox convencional não tenha demonstrado qualquer efeito significativo nos receptores hormonais, Her2 e Mib1, estas variáveis tiveram um efeito significativo uma vez que foram incluídas interacções tempo-a-covariadas.

afastamento da não proporcionalidade também pode ser investigado usando os resíduos do modelo. Um resíduo mede a diferença entre os dados observados e os dados esperados no pressuposto do modelo. Os resíduos de Schoenfeld são calculados e relatados em cada momento de falha sob a suposição de PH, e como tal não são definidos para sujeitos censurados ., Eles são definidos como o valor covariado para o indivíduo que falhou menos o seu valor esperado assumindo as hipóteses do modelo hold. Existe um resíduo separado para cada indivíduo para cada covariato. Um enredo suave dos resíduos de Schoenfeld pode então ser usado para visualizar diretamente a taxa de risco de log . Assumindo a proporcionalidade dos riscos, os resíduos de Schoenfeld são independentes do tempo. Assim, uma parcela que sugira um padrão não Aleatório em relação ao tempo é prova de não proporcionalidade., Graficamente, este método é mais confiável e mais fácil de interpretar do que plotar a função log(-log(s(t)) apresentada anteriormente. A presença de uma relação linear com o tempo pode ser testada através da realização de uma regressão linear simples e de uma tendência de ensaio. Uma inclinação significativamente diferente de zero seria prova contra a proporcionalidade: uma tendência crescente (decrescente) indicaria uma razão de perigo crescente (decrescente) ao longo do tempo., Recomenda-se que se examine cuidadosamente a parcela residual para além da realização deste ensaio, uma vez que alguns padrões podem ser visíveis nas parcelas (quadráticas, logarítmicas), mas não são detectados pelo ensaio estatístico. Além disso, a influência indevida de anómalos pode tornar-se óbvia . Embora o método baseado nos resíduos de Schoenfeld fornece estimativas dependentes do tempo, pode ter alguns inconvenientes ., As estimativas de incerteza associadas às estimativas dependentes do tempo resultantes podem ser difíceis de utilizar na prática, e o estimador fornecido pode não ter boas propriedades estatísticas, tais como consistência. Importante é que os valores p resultantes de testes de tendências baseados nos resíduos de Schoenfeld são obtidos independentemente para cada covariato do modelo, assumindo que o modelo Cox é justificado para os outros covariados do modelo; como tal, os resultados devem ser interpretados cuidadosamente. Testes baseados nos resíduos de Schoenfeld podem ser facilmente implementados na maioria dos pacotes estatísticos padrão (Quadro 2).,

exemplo de trabalho (cont’)

para cada covariato, resíduos de Schoenfeld escalados ao longo do tempo, e testes para um declive zero foram realizados. Os valores p correspondentes, bem como o valor p associado a um teste global de não proporcionalidade, são apresentados no quadro 3. O teste global sugeriu fortes evidências de não proporcionalidade (p < 0,01). Variáveis que consideraram mais propensas a contribuir para a não proporcionalidade foram o grau SBR (p < 0,01), PVI (p = 0,05) e estado receptor hormonal (p = 0,05)., Estes achados numéricos sugerem uma taxa de risco não constante para estas variáveis. Os resíduos ajudam a visualizar a razão de risco logarítmica ao longo do tempo para cada covariato (Figura 3). Adicionamos linhas tracejadas e pontilhadas representando, respectivamente, o efeito nulo (razão de perigo de log null) e a razão de perigo média log estimada pelo modelo Cox convencional. No que diz respeito ao grau SBR, as parcelas sugeriram um forte efeito durante os primeiros cinco anos. Este efeito tendeu a diminuir depois., Da mesma forma, o impacto da PVI mudou ao longo do tempo, com novamente maiores riscos de metástases nos primeiros anos, e então este efeito tendeu a desaparecer. No que se refere ao estado do receptor hormonal, o plots sugeriu que um estado negativo aumentava o risco de metástases logo no início e tornava-se Protector depois.

Table 3 Test for non-proportionality based on the scaled Schoenfeld residuals from the conventional Cox model (see table 1).,
Figure 3

Scaled Schoenfeld residuals for SBR grade, PVI, and hormone receptor status (with 95% confidence interval).

The cumulative sum of Schoenfeld residuals, or equivalently the observed score process can also be used to assess proportional hazards ., Graficamente, o processo de pontuação observado é plotado versus tempo para cada variável do modelo, juntamente com processos simulados assumindo que o modelo Cox subjacente é verdadeiro, isto é, assumindo perigos proporcionais. Qualquer desvio do processo de pontuação observada em relação aos simulados é prova contra a proporcionalidade. Estas parcelas podem então ser usadas para avaliar quando a falta de ajuste está presente. Em particular, uma pontuação observada bem acima do processo simulado é uma indicação de um efeito superior à média, e inversamente., Este método é particularmente bem ilustrado numa publicação recente de Cortese et al. . Testes de bondade podem ser implementados com base nos resíduos cumulativos. A abordagem baseada nos resíduos acumulados supera algumas desvantagens encontradas com os resíduos de Schoenfeld, uma vez que os estimadores resultantes tendem a ter melhores propriedades estatísticas, e valores-p justificados são derivados . O método dos resíduos cumulativos é aplicado em alguns pacotes estatísticos normalizados (Quadro 2).os ensaios baseados em resíduos cumulativos são apresentados no quadro 4., No nível de significância de 5%, as estatísticas de teste sugerem efeito não constante ao longo do tempo para o grau do tumor, bem como o estado dos receptores hormonais, her2, e Mib1. Para ilustração, também traçamos o processo de pontuação resultante para algumas variáveis (Figura 4). De acordo com as estatísticas de teste baseadas nos resíduos cumulativos, observamos uma forte saída dos processos observados das curvas simuladas sob o modelo para o status de receptor de grau e hormônio. Estas parcelas são particularmente úteis para identificar onde a falta de Adequação está presente., Por exemplo, o processo inicial de pontuação positiva associado com receptores hormonais, sugere que o efeito desta variável é inicialmente maior do que o efeito médio, e, portanto, menor do que o efeito médio depois. Ou seja, o risco de metástases é aumentado inicialmente para mulheres com ambos os receptores hormonais negativos em comparação com o risco médio, e diminuiu depois.

Table 4 Test for non-proportionality based on the Cumulative residuals from the conventional Cox model (see table 1).,
Figura 4

Observada a pontuação processo de SBR grau, comprometimento de linfonodos e receptor de hormônio de estado (com 95% de intervalo de confiança).

Outra abordagem simples para testar diferentes efeitos de covariáveis envolve a montagem de diferentes modelos de Cox para diferentes períodos de tempo. Na verdade, embora a suposição do PH não possa manter – se ao longo do período de seguimento completo, pode manter-se ao longo de uma janela de tempo mais Curta., A menos que haja interesse num determinado valor de tempo-limite, dois subconjuntos de dados podem ser criados com base no tempo mediano do evento . Ou seja, uma primeira análise é realizada censurando todos que ainda estão em risco além deste ponto de tempo, e uma segunda considerando apenas aqueles sujeitos que ainda estão em risco depois disso. Neste caso, a interpretação dos modelos depende da duração do tempo de sobrevivência, pelo que os resultados devem ser interpretados com precaução., Mesmo que o período de análise seja encurtado, deve-se ainda garantir que a suposição de PH não é violada dentro destes períodos de tempo reduzidos. Além disso, uma vez que são considerados menos tempos de eventos, as análises podem sofrer de uma diminuição de potência. Finalmente, embora este método seja particularmente simples de implementar e possa fornecer informações suficientes em algumas configurações, isto é, se alguém está interessado em uma janela de tempo curto, deve-se notar que este método não está testando diretamente a suposição de PH, e uma parametrização diferente seria necessária para realizar tal teste.,o tempo mediano do evento foi de 4, 3 anos. Um modelo de Cox foi aplicada a censura, todos ainda em risco depois de 4,3 anos, enquanto apenas os assuntos ainda em risco além deste ponto, foram incluídos em outro modelo (arquivo Adicionais 2: Estimativa de taxas de risco (exp()) com 95% de intervalos de confiança (IC 95%) e p-valores para o modelo de covariáveis em duas independente Cox modelos para dois períodos de tempo diferentes.)., Todas as variáveis, mas a idade foi estatisticamente significativa no primeiro modelo como estado negativo receptor hormonal, estado positivo Her2 e estado positivo Mib1 foram associados a um risco aumentado de metástases. Em mulheres ainda em risco nos últimos 4, 3 anos, idade mais jovem, maior tamanho do tumor e envolvimento dos gânglios linfáticos foram associados a um risco aumentado de metástases. Os efeitos de outras variáveis desapareceram. Curiosamente, o estado negativo do receptor hormonal teve um efeito protector significativo neste segundo modelo (HR = 0.,5), enquanto a primeira análise sugeriu um aumento significativo do risco para (HR = 1, 7). Os testes para determinação da não proporcionalidade baseados nos resíduos cumulativos sugeriram um efeito persistente do grau, variável em função do tempo, para a análise limitada aos primeiros 4,3 anos.também é possível ter em conta a não proporcionalidade dividindo o eixo temporal proposto por Moreau et al. . O eixo do tempo é particionado e as razões de perigo são então estimadas dentro de cada intervalo. Assim, o teste da não proporcionalidade é equivalente ao teste se a HR específica em termos de tempo for significativamente diferente., Os resultados podem, no entanto , por vezes ser impulsionados pelo número de intervalos de tempo, e os intervalos de tempo devem, portanto, ser cuidadosamente selecionados.

abandonar a hipótese de perigos proporcionais, e como tal, o modelo Cox, é outra opção. Na verdade, outros modelos estatísticos poderosos estão disponíveis para explicar os efeitos variáveis no tempo, incluindo modelos aditivos, modelos acelerados de tempo de falha, modelos de regressão ou polinômios fracionários .,

finalmente, pode-se realizar uma análise estatística estratificada pela variável suspeita de ter um efeito variável no tempo; esta variável deve ser assim categórica ou ser categorizada. Cada estrato k tem um risco de referência distinto, mas valores comuns para o vector coeficiente β, Ou seja, o risco para um indivíduo no estrato k é hk(t) = estratificação de EXP(ßx) assume que as outras covariadas estão a agir da mesma forma em cada estrato, ou seja, HRs são semelhantes entre estratos., Embora a estratificação seja eficaz na eliminação do problema da não proporcionalidade e simples de implementar, tem algumas desvantagens. Mais importante ainda, a estratificação por uma variável não proporcional exclui a estimativa da sua resistência e do seu teste dentro do modelo Cox. Assim, esta abordagem deve ser escolhida se não estiver directamente interessado em quantificar o efeito da variável utilizada para estratificação., Além disso, um modelo de Cox estratificado pode levar a uma perda de energia, porque mais dos dados são usados para estimar funções de perigo separadas; este impacto dependerá do número de indivíduos e estratos . Se existem várias variáveis com riscos variáveis de tempo, isso exigiria que o modelo fosse estratificado sobre esses múltiplos fatores, que novamente é provável que diminua a potência global.

Deixe uma resposta

O seu endereço de email não será publicado. Campos obrigatórios marcados com *