Analista de Teste Pleno

O profissional como QA - Analista de Qualidade será responsável por garantir que agentes de IA e soluções de IA Generativa entreguem respostas precisas, seguras, relevantes e alinhadas às regras de negócio e diretrizes da organização, através da definição de estratégias de teste, validação contínua e monitoramento da qualidade das soluções.

Principais responsabilidades:
1. Definir a estratégia e os casos de teste dos agentes de IA (testes funcionais e de qualidade de resposta).
2. Avaliar acurácia, relevância, tom, alucinações e aderência aos guardrails dos agentes.
3. Criar datasets de avaliação e métricas de qualidade (ex.: groundedness, precisão e cobertura).
4. Testar fluxos construídos no Copilot Studio e no Power Automate.
5. Conduzir testes de segurança e de conteúdo (red-teaming básico).
6. Documentar defeitos, acompanhar correções e validar as entregas antes de cada publicação.
7. Criar documentação técnica e funcional.
8. Avaliar novas tecnologias (OpenAI, Anthropic, LangChain, CrewAI, etc.).

Requisitos Técnicos:
1. Experiência com QA / testes de software (manual e/ou automatizado).
2. Conhecimento em LLMs, orquestração de agentes e desenvolvimento low-code.
3. Entendimento de IA generativa e das limitações dos LLMs.
4. Experiência com frameworks de agentes (LangChain, LangGraph ou similares).
5. Experiência com arquiteturas multiagentes.
6. Capacidade de estruturar critérios de avaliação e casos de teste.
7. Disponibilidade para modelo híbrido em São Paulo (região Chácara Santo Antônio).

Diferencial:
8. Conhecimento em Azure AI Foundry (recursos de avaliação de modelos).
9. Vivência com ferramentas de avaliação de LLM (evals) e automação de testes.
10. Noções de prompt engineering e experiência com Databricks.

Habilidades Comportamentais:
1. Perfil consultivo e colaborativo.
2. Pensamento Crítico: Capacidade de questionar respostas geradas pela IA, identificar inconsistências e antecipar da publicação

 Modalidade: Hibrido - CLT

Localidade: Chácara de Santo Antônio  SP ( 2x)