Engenheiro(a) de Avaliação e Qualidade de LLM
Construir a régua. Sem ela, todo mundo acha que melhorou.
Você monta a infraestrutura de avaliação: conjuntos de teste, juízes automáticos calibrados contra julgamento humano, detecção de regressão e o painel que mostra se a mudança de ontem piorou alguma coisa.
SOBRE A TELI
Somos uma empresa brasileira de tecnologia em saúde. Operamos telemedicina de verdade — vídeo por WebRTC próprio, transcrição rodando no navegador, prontuário assistido por IA — e temos software registrado no INPI. Não é laboratório de slide: o que você construir vai atender paciente.
Trabalho 100% remoto, contratação PJ, time pequeno e sem camada de gerência entre você e a decisão. Acessibilidade não é enfeite aqui: nossos produtos precisam funcionar com leitor de tela de verdade, e isso é critério de aceite.
Não exigimos diploma nem currículo bonito. Se você não tem currículo mas tem o que mostrar, use o campo "conte sua história" na candidatura — a gente lê.
O que você vai fazer
- Construir e manter conjuntos de avaliação e juízes automáticos.
- Calibrar avaliação automática contra julgamento humano.
- Detectar regressão antes da implantação.
- Publicar resultados de forma legível para o time inteiro.
Requisitos
- Experiência com avaliação de modelos de linguagem.
- Python e estatística aplicada.
- Ceticismo saudável com métrica bonita.
Diferenciais
- Experiência com anotação humana em escala.
Não tem currículo formal? Use o campo “conte sua história”. A gente lê.