Para Professores: Como Ensinar Avaliação de Modelos e Agentes, MLOps e LLMOps

Formação docente completa para quem vai assumir a disciplina: o conteúdo inteiro da ementa explicado do zero, com analogias da sala de aula, atividades prontas e plano de ensino.

Curso gratuito para professores (inclusive vindos do ensino médio) que vão ensinar Avaliação de Modelos e Agentes, MLOps e LLMOps. Parte de algo que todo professor já domina, avaliar aprendizagem, e constrói a partir daí cada tópico da ementa: requisitos, baseline e conjuntos de dados; métricas de classificação, regressão, ranking e calibração; avaliação de LLMs, RAG e agentes; LLM-as-a-judge e benchmarks; MLOps e LLMOps, de versionamento a rollback; e governança com NIST AI RMF, ISO/IEC 42001 e o Model & Agent Evaluation Card. Cada módulo traz o conteúdo, o jeito de explicar, os erros comuns dos alunos, uma prática e um quiz. O último módulo entrega o plano de ensino, as atividades e a avaliação da disciplina.

O que você vai conseguir fazer

• Explicar o ciclo de vida de sistemas de machine learning, modelos generativos e agentes, da definição da tarefa ao rollback
• Desenhar uma avaliação: definir tarefa, requisitos e baseline, e separar treino, validação e teste sem vazamento de dados
• Calcular e interpretar métricas de classificação, regressão, ranking e calibração, com intervalos de incerteza e análise de erros
• Avaliar LLMs quanto a capacidade, factualidade, alucinação, robustez, segurança, viés, toxicidade, latência e custo
• Avaliar RAG (recuperação, relevância do contexto, faithfulness, groundedness) e agentes (sucesso, trajetória, ferramentas, memória, permissões, custo)
• Usar e criticar avaliação humana, LLM-as-a-judge, rubricas e benchmarks, reconhecendo os limites de validade externa
• Explicar MLOps e LLMOps: experiment tracking, versionamento, CI/CD/CT, deployment, monitoramento, drift, retraining e rollback
• Conduzir governança operacional e orientar alunos a produzir um Model & Agent Evaluation Card com critérios de go/no-go
• Planejar e conduzir a disciplina: plano de ensino, atividades desplugadas e práticas, rubrica de avaliação e respostas às dúvidas difíceis

Para quem é

Professores que vão ministrar a disciplina Avaliação de Modelos e Agentes, MLOps e LLMOps, em especial quem vem do ensino médio (Matemática, Física, Informática, cursos técnicos) e precisa dominar o conteúdo e a didática ao mesmo tempo. Serve também para coordenadores pedagógicos que precisam entender a disciplina para acompanhar o professor.

Pré-requisitos

Matemática do ensino médio (frações, porcentagem, média, raiz quadrada) e familiaridade com planilhas. Não é preciso saber programar: as práticas usam Google Planilhas e, opcionalmente, Google Colab. Quem nunca estudou machine learning pode fazer antes o curso gratuito Fundamentos de Machine Learning, mas o módulo 1 já cobre o essencial.

Conteúdo

• Antes de ensinar: o mapa da disciplina — A ponte entre a sala de aula e a IA em produção — 4h
• Requisitos, baseline e desenho da avaliação — Conteúdo Programático 1, parte A — 5h
• Métricas de modelos tradicionais — Conteúdo Programático 1, parte B — 6h
• Avaliando LLMs: capacidade, verdade, segurança e custo — Conteúdo Programático 2, parte A — 6h
• Avaliando RAG e agentes — Conteúdo Programático 2, parte B — 6h
• MLOps e LLMOps: do experimento à operação — Conteúdo Programático 3 — 7h
• Governança operacional e o Model & Agent Evaluation Card — Conteúdo Programático 4 — 5h
• Como ensinar esta disciplina — Plano de ensino, atividades, avaliação e dúvidas difíceis — 7h

Giselle Falcão, PhD — Consultora e pesquisadora em Inteligência Artificial e Ciência de Dados.