Recentemente, descobri que o campo da avaliação de IA entrou em uma fase de alta maturidade e rápida iteração. Os testes de referência tradicionais (como MMLU, HumanEval) estão se aproximando da saturação, enquanto a nova geração de estruturas e métodos se concentra em habilidades do mundo real (agente, uso de computador, raciocínio multimodal), rigor estatístico, quantificação de incerteza, segurança/confiabilidade e desafios de contaminação/cauda longa. Antes testávamos grandes modelos, agora testamos Agentes de IA. Essas plataformas ajudam desenvolvedores e empresas a realizar testes de confiabilidade, precisão, custo, segurança e desempenho da IA em toda a cadeia, desde o desenvolvimento e iteração até a implantação em produção. A grok organizou uma lista das plataformas de avaliação de IA mais populares.