📈 Вышел новый важный бенчмарк для исследовательских ИИ

LiveResearchBench - это *живой пользовательский бенчмарк* для оценки глубинных исследовательских систем на реальных, «полевых» задачах.

Он проверяет, могут ли исследовательские агенты создавать отчеты с корректными цитатами под реальные запросы пользователей. Всего собрано *100 задач в 7 доменах и 10 категориях*, на разработку ушло 1500 часов работы экспертов.

Старые бенчмарки устарели, были узкими и часто пересекались с данными предобучения.
Поэтому авторы ввели 4 строгих правила:
- задачи должны быть ориентированы на пользователя
- четко определены
- использовать актуальные данные из интернета
- требовать синтеза информации из множества источников

Каждая задача проходила 6 стадий создания (от интервью с пользователями до экспертной доработки) и 5 стадий проверки качества (независимые ревью и контроль качества).

Для оценки результатов создан фреймворк DeepEval, который оценивает отчеты по 6 критериям: структура, фактическая точность, корректность цитирования и др.
Используются чек-листы, парные сравнения и древовидные рубрики.

Для снижения смещения авторы использовали ансамбль моделей Gemini 2.5 Pro и GPT-5 как оценщиков, что сделало результаты стабильнее.

Тесты 17 агентных систем показали:
- мультиагентные решения лучше оформляют отчеты и ставят цитаты
- одиночные агенты стабильнее, но уступают в глубине рассуждений

Это важный шаг к тому, чтобы измерять, могут ли ИИ-агенты работать как настоящие исследователи - находить, анализировать и цитировать информацию из живых источников.

🔗 https://arxiv.org/abs/2510.14240

📘 На Stepik вышел курс — «MLOps-инженер: С нуля до продакшена»

Хотите автоматизировать ML-пайплайны, версионировать модели и выстраивать надёжный деплой в production? Этот курс — полный путь MLOps-инженера.

ML Pipeline: MLflow, Airflow, автоматизация обучения и валидации моделей
Эксперименты: DVC, Weights & Biases, версионирование и воспроизводимость
Model Serving: TensorFlow Serving, ONNX, A/B тестирование моделей
Контейнеризация: Docker для ML, GPU-контейнеры, оптимизация образов
Kubernetes: Kubeflow, автомасштабирование inference
Feature Store: Feast, управление фичами, data drift detection
Мониторинг: Evidently AI, model drift, data quality
CI/CD для ML: автотесты моделей, staged rollout
Облака: SageMaker, Vertex AI, cost optimization
Production: model registry, canary deployments, SLA для ML

🎓 Сертификат — добавьте в резюме или LinkedIn

🚀 Скидка 25%, действует 48 часов

👉 Пройти курс на Stepik

Илон Маск написал у себя в X:

«У Grok 5 примерно 10 % шансов стать AGI - и он может оказаться очень близок к этому уровню.»

Большинство разногласий вокруг сроков появления AGI сводятся к тому, как именно его определяют.

Например, по последнему мнению Андрея Карпатия, настоящая AGI — это не просто языковая модель, а интеллект с телом: продвинутые роботы, способные выполнять физическую работу и даже решать проблему согласования (alignment).

Если придерживаться такого определения, то даже 10 лет - слишком оптимистичный прогноз.

Uber запускает новый способ заработка для водителей в США 💰

Теперь водители смогут получать деньги, выполняя «цифровые задачи» — короткие задания, которые занимают всего пару минут и доступны даже во время ожидания пассажиров.

Примеры таких задач:
▫️ разметка данных для обучения ИИ
▫️ загрузка меню ресторанов
▫️ запись голосовых сэмплов
▫️ озвучка сценариев на разных языках

Потенциал огромен: компании вроде Scale AI и Surge AI, занимающиеся разметкой данных, уже оцениваются примерно в $30 млрд каждая.

В начале октября Uber также приобрёл бельгийский стартап Segments AI, специализирующийся на разметке данных, чтобы усилить свои позиции в этой сфере.