🚀 SakanaAI представил Robust Agentic CUDA Kernel Optimization

Это новый подход, где LLM помогает оптимизировать CUDA-ядра для PyTorch.

• Слияние операций ускоряет forward/backward-проходы, результаты выше стандартных Torch-базлайнов
• Полный пайплайн: PyTorch → генерация CUDA-кода → эволюционная оптимизация во время работы
• Проверка через LLM: модели автоматически отмечают неправильные ядра (дает +30% к производительности)
• robust-kbench — собственный бенчмарк, где измеряют не только скорость, но и корректность работы LLM

Авторы пишут о 2.5x ускорении над PyTorch eager и даже 6x в линейных операциях ❗️

Но большинство примеров — это тесты на слияние операций с неотюненной базой, так что цифры спорные.

К тому же PyTorch 2.5 уже внедряет похожие оптимизации ), поэтому такие рекорды могут быстро обесцениться.

Это интересный подход к самообучающимся AI-компиляторам, но заявленные ускорения стоит проверять на праактике.

🟢Github: https://github.com/SakanaAI/robust-kbench
🟢Статья: https://arxiv.org/abs/2509.14279

@ai_machinelearning_big_data


#AI #CUDA #PyTorch #SakanaAI #LLM #Optimizatio