🚀 Grok 2.5 теперь можно запускать локально!

Unsloth выкатили оптимизированную версию модели:

🔹 270B параметров работает на обычном Mac с 128GB RAM (~5 токенов/сек)
🔹 Размер уменьшен с 539GB до 118GB (–80%)
🔹 Ключевые слои модели сохранены в 8-битном формате, а все остальные сжаты с помощью динамического 3-битного GGUF.

🟢Гайд: https://docs.unsloth.ai/basics/grok-2
🟢 GGUF: https://huggingface.co/unsloth/grok-2-GGUF

@ai_machinelearning_big_data

#AI #xAI #Grok2 #LLM #OpenSource #MachineLearning #DeepLearning