✔️ ttt-rl (Tic-Tac-Toe Reinforcement Learning)

🎯 Суть проекта
Это эксперимент по обучению с подкреплением (Reinforcement Learning, RL), где агент учится играть в крестики-нолики (Tic-Tac-Toe) без использования сложных алгоритмов на чистом С.

Основная цель — продемонстрировать, как классические методы RL справляются с простыми играми.

🔥 Чем интересен?
Минимализм и простота
▪ Весь код написан на чистом C (~400 строк).
▪ Нет зависимостей — только стандартная библиотека.
▪ Идеален для изучения основ RL «с нуля».

Классический подход к RL
▪ Используется метод Temporal Difference (TD) Learnin
▪ Агент обучается через игру (self-play) и обновляет стратегию на основе наград.

Образовательная ценность
▪ Понятная визуализация процесса обучения (таблицы Q-значений).
▪ Пример того, как простая задача помогает понять фундамент RL.

Эффективность
▪ После обучения агент играет почти оптимально, избегая поражений.
▪ Код легко модифицировать для экспериментов (например, изменить размер доски).

📊 Как это работает?
Q-таблица хранит «ценность» каждого действия в конкретном состоянии.

Агент выбирает ход на основе текущих Q-значений (с добавлением случайности для исследования).


P.S. Если вы думаете, что RL — это только про AlphaGo и Dota 2, этот проект покажет, что даже в простых задачах есть глубина! 🧠

▪ Github

@ai_machinelearning_big_data


#rl #ml #ai #tutorial

📌Реализация многоязычной системы перевода с T5 и Transformers.

Небольшая статья, которая погружает в создание системы машинного перевода на базе модели T5, сочетая теорию с практикой: как настроить пайплайн перевода, генерировать альтернативные варианты и оценивать их через BLEU-метрику. Гайд балансирует между технической детализацией и понятным языком. Советы по установке библиотек, обработке ошибок и ссылки на документацию сэкономят время тем, кто только начинает работать с Transformers.

Примеры кода на Python, разбор параметров num_beams, length_penalty и честные замечания о слабых местах модели (проблемы с испанским) будут полезны для разработчиков, которые хотят быстро внедрить перевод в свои проекты.

Помимо базовой настройки есть объяснение, как расширить функционал: например, модифицировать метод translate() для вывода нескольких вариантов перевода с оценкой уверенности модели, как работает beam search и переходные вероятности.

Качество перевода — больная тема для NLP, и автор не идеализирует T5. Он показывает расхождения между внутренними баллами модели и объективной оценкой BLEU: даже высокие вероятности токенов не гарантируют точный перевод. Единственный минус — нет сравнения T5 с другими моделями (mBART). Но даже в таком виде статья - мастрид для всех, кто работает с мультиязычным NLP.


🔜 Читать полную статью

@ai_machinelearning_big_data

#tutorial

📌Тренируем LoRA: эффективный тюнинг LLM в гайде от Unsloth.

Добиться от LLM нужного поведения - задача нетривиальная, особенно в тонкой настройке с помощью LoRA.

LoRA позволяет адаптировать модель под конкретные задачи, не переобучая ее целиком, но результат сильно зависит от правильно подобранных гиперпараметров. Небольшой, но очень полезный гайд от Unsloth - ваш гид по основным настройкам LoRA, которые помогут повысить точность, стабильность и качество, попутно снижая риск галлюцинаций и переобучения.

Успешное обучение - это, прежде всего, баланс. Слишком высокая скорость обучения может ускорить начальное обучение, но рискует дестабилизировать модель или привести к пропускам оптимальных решений. Слишком низкая замедлит процесс и, как ни странно, тоже помешает обучению или переобучит вашу LoRa. Оптимальный диапазон обычно лежит между 1e-4 и 5e-5.

Аналогично с эпохами: прогонять данные слишком много раз значит рисковать тем, что модель просто "зазубрит" датасет, потеряв способность к обобщению. Недобор эпох грозит недообучением, это когда модель так и не улавливает нужные паттерны.

Но вот, вы разобрались с эпохами и скоростью обучения и добрались до специфичных параметров LoRA, например - ранг. Это один из ключевых параметров, он определяет размерность "адаптеров", добавляемых к модели.

Больший ранг дает больше "места" для обучения, но требует больше памяти и времени. Следующий после ранга: lora_alpha. Это своего рода усилитель для этих адаптеров. Часто его ставят равным рангу или удваивают, чтобы усилить влияние дообученных весов.

Unsloth предлагает в своих ноутбуках отличные дефолтные параметры, основанные на большом накопленном опыте файнтюна моделей и предлагает проверенные решения для управления ресурсами и стабильностью.

Подбор гиперпараметров — это всегда итеративный процесс. Экспериментируйте, сверяйтесь с лучшими практиками, и тогда ваши дообученные модели покажут наилучшие результаты.

🔜 Читать гайд полностью


#AI #ML #LLM #Tutorial #LoRA #Unsloth