🎯 Нужно ли дообучать embedding-модель

(Спойлер: скорее всего, нет)

Прежде чем браться за fine-tuning, спросите себя:
❓ Проблема реально в нехватке доменных знаний, или же в настройке пайплайна.

Проверьте сначала:
😶 Какой метод чанкования используется? Попробуйте late chunking.
😶 Нужны ли точные совпадения по ключевым словам? Рассмотрите гибридный поиск.
😶 Текущая модель не ловит контекст? Возможно, поможет модель с большим числом измерений.

⚡️ Fine-tuning имеет смысл только тогда, когда модель реально проваливается именно на доменных семантических связях.

Как работает fine-tuning embedding-моделей:
😶 Используется контрастивное обучение, где положительные пары притягиваются, а отрицательные — отталкиваются.
😶 Популярные функции потерь:
→ Multiple Negatives Ranking Loss (простые пары, негативы берутся из батча)
→ Triplet Loss (требует аккуратно подобранных триплетов)
→ Cosine Embedding Loss (учёт градаций схожести)

💰 Хорошая новость: fine-tuning стоит значительно дешевле, чем pre-training. Достаточно 1k–5k качественных примеров для узких доменов и 10k+ для сложных терминологий.

➡️ Подробная статья по теме

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

📶 Как работает HNSW: секрет быстрой работы с векторами

Hierarchical navigable small world (HNSW) — алгоритм, лежащий в основе большинства современных векторных баз данных.

Разбираемся просто:

🏗 Построение индекса

HNSW создаёт иерархию слоёв графов:
— Верхние слои: только дальние связи
— Нижний слой: все векторы, плотные локальные связи

🔎На каждом следующем слое вниз добавляются больше векторов и коротких связей

🔍 Как работает поиск

Представьте это как путешествие:
— Верхний слой = дальний перелёт → приблизиться к цели
— Средние слои = поезд → попасть в нужный район
— Нижний слой = велосипед → достичь точного вектора

🔎 Каждый слой направляет поиск на следующем, пропуская нерелевантные данные без необходимости оценивать всё.

⚙️ Важные параметры
— maxConnections: плотность графа (больше = точнее, но медленнее)
— ef/efConstruction: размер «динамического списка» при поиске/индексации (больше = точнее, но медленнее)
— distance: метрика для сравнения векторов

💡 В итоге: HNSW — это многомерный skip-list, который быстро находит правильное «соседство» перед локальным детальным поиском. Именно поэтому он работает так быстро даже с миллиардами векторов.

🐸 Библиотека дата-сайентиста

#буст

📄 Новый релиз: PostgreSQL 18

PostgreSQL Global Development Group объявила релиз PostgreSQL 18 — новой версии самой продвинутой open-source базы данных в мире.

Основные улучшения:
— Новый асинхронный I/O — до 3× быстрее чтение с диска
— Быстрые апгрейды — сохраняются статистики планировщика, ускоряя работу после обновления
— Быстрее запросы — skip scan для B-tree, OR-оптимизация, параллельные сборки индексов
— Разработка проще — виртуальные generated columns, поддержка UUIDv7 для индексируемых UUID, temporal constraints
— Текст и поиск — новый PG_UNICODE_FAST collation, улучшенные LIKE и case-insensitive функции
— Безопасность — OAuth 2.0, SCRAM и SHA-2, TLS 1.3 шифры, deprecate md5

Репликация и наблюдаемость:
▶️ Логическая репликация с логами конфликтов
▶️ Параллельное применение транзакций
▶️ Расширенная статистика VACUUM и EXPLAIN ANALYZE

В целом, PostgreSQL 18 ускоряет работу с любыми нагрузками, упрощает апгрейды и делает разработку ещё удобнее.

🔗 Подробнее: https://clc.to/6TROGw

🐸 Библиотека дата-сайентиста

#свежак

🗺 Geographic Data Science с Python

Географическая дата-сайенс объединяет пространственный анализ, статистику и визуализацию для поиска скрытых закономерностей в данных.

Python стал стандартом в этой области благодаря мощным библиотекам:
➡️ GeoPandas — работа с shapefiles, GeoJSON, пространственные операции (оверлеи, буферизация, расстояния),
➡️ Matplotlib & Seaborn — от базовых графиков до наглядных теплокарт и сложных визуализаций,
➡️ scikit-learn — машинное обучение для геоданных: кластеризация, классификация, прогнозирование.

Применения:
🚩 анализ экологии и поиск «горячих точек» загрязнений,
🚩 исследование демографии и выявление неравенства,
🚩 городское планирование и смарт-инфраструктура.

➡️ Отличная книга, кому интересно направление

🐸 Библиотека дата-сайентиста

#буст

🚀 Полезная статья для тех, кто строит карьеру в ML

В материале рассказывается, как выстраивать карьеру шаг за шагом: развитие навыков, построение сети контактов, подготовка к процессу найма и долгосрочное планирование.

Что полезного:
🔤 Тактика и стратегия карьерного роста
🔤 Определение цели и план действий
🔤 Сети контактов и рефералы
🔤 Подготовка CV и интервью (программирование, системный дизайн, культура команды)
🔤 Домашние задания и онлайн-тесты
🔤 Психологические нюансы процесса найма

💓 Отличный ресурс для всех, кто хочет понять, как системно подходить к развитию карьеры в ML и LLM.

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово

🆕 Свежие новости для дата‑сайентистов

🔹 AI и мульти-модальные модели
— Qwen3-Omni — первый нативный end-to-end омни-модальный AI, объединяющий текст, изображения, аудио и видео без компромиссов между модальностями.
— Google Gemini 2.5 Flash и Flash-Lite — обновлённые модели DeepMind для Vertex AI и Google AI Studio с улучшенной скоростью и качеством. Flash-Lite экономит до 50% токенов при инференсе.
— Нативная аудио-модель Google — новая модель в Gemini Live API делает голосовых агентов более надёжными и способными корректно работать с пользователем.

🔹 Исследования и новые методы
— RLPT: Reinforcement Learning on Pretraining Data — новый подход, где LLM обучаются с использованием RL напрямую на данных претрейнинга, без ручной аннотации наград.
— GPT-oss и утечки данных — анализ весов GPT-oss показал возможное использование контента с adult-сайтов и частично данных с GitHub в обучении моделей семейства GPT-5.

🔹 Практика и инструменты ML
— Как работать с нейросетями эффективно — теоретические и практические рекомендации.
— Ускорение инференса ML-моделей — советы по оптимизации без лишних затрат.
— In-context learning без тренировки — статья про имплицитную динамику обучения в контексте.
— Алгоритм Isolation Forest — метод поиска аномалий в данных.
— Опрос для data-специалистов — про стек, зарплаты и трудности работы.
— Лучшие ML-фреймворки 2025 года — обзор актуальных инструментов для разработки моделей.
— Финетюнинг без греха — как безопасно кастомизировать AI и не сломать его.

🐸 Библиотека дата-сайентиста

#свежак

🐸 Библиотека задач по Data Science

🧩 Тонкости гиперпараметрического тюнинга

Хотите ускорить обучение XGBoost в 5–15 раз и при этом находить лучшие гиперпараметры?

В свежем видео показывают:
➡️ как использовать Optuna для автоматического тюнинга XGBoost,
➡️ почему кросс-валидация критична для реальных задач,
➡️ какие приёмы тюнинга реально работают,
➡️ и как визуализации Optuna помогают выявлять самые важные гиперпараметры.

Особый акцент — на GPU-ускорении XGBoost 3.0, которое радикально сокращает время экспериментов в табличных задачах.

🔗 Ссылка на туториал

🐸 Библиотека дата-сайентиста

#буст

🐸 Библиотека дата-сайентиста

#развлекалово