Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.5K subscribers
2.37K photos
119 videos
64 files
4.81K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
Очередной #дайджест по Python:

✍️ Как сделать контекстное окно на 100K в большой языковой модели: обо всех фокусах в одном посте
В статье рассмотрены приёмы, позволяющие ускорить обучение больших языковых моделей (LLM) и нарастить в них логический вывод.

✍️ Как получить доступ к данным Ethereum смарт-контракта в real-time из Python
Автор рассказывает про инструменты для доступа к данным на блокчейне, которые "больше похожи на хирургический скальпель (сабграфы The Graph), чем на швейцарский нож (доступ к RPC ноде) или, скажем, молоток (готовые API от компаний-разработчиков)".

✍️ Асинхронные микросервисы на Python
Микросервисы — это парадигма, где приложение разбивается на небольшие независимые компоненты, каждый из которых отвечает за конкретную функцию. Это как отделы в офисе, каждый офис — это отдельный сервис, который может быть разработан, масштабирован и развернут независимо.

✍️ Как Python упрощает жизнь тестировщикам КОМПАС-3D
Александр Логунов, инженер по тестированию КОМПАС-3D, рассказывает, как при минимальных усилиях облегчить тестирование с помощью инструментов Python, а также приводит примеры уже реализованных задач.

✍️ Быстрые дашборды на Python с помощью DashExpress
Эта статья для тех, кто ищет простой и быстрый способ делать полноценные дашборды на python и ad-hoc дашборды прямо в jupiter notebook. А так же для всех, кто интерсуется Plotly Dash.
👍4🔥31
Обучение ИИ стало в 20 раз быстрее

Ученые из Tinkoff Research открыли новый алгоритм для обучения ИИ. Метод, названный SAC-RND, обучает роботов в 20 раз быстрее и на 10% качественнее всех существующих аналогов — такие результаты показало тестирование метода на робототехнических симуляторах.

Читать статью
🔥4👍1
Forwarded from Библиотека программиста | программирование, кодинг, разработка
🐍🎸 Курс Django: Веб-приложение на основе XLSX вместо базы данных

Покажем, как Django работает с файлами JSON, CSV, YAML, XLSX, разберемся с настройками media, и напишем приложение, которое использует XLSX (или Google Sheets) для загрузки данных.

🔗 Читать статью
🔗 Зеркало
👍5
В чем разница между методами экземпляра, класса и статическими методами в Python?

Методы экземпляра: принимают параметр self и относятся к определенному экземпляру класса.

Статические методы: используют декоратор @staticmethod, не связаны с конкретным экземпляром и являются автономными (атрибуты класса или экземпляра не изменяются).

Методы класса: принимают параметр cls, можно изменить сам класс.
#вопросы_с_собеседований
👍6
Forwarded from Библиотека программиста | программирование, кодинг, разработка
🐼 ТОП-5 функций Pandas 2.0: Data Science специалисты отправятся «в утиль»?

Все новые функции в Pandas 2.0 для анализа данных. Опробуем на популярных пакетах: ydata-profiling, matplotlib, seaborn и scikit-learn.

🔗 Читать статью
🔗 Зеркало
👍8
Seldon в MLops-инфраструктуре beeline business

В этой статье затронута тема организации процессов Machine Learning Operations (MLops) в beeline business, особое внимание уделено тестированию моделей машинного обучения.

Читать статью
Очередной #дайджест по Python:

🐍 Менеджеры контекста в Python
Самый простой и красивый способ написать менеджер контекста – это воспользоваться декоратором функции @contextmanager, написав функцию как генератор.

🐍 Что происходит, когда запускаешь «Hello World» в Linux

🐍 Как Python использует сборку мусора для эффективного управления памятью
В Python мы часто думаем о переменной как о метке для значения. Однако, если говорить точнее, то переменная на самом деле указывает на объект, который хранит значение.

🐍 Как правильно дифференцировать дискретные функции
Под термином численное дифференцирование часто понимают три разные вещи (цитата по numdifftools) — символьное (символическое) дифференцирование, вычисление производной от функции, заданной аналитически, и вычисление производной от функции, заданной набором данных.

🐍 Я люблю питон, и вот почему он меня бесит
👍3
30802543.pdf
337.8 KB
Шпаргалка по pandas, библиотеке на языке Python для обработки и анализа данных
👍14🔥5
Построение горизонтальной гистограммы с помощью seaborn

Слева представлен код для построения гистограммы, справа результат работы нашей программы.
#код
😁6👾2👍1🤯1
Прямой подход

Эмпирические законы масштабирования могут помочь предсказать потерю перекрестной энтропии, связанную с входными данными для обучения, такими как вычисления и данные. Однако, чтобы предсказать, когда ИИ достигнет некоторого субъективного уровня производительности, необходимо разработать способ интерпретации кросс-энтропийной потери модели.

Читать статью
В чем разница между func и func()?

Вопрос должен проверить ваше понимание, что все функции в Python также являются объектами:

def func():
print('Im a function')

func
#=> function __main__.func>
func()
#=> Im a function

func — это представляющий функцию объект, который можно назначить переменной или передать другой функции. Функция func() с круглыми скобками вызывает функцию и возвращает результат.
#вопросы_с_собеседований
👍6
✍️«Библиотека программиста» собирает кейсы использования нейросетей

Какие самые необычные задачи вы выполняли с помощью нейросетей? Может быть, вы просили ИИ пройти тестирование по правилам безопасности или писали с его помощью заявление на увольнение?

Заполняйте форму — лучшие истории появятся в нашей подборке по теме.

👉Ссылка тут👈
Лама с нуля (или как реализовать бумажку без слез)

О реализации значительно уменьшенной версии Llama для обучения TinyShakespeare.

Читать статью
👍6😁1
Функции обработки данных

Этот репозиторий содержит примеры пакетов::functions(), которые обычно используются при обработке данных исследований в области образования.

Открыть репозиторий
👍1
Очередной #дайджест по Python:

🐍 Работа с SQLite в Python (для чайников)
В статье раскрываются все основные аспекты использования SQLite, начиная с установки и создания базы данных, и заканчивая выполнением сложных запросов и управлением транзакциями.

🐍 Обучение YOLOv8s на Google Colab: детектим дорожные знаки
Учимся детектить дорожные знаки, используя YOLOv8.

🐍 Просто добавь команд: как реализовать диалоговый Телеграм бот на основе шаблона
Как быстро создать инфраструктуру для диалогового бота на основе Yandex Serverless Functions и базы данных YDB.

🐍 Разработка событийно-ориентированных микросервисов с помощью Python
О нюансах разработки событийно-ориентированных микросервисов на Python.

🐍 Из пет-проекта в источник дохода: как я создал чат-бот для поиска вакансий
Рассказ о техническом устройстве бота и не только.
3👍2🔥1
Какое мероприятие по разработке вы посещали последним и будете ли на нем в следующий раз?
#интерактив

Кстати, на нашем сайте есть раздел с анонсами мероприятий по программированию.
Самые полезные каналы для программистов в одной подборке!

Сохраняйте себе, чтобы не потерять 💾

🔥Для всех

Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы

☕️Java

Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков

👾Data Science

Библиотека Data Science — полезные статьи, новости и обучающие материалы
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту

🧠C++

Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++

💻Другие профильные каналы

Библиотека фронтендера
Библиотека шарписта
Библиотека Go разработчика
Библиотека мобильного разработчика
Библиотека хакера
Библиотека питониста
Библиотека devops’a
Библиотека тестировщика
Библиотека пхпшника

💼Каналы с вакансиями

Вакансии по питону, Django, Flask
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии по C#, .NET, Unity
Вакансии по Go
Вакансии по PHP, Symfony, Laravel
Вакансии по DevOps & SRE
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
1🔥1
«Библиотека программиста» в поиске контент-менеджера для ведения телеграм-каналов

Ищем человека, который грамотно пишет, разбирается в контенте и в одной из этих трех тем:
👉Data Science
👉Frontend
👉мобильная разработка

Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴

Подробнее о вакансии и форма для отклика — по ссылке.

Ждем вас в команде!
👍4