Алгоритмы компрессии данных: принципы и эффективность

В современном информационном обществе объем данных стремительно растет, и с каждым годом все больше информации генерируется и обрабатывается. В связи с этим важным аспектом стало умение эффективно управлять данными, чтобы не только сохранить информацию, но и оптимизировать ее использование и передачу. Одним из основных инструментов для достижения этой цели является компрессия данных.

Читать статью

Нейронные сети

Небольшие ролики на тему того, как работают нейросети, что такое нейроные смещения, параметры, функции активации и как математика превращает изображения в скетчи.

1. Пытаюсь познакомиться
2. Рисунок из фотографии
3. Функция активации
4. Нейрон смещения
5. Простые эксперименты

Перейти к плейлисту

🔍 10 вопросов дата-сайентисту

Короткое интервью с дата-сайентистом Научно-Технического центра «Газпром нефти». В нём он делится всем, что знает про data science, big data, нейронные сети и даже немного затрагивает тему работы в «Газпроме».

Смотреть видео

Внимание — это все, что вам нужно

Это статья из Google Brain и Google Research, в которой изначально была предложена идея замены RNN-сетей в обработке естественного языка. В статье автор объяснил теоретическое устройство трансформера, а затем реализовал его в PyTorch.

Читать статью

❗️Целых два новых канала!

Хорошая новость для джавистов: мы запустили два канала, чтобы вам было еще проще практиковаться и готовиться к офферу мечты 💪

👉Библиотека Java для собеса — канал, в котором мы будем выкладывать наши уже традиционные вопросы с собеседований (и, конечно же, ответы на них)

👉Библиотека задач по Java — канал с задачами, тестами, квизами и, конечно, кодом

Бегом подписываться 🏃‍

Очередной #дайджест статей по Python разработке. Пригодится всем, кто работает с этим языком:
🐍 Хозяйке на заметку: автоматизируем рутинные процессы и экономим время
🐍 Слушаем и декодируем в реальном времени радиосигнал точного времени из интернета
🐍 Опенсорс-библиотеки для Python: 40+ вариантов, как упростить жизнь начинающего дата-сайентиста
🐍 Преобразование видео в мультфильм на python и cv2
🐍 Полезные материалы и инструменты для погружения в Flask: выбор сотрудников Selectel
🐍 Что же такое Django?
🐍 Binance API и Telegram бот с уведомлениями о сделках

Пользуетесь ли вы какими-либо иностранными новостными ресурсами по программированию на регулярной основе? Если да, то какими?
#интерактив

Важно: правила площадки❗️

1️⃣ За спам, рекламу, ботоводство, скам — бан и удаление всех комментариев

2️⃣ За оскорбления группы/канала/админа/других участников, политические дебаты — первый раз удаление, второй раз — профилактический бан на неделю, третий раз — бан

3️⃣ За ссылки на нелегальные ресурсы — первый раз удаление, второй раз — бан

Напоминаем, что написать нам можно сюда: @proglibrary_feedback_bot

Пожалуйста, соблюдайте правила — мы со своей стороны тоже будем стараться максимально оперативно модерировать комментарии.

🤖OpenAI собирает команду для разработки сверхразума — его хотят выпустить уже в этом десятилетии.

При этом в статье пишут, что ИИ необязательно будет благожелательно настроен к людям, так что готовимся к восстанию машин.

«В настоящее время у нас нет решения для управления потенциально сверхинтеллектуальным ИИ и предотвращения его выхода из-под контроля» — сказали в компании.

10 «Скайнетов» из 10.

Что думаете?
👾 — нас поработят машины
😁 — нас уже ничем не напугать

#новости #ИИ

Что такое закон больших чисел?

Это принцип теории вероятностей, который описывает результат выполнения одного и того же эксперимента множество раз.

При достаточно длительной серии экспериментов закон больших чисел гарантирует устойчивость средних значений от случайных событий. И среднее значение конечной выборки фиксированного распределения будет очень близко к математическому ожиданию выборки.

К примеру, при бросках шестигранного кубика. Чем больше бросков, тем больше среднее значение близится к математическому ожиданию 3,5.
#вопросы_с_собеседований

🍎Кстати, про восстание машин: посмотрите, как на ферме в Израиле дроны собирают яблоки, используя искусственный интеллект и машинное зрение

Эти летающие тарелки способны определить степень зрелости яблок, уровень содержания сахара в них и даже наличие болезней и червей. А еще машины на этой ферме опыляют соцветия вместо насекомых.

Ручной труд всегда будет востребован, говорили они.

#новости #ИИ

🐍 Самоучитель по Python для начинающих. Часть 24: Основы работы с NumPy

Покажем основные методы обработки многомерных массивов и научим делать простые фильтры для изображений. В конце статьи – 10 инженерных и экономических задач с решениями.

🔗 Основной сайт
🔗 Зеркало

Расскажите, какие YouTube-каналы смотрите по тематике программирования?
#интерактив

Циклический сдвиг списка на N элементов вправо

Выше приведено решение с помощью слайсов.
#код

🤖Собрали для вас нейросети для разработки (помимо Chat GPT) — сохраняйте и тестируйте⬇️

🔍Code Mentor оптимизирует и рефакторит код
🔍Copilot by GitHub помогает писать код и дополняет его своими предложениями
🔍ExplainDev обучает в процессе и помогает разобраться в коде
🔍GPT Engineer может всю работу сделать за вас — нужно только сказать, что хотите написать
🔍CodeT5 преобразовывает запрос в код и дописывает начатые функции
🔍Polycoder бесплатный помощник, который способен генерировать код на 12 языках программирования
🔍Tabnine дописывает код за вами — даже полноценные строчки (но только в платной версии)
🔍Mintlify пишет документацию и комментарии
🔍Cogram переводит запрос на язык баз данных и интегрируется со средой разработки Jupyter

Бонус:
👨‍🏫Agent GPT устанавливает в вашем браузере ИИ-агента, который помогает в выполнении поставленной задачи (можно использовать не только при разработке, но и при планировании путешествия и для других личных задач)

#дайджест

Обновленная демо-версия курса «Математика для Data Science»!

Получить ссылку на демо-доступ

Что изменилось:

🌟 Обновили вводный урок для курса, который записал наш CEO!

Артем (CEO Proglib Academy) сам учился в МГУ на факультете вычислительной математики и кибернетики, а также работал в сфере Data Science.

🌟 Добавили лекции со всеми преподавателями МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск.

Вы получите доступ ко всем лекциям сразу после оправки формы на сайте👇

Получить ссылку на демо-доступ

🔍+1 языковая модель: компания Anthropic, основанная бывшими сотрудниками OpenAI, выпустила Claude 2

Как и предыдущая ее версия, она умеет искать информацию по документам, писать тексты и отвечать на вопросы, причем законспектировать Claude 2 может 75 тысяч слов. Также модель справляется с вопросами из профессиональных экзаменов с несколькими вариантами ответов. Правда, пока не умеет искать информацию в интернете.

Сейчас воспользоваться Claude 2 могут жители США и Великобритании, России в релизном списке нет.

#новости

🐍🧱 ООП в Python: принципы SOLID для начинающих

В этой статье мы разберем значение и цели каждого принципа SOLID, а также применим принципы SOLID для рефакторинга.

🔗 Основной сайт
🔗 Зеркало

🔮 В CompTIA предсказали будущее айтишников и рассказали, к чему готовиться в ближайшие годы

Давайте немного «повангуем» и расскажем, какие тенденции наблюдаются в мире IT уже сейчас, и к чему они могут привести.

🔗 Основной сайт
🔗 Зеркало

Почему ReLU лучше и чаще используется в нейронных сетях, чем сигмоида?

Представьте сеть со случайно проинициализированными весами (или нормализованными). Почти 50% сети дает 0 после активации из-за ReLu (вывод 0 для отрицательных значений x). Это означает, что срабатывает меньше нейронов и сама сеть легче.
#вопросы_с_собеседований

Интересно понять, как нейросети работают изнутри? Есть наглядный учебник

Здесь представлена интерактивная визуализация устройства нейросетей. Всё объясняется по порядку от структуры, вычислительных узлов, до нейронов и слоёв. Пояснения очень доступные, хоть и на английском.

Сохраняй и делись с другом: https://mlu-explain.github.io/neural-networks/