ИИ и Работа с ним | NOTA
#pandas
Канал
22
подписчика
46
ссылок
Ежедневный дайджест самых интересных статей про AI и машинное обучение.
По всем вопросам: @nota_admin
Что почитать сегодня – NOTA AI/ML Daily Digest.
1. Дизайн классов: что такое хорошо?
Автор статьи делится опытом проектирования классов и предлагает советы, которые помогут избегать типичных ошибок. Рассматриваются вопросы атомарности контракта классов, необходимости чистоты кода и управления зависимостями между классами, а также вреда от злоупотребления шаблонами проектирования. Статья акцентирует внимание на важности простоты и понятности кода, что облегчает его поддержку и развитие, и предлагает конкретные методики для достижения этих целей.
https://habr.com/ru/companies/dataart/articles/443756/
————————————————————
2. Named Entity Recognition Program Evaluations
Статья представляет обзор оценки моделей распознавания именованных сущностей (NER) для коммерческих NLP-продуктов. Команда Anno.Ai провела анализ NER-сервисов от разных провайдеров, включая AWS Comprehend и Microsoft Azure Cognitive Services. Оценка базировалась на наборе данных Ontonotes и включала сравнение точности, полноты и F1-меры. Финч выделилась среди других сервисов за счет последовательной производительности и расширенных возможностей обогащения данных.
https://anno-ai.medium.com/anno-ai-people-places-things-named-entity-recognition-9c1bb52c2ba7
————————————————————
3. A Thorough Intro to Pandas for Data Analysis II
Статья является продолжением вводного руководства по использованию Pandas для анализа данных. В ней подробно рассматриваются методы инспекции, фильтрации и редактирования данных с использованием структур данных Series и DataFrame. Объясняются функции для импорта и экспорта данных, методы для первичного осмотра набора данных, а также детально описываются способы выбора и фильтрации частей данных с применением оператора индексации, loc и iloc. Автор делится советами и лучшими практиками для работы с библиотекой Pandas.
https://battox.medium.com/a-thorough-intro-to-pandas-for-data-analysis-ii-d09cbbf67cd
————————————————————
Теги:
#algorithms #nlp #pandas
1. Дизайн классов: что такое хорошо?
Автор статьи делится опытом проектирования классов и предлагает советы, которые помогут избегать типичных ошибок. Рассматриваются вопросы атомарности контракта классов, необходимости чистоты кода и управления зависимостями между классами, а также вреда от злоупотребления шаблонами проектирования. Статья акцентирует внимание на важности простоты и понятности кода, что облегчает его поддержку и развитие, и предлагает конкретные методики для достижения этих целей.
https://habr.com/ru/companies/dataart/articles/443756/
————————————————————
2. Named Entity Recognition Program Evaluations
Статья представляет обзор оценки моделей распознавания именованных сущностей (NER) для коммерческих NLP-продуктов. Команда Anno.Ai провела анализ NER-сервисов от разных провайдеров, включая AWS Comprehend и Microsoft Azure Cognitive Services. Оценка базировалась на наборе данных Ontonotes и включала сравнение точности, полноты и F1-меры. Финч выделилась среди других сервисов за счет последовательной производительности и расширенных возможностей обогащения данных.
https://anno-ai.medium.com/anno-ai-people-places-things-named-entity-recognition-9c1bb52c2ba7
————————————————————
3. A Thorough Intro to Pandas for Data Analysis II
Статья является продолжением вводного руководства по использованию Pandas для анализа данных. В ней подробно рассматриваются методы инспекции, фильтрации и редактирования данных с использованием структур данных Series и DataFrame. Объясняются функции для импорта и экспорта данных, методы для первичного осмотра набора данных, а также детально описываются способы выбора и фильтрации частей данных с применением оператора индексации, loc и iloc. Автор делится советами и лучшими практиками для работы с библиотекой Pandas.
https://battox.medium.com/a-thorough-intro-to-pandas-for-data-analysis-ii-d09cbbf67cd
————————————————————
Теги:
#algorithms #nlp #pandas
Что почитать сегодня – NOTA AI/ML Daily Digest.
1. Про performance review в командах разработки
Статья обсуждает процесс performance review в IT-командах и его значение для эффективности и мотивации сотрудников. Автор делится опытом внедрения такой системы оценки в свои команды и рассказывает, как это помогает разработчикам понимать пути роста в компании. Описывается важность ценностей компании, роль лидерства, и как проведение регулярных ревью помогает улучшать взаимодействие внутри команд и поддерживать мотивацию сотрудников для достижения лучших результатов.
https://tellmeabout.tech/performance-review-basics-20793141f4c5
————————————————————
2. Pandas DataFrame With Examples. What is Pandas?
Статья рассказывает о библиотеке Pandas, широко используемой для работы со структурированными табличными данными на Python, включая машинное обучение и проекты по анализу данных. Объясняются основы создания и трансформации DataFrame в Pandas, в том числе загрузка данных из различных форматов и проведение статистических расчетов. Автор предоставляет четкие примеры кода, иллюстрирующие основные функции Pandas, такие как count, max, mean, median, min, std и демонстрирует их применение на практическом примере.
https://medium.com/@koushikadgiri2014/pandas-dataframe-with-examples-2d4c52b849d1
————————————————————
3. Improved Scripting Practices — Python
Статья посвящена улучшению практик написания скриптов на Python, включая советы по использованию абсолютных и относительных путей, улучшении логирования с помощью TimedRotatingFileHandler и использованию конфигурационных файлов для упрощения изменения скриптов. Автор делится собственным опытом оптимизации скриптов, предлагая конкретные примеры и решения, которые помогут начинающим разработчикам повысить качество и эффективность их Python-кода.
https://udayabharathi.medium.com/improved-scripting-practices-python-643571259f7f
————————————————————
Теги:
#softskills #python #pandas
1. Про performance review в командах разработки
Статья обсуждает процесс performance review в IT-командах и его значение для эффективности и мотивации сотрудников. Автор делится опытом внедрения такой системы оценки в свои команды и рассказывает, как это помогает разработчикам понимать пути роста в компании. Описывается важность ценностей компании, роль лидерства, и как проведение регулярных ревью помогает улучшать взаимодействие внутри команд и поддерживать мотивацию сотрудников для достижения лучших результатов.
https://tellmeabout.tech/performance-review-basics-20793141f4c5
————————————————————
2. Pandas DataFrame With Examples. What is Pandas?
Статья рассказывает о библиотеке Pandas, широко используемой для работы со структурированными табличными данными на Python, включая машинное обучение и проекты по анализу данных. Объясняются основы создания и трансформации DataFrame в Pandas, в том числе загрузка данных из различных форматов и проведение статистических расчетов. Автор предоставляет четкие примеры кода, иллюстрирующие основные функции Pandas, такие как count, max, mean, median, min, std и демонстрирует их применение на практическом примере.
https://medium.com/@koushikadgiri2014/pandas-dataframe-with-examples-2d4c52b849d1
————————————————————
3. Improved Scripting Practices — Python
Статья посвящена улучшению практик написания скриптов на Python, включая советы по использованию абсолютных и относительных путей, улучшении логирования с помощью TimedRotatingFileHandler и использованию конфигурационных файлов для упрощения изменения скриптов. Автор делится собственным опытом оптимизации скриптов, предлагая конкретные примеры и решения, которые помогут начинающим разработчикам повысить качество и эффективность их Python-кода.
https://udayabharathi.medium.com/improved-scripting-practices-python-643571259f7f
————————————————————
Теги:
#softskills #python #pandas
Что почитать сегодня – NOTA AI/ML Daily Digest.
1. Неоплатонизм и информатика
Статья рассматривает использование идей Платона о существовании идеальных форм в информатике, машинном обучении и нейронных сетях. Автор сравнивает моделирование идеальных объектов на компьютере с концепцией Платона об абстрактном мире идей.
https://habr.com/ru/articles/669668/
————————————————————
2. Alexandru Agachi on “Handling Missing Data in Python/Pandas” at ODSC Europe 2018
Статья описывает доклад Александру Агачи о работе с пропущенными данными в Python/Pandas. Рассматриваются понятия пропущенных данных, методы их обработки. Отмечается, что это распространенная проблема в проектах на основе корпоративных данных.
https://odsc.medium.com/alexandru-agachi-on-handling-missing-data-in-python-pandas-at-odsc-europe-2018-c635dfc26185
————————————————————
3. Q&A Models for specific information extraction
Статья рассматривает использование трансформерных нейросетей для извлечения информации из текстов. Предлагаются различные подходы: регулярные выражения, entity detection, вопросно-ответные модели. Показано, что комбинация последнего подхода с регулярными выражениями дает наилучший результат.
https://towardsdatascience.com/q-a-models-for-specific-information-extraction-2a204f7f3521
————————————————————
Теги:
#algorithms #python #pandas #nlp
1. Неоплатонизм и информатика
Статья рассматривает использование идей Платона о существовании идеальных форм в информатике, машинном обучении и нейронных сетях. Автор сравнивает моделирование идеальных объектов на компьютере с концепцией Платона об абстрактном мире идей.
https://habr.com/ru/articles/669668/
————————————————————
2. Alexandru Agachi on “Handling Missing Data in Python/Pandas” at ODSC Europe 2018
Статья описывает доклад Александру Агачи о работе с пропущенными данными в Python/Pandas. Рассматриваются понятия пропущенных данных, методы их обработки. Отмечается, что это распространенная проблема в проектах на основе корпоративных данных.
https://odsc.medium.com/alexandru-agachi-on-handling-missing-data-in-python-pandas-at-odsc-europe-2018-c635dfc26185
————————————————————
3. Q&A Models for specific information extraction
Статья рассматривает использование трансформерных нейросетей для извлечения информации из текстов. Предлагаются различные подходы: регулярные выражения, entity detection, вопросно-ответные модели. Показано, что комбинация последнего подхода с регулярными выражениями дает наилучший результат.
https://towardsdatascience.com/q-a-models-for-specific-information-extraction-2a204f7f3521
————————————————————
Теги:
#algorithms #python #pandas #nlp
Что почитать сегодня – NOTA AI/ML Daily Digest.
1. Inductive bias и нейронные сети
В статье рассматривается понятие inductive bias, его значение для машинного обучения. Приводятся примеры использования inductive bias в линейной регрессии и сверточных нейронных сетях. Также затрагивается успех архитектуры Image Transformer, связанный с этим понятием.
https://habr.com/ru/articles/591779/
————————————————————
2. Make Your Personal GPT-3.5 Turbo Application!
В статье разбирается код для создания персонального приложения на основе модели GPT-3.5 Turbo от OpenAI. Показано использование библиотеки OpenAI для взаимодействия с API, создание класса для работы с API, функция генерации ответов и построение GUI-интерфейса. Предоставлен полный пример кода приложения.
https://medium.com/thelatestai/make-your-personal-gpt-3-5-turbo-application-ece86d685d5f
————————————————————
3. A Little Code Optimisation Goes a Long Way
В статье рассматривается важность оптимизации кода даже на этапе построения прототипов. Приведен пример вычисления суммарной прибыли для данных о продажах, где показано ускорение скорости вычислений за счет более эффективного использования pandas и перехода на NumPy. Автор подчеркивает, что даже небольшие улучшения в написании кода могут значительно сократить технический долг.
https://towardsdatascience.com/a-little-code-optimisation-goes-a-long-way-91f92ff9f468
————————————————————
Теги:
#algorithms #gpt #python #pandas
1. Inductive bias и нейронные сети
В статье рассматривается понятие inductive bias, его значение для машинного обучения. Приводятся примеры использования inductive bias в линейной регрессии и сверточных нейронных сетях. Также затрагивается успех архитектуры Image Transformer, связанный с этим понятием.
https://habr.com/ru/articles/591779/
————————————————————
2. Make Your Personal GPT-3.5 Turbo Application!
В статье разбирается код для создания персонального приложения на основе модели GPT-3.5 Turbo от OpenAI. Показано использование библиотеки OpenAI для взаимодействия с API, создание класса для работы с API, функция генерации ответов и построение GUI-интерфейса. Предоставлен полный пример кода приложения.
https://medium.com/thelatestai/make-your-personal-gpt-3-5-turbo-application-ece86d685d5f
————————————————————
3. A Little Code Optimisation Goes a Long Way
В статье рассматривается важность оптимизации кода даже на этапе построения прототипов. Приведен пример вычисления суммарной прибыли для данных о продажах, где показано ускорение скорости вычислений за счет более эффективного использования pandas и перехода на NumPy. Автор подчеркивает, что даже небольшие улучшения в написании кода могут значительно сократить технический долг.
https://towardsdatascience.com/a-little-code-optimisation-goes-a-long-way-91f92ff9f468
————————————————————
Теги:
#algorithms #gpt #python #pandas
Что почитать сегодня – NOTA AI/ML Daily Digest.
1. Как мы сделали распознавание речи нескольких говорящих
Статья описывает разработку системы распознавания одновременной речи нескольких говорящих. Использован подход сначала разделяющий входной аудиосигнал на отдельные каналы для каждого говорящего с помощью нейронной сети Sepformer, а затем распознающий каждый канал. Данные объединяются обратно с помощью классификатора каналов. Представлена архитектура системы и результаты ее использования.
https://habr.com/ru/articles/684228
————————————————————
2. Hierarchical Clustering Algorithm Tutorial in Python
Статья посвящена иерархической кластеризации - методу группировки данных, при котором объекты объединяются в иерархическую структуру дерева. Алгоритм реализован на языке Python с использованием библиотеки SciPy. Clustering позволяет сгруппировать объекты по степени их схожести, что полезно для анализа и визуализации данных.
https://medium.com/accel-ai/hierarchical-clustering-algorithm-tutorial-in-python-198b54dde2a9
————————————————————
3. Combine datasets using Pandas merge(), join(), concat() and append()
Статья рассказывает о функциях объединения данных в Pandas: merge(), join(), concat() и append(). Pandas - это библиотека для работы с данными и анализа данных в Python. Эти функции позволяют соединять несколько DataFrames (таблиц данных) в один, например по общему индексу или столбцу. Это необходимо при объединении нескольких источников данных в один общий dataframe для последующего анализа.
https://pub.towardsai.net/combine-datasets-using-pandas-merge-join-concat-and-append-442f839ba854
————————————————————
Теги:
#devblog #nlp #python #algorithms #pandas
1. Как мы сделали распознавание речи нескольких говорящих
Статья описывает разработку системы распознавания одновременной речи нескольких говорящих. Использован подход сначала разделяющий входной аудиосигнал на отдельные каналы для каждого говорящего с помощью нейронной сети Sepformer, а затем распознающий каждый канал. Данные объединяются обратно с помощью классификатора каналов. Представлена архитектура системы и результаты ее использования.
https://habr.com/ru/articles/684228
————————————————————
2. Hierarchical Clustering Algorithm Tutorial in Python
Статья посвящена иерархической кластеризации - методу группировки данных, при котором объекты объединяются в иерархическую структуру дерева. Алгоритм реализован на языке Python с использованием библиотеки SciPy. Clustering позволяет сгруппировать объекты по степени их схожести, что полезно для анализа и визуализации данных.
https://medium.com/accel-ai/hierarchical-clustering-algorithm-tutorial-in-python-198b54dde2a9
————————————————————
3. Combine datasets using Pandas merge(), join(), concat() and append()
Статья рассказывает о функциях объединения данных в Pandas: merge(), join(), concat() и append(). Pandas - это библиотека для работы с данными и анализа данных в Python. Эти функции позволяют соединять несколько DataFrames (таблиц данных) в один, например по общему индексу или столбцу. Это необходимо при объединении нескольких источников данных в один общий dataframe для последующего анализа.
https://pub.towardsai.net/combine-datasets-using-pandas-merge-join-concat-and-append-442f839ba854
————————————————————
Теги:
#devblog #nlp #python #algorithms #pandas
Что почитать сегодня – NOTA AI/ML Daily Digest.
1. Небанальные правила чистого Python. Часть 1
В статье рассматриваются необычные правила чистого кода на Python, такие как имена функций, начинающихся с "_", использование type hints и doctest, размещение приватных методов в классах. Также описываются правила для работы с числами, переменными, оформлением docstring.
https://habr.com/ru/articles/693668/
————————————————————
2. Pins a hidden MLOps Champion to version your Data & Models
В статье рассматривается инструмент для версионирования данных и моделей machine learning - pins. Описывается структура файлов и метаданных при использовании pins. Показано как получать метаданные о версиях данных в Pandas DataFrame. Также объясняется как версионировать не только данные, но и модели с помощью библиотеки vetiver. Делается сравнение pins и dvc, и дается рекомендация использовать pins для проще случаев на Python и R.
https://medium.com/@michaelpolonskij/pins-a-hidden-mlops-champion-to-version-your-data-models-e0393a2f7d1d
————————————————————
3. Mastering the Craft: Best Practices for Writing Clean and Efficient Code
В статье перечислены лучшие практики для написания чистого и эффективного кода: делать код понятным и читаемым, модульный код с использованием функций, комментарии, соблюдение принципа DRY, оптимизация производительности, отладка и тестирование, code review.
https://medium.com/@mananshah3654/mastering-the-craft-best-practices-for-writing-clean-and-efficient-code-91a7844da711
————————————————————
Теги:
#python #pandas #rlang
1. Небанальные правила чистого Python. Часть 1
В статье рассматриваются необычные правила чистого кода на Python, такие как имена функций, начинающихся с "_", использование type hints и doctest, размещение приватных методов в классах. Также описываются правила для работы с числами, переменными, оформлением docstring.
https://habr.com/ru/articles/693668/
————————————————————
2. Pins a hidden MLOps Champion to version your Data & Models
В статье рассматривается инструмент для версионирования данных и моделей machine learning - pins. Описывается структура файлов и метаданных при использовании pins. Показано как получать метаданные о версиях данных в Pandas DataFrame. Также объясняется как версионировать не только данные, но и модели с помощью библиотеки vetiver. Делается сравнение pins и dvc, и дается рекомендация использовать pins для проще случаев на Python и R.
https://medium.com/@michaelpolonskij/pins-a-hidden-mlops-champion-to-version-your-data-models-e0393a2f7d1d
————————————————————
3. Mastering the Craft: Best Practices for Writing Clean and Efficient Code
В статье перечислены лучшие практики для написания чистого и эффективного кода: делать код понятным и читаемым, модульный код с использованием функций, комментарии, соблюдение принципа DRY, оптимизация производительности, отладка и тестирование, code review.
https://medium.com/@mananshah3654/mastering-the-craft-best-practices-for-writing-clean-and-efficient-code-91a7844da711
————————————————————
Теги:
#python #pandas #rlang
Что почитать сегодня – NOTA AI/ML Daily Digest.
1. Основы фрактального сжатия изображений
Статья освещает основы фрактального сжатия изображений с помощью фракталов и итеративных систем функций. Фрактальное сжатие позволяет большим количеством коэффициентов описать сложные объекты. Алгоритм сжатия разбивает изображение на блоки и находит наилучшее преобразование для сопоставления блоков.
https://habr.com/ru/articles/126653/
————————————————————
2. Popularity of Data Science, Python and Python’s Major Libraries
Статья анализирует популярность данные науки, Python и его библиотек на основе данных с GitHub и Google Trends. Python популярен благодаря читабельности и обширной библиотечной базе. Наиболее просматриваемым репозиторием на GitHub является TensorFlow. Пандас становится всё более популярной.
https://medium.com/@atillaguzel/popularity-of-data-science-python-and-pythons-major-libraries-f7146e202e5d
————————————————————
3. Greedy Algorithms
Алгоритмы по жадности принимают локально оптимальное решение, которое не всегда является глобальным. Они описываются на примере поиска максимальной суммы в дереве. Достоинства - простота и эффективность, недостаток - не оптимальный результат. Применяются в задачах кратчайшего пути.
https://medium.com/the-graph/greedy-algorithms-f91424e56780
————————————————————
Теги:
#algorithms #image_ai #python #tensorflow #pandas
1. Основы фрактального сжатия изображений
Статья освещает основы фрактального сжатия изображений с помощью фракталов и итеративных систем функций. Фрактальное сжатие позволяет большим количеством коэффициентов описать сложные объекты. Алгоритм сжатия разбивает изображение на блоки и находит наилучшее преобразование для сопоставления блоков.
https://habr.com/ru/articles/126653/
————————————————————
2. Popularity of Data Science, Python and Python’s Major Libraries
Статья анализирует популярность данные науки, Python и его библиотек на основе данных с GitHub и Google Trends. Python популярен благодаря читабельности и обширной библиотечной базе. Наиболее просматриваемым репозиторием на GitHub является TensorFlow. Пандас становится всё более популярной.
https://medium.com/@atillaguzel/popularity-of-data-science-python-and-pythons-major-libraries-f7146e202e5d
————————————————————
3. Greedy Algorithms
Алгоритмы по жадности принимают локально оптимальное решение, которое не всегда является глобальным. Они описываются на примере поиска максимальной суммы в дереве. Достоинства - простота и эффективность, недостаток - не оптимальный результат. Применяются в задачах кратчайшего пути.
https://medium.com/the-graph/greedy-algorithms-f91424e56780
————————————————————
Теги:
#algorithms #image_ai #python #tensorflow #pandas
Добро пожаловать на канал ИИ и Работа с ним | NOTA!
Здесь мы ежедневно публикуем подборки статей, в которых эксперты и энтузиасты IT-индустрии делятся своими знаниями, опытом и историями с реальных проектов.
Этот канал посвящен искусственному интеллекту и машинному обучению, а если вас интересуют и другие направления, подписывайтесь на наши каналы:
Про Frontend каждый день | NOTA
Про Backend каждый день | NOTA
По любым вопросам можно писать сюда: @nota_admin
Теги для навигации:
Языки - #python #rlang #cplusplus #csharp
Направления - #data #algorithms #image_ai #nlp
Инструменты - #tensorflow #pandas #hadoop #jupyter #gpt #sql
Смежные темы - #devops #architecture #mobile
Другое - #devblog #career #softskills
Здесь мы ежедневно публикуем подборки статей, в которых эксперты и энтузиасты IT-индустрии делятся своими знаниями, опытом и историями с реальных проектов.
Этот канал посвящен искусственному интеллекту и машинному обучению, а если вас интересуют и другие направления, подписывайтесь на наши каналы:
Про Frontend каждый день | NOTA
Про Backend каждый день | NOTA
По любым вопросам можно писать сюда: @nota_admin
Теги для навигации:
Языки - #python #rlang #cplusplus #csharp
Направления - #data #algorithms #image_ai #nlp
Инструменты - #tensorflow #pandas #hadoop #jupyter #gpt #sql
Смежные темы - #devops #architecture #mobile
Другое - #devblog #career #softskills