Что такое pandas?

Практически с момента появления Питон активно используется для предобработки данных (например, прочитать текстовый файл и выделить из него нужные куски, очистить текст от лишних символов и т.д.) Очищенные данные можно позже направить, например, в табличный процессор, СУБД или статистическую систему для последующего анализа.

Библиотека pandas добавляет в Питон значительную часть аналитической функциональности больших пакетов.

Что pandas умеет?

Эффективный и быстрый тип DataFrame с встроенной индексацией, предназначенный для обработки данных;

Утилиты для чтения и записи данных между оперативной памятю и разными файловыми форматами или СУБД: CSV, текстовые файлы, Microsoft Excel, SQL базы данных и быстрый HDF5;

Автоматизированное упорядочивание данных с встроенной обработкой отсутствующих частей дает возможность эффективно автоматически размечать данные и работать с плохо упорядоченными данными;

Гибкое преобразование наборов данных;

Умное разделение по меткам, красивое индексирование и выделение подмножеств из больших наборов данных;

Для изменения размера можно добавлять и удалять колонки в структурах данных;

Объединение и преобразование данных с мощными средствами группировки в режиме раздели-примени-объедини;

Высокопроизводительное слияние и объединение наборов данных;

Работа с временными рядами: создание временных диапазонов, преобразование отсчетов, обработка со скользящим окном, линейная регрессия с скользящим окном, смещение и т.д.

Начало работы

Обычно мы будем сразу подключать эти модули для работы (добавить в начало файла):

import pandas as pd import numpy as np import matplotlib.pyplot as plt

Создание объекта

Можно создать серию (Series) передав список значений, для этого списка pandas самостоятельно создаст индекс (присвоит каждому элементу уникальный номер)

s = pd.Series([1,3,5,np.nan,6,8]) print(s)

0 1.0
1 3.0
2 5.0
3 NaN
4 6.0
5 8.0
dtype: float64