С чего начать
Установка и импорт
pandas по соглашению импортируют как pd, а numpy — как np, поскольку pandas под капотом использует массивы numpy. Две основные структуры данных — Series (одномерный массив с метками) и DataFrame (двумерная таблица с метками). Почти вся работа с табличными данными в Python начинается здесь.
# Install pandas (pick one)
pip install pandas
conda install pandas
# Standard import convention
import pandas as pd
import numpy as np # pandas relies heavily on numpy
# Check version
print(pd.__version__)
# Pandas is built on numpy: a Series is a 1D labeled array,
# a DataFrame is a 2D labeled table (dict of Series).Series и DataFrame
Series имеет один столбец значений плюс индекс (метки). DataFrame — набор Series с общим индексом; думайте о нём как о таблице в электронной таблице или SQL. DataFrame можно строить из словарей (ключи = столбцы), списков списков, массивов numpy или файлов.
import pandas as pd
# Series: 1D labeled array
s = pd.Series([10, 20, 30, 40], index=["a", "b", "c", "d"])
# a 10
# b 20
# ...
# DataFrame: 2D table (dict of columns)
df = pd.DataFrame({
"name": ["Alice", "Bob", "Charlie"],
"age": [25, 30, 35],
"city": ["NYC", "LA", "SF"],
})
# From list of lists with column names
df2 = pd.DataFrame([[1, 2], [3, 4]], columns=["a", "b"])Создание тестового DataFrame
Для быстрых экспериментов соберите небольшой DataFrame из словаря. Для более крупных тестов используйте генераторы случайных чисел numpy с seed для воспроизводимости. date_range создаёт DatetimeIndex — основу работы с временными рядами. Задание осмысленного индекса (даты, ID) заранее сильно упрощает последующий выбор и соединения.
import pandas as pd
import numpy as np
# Quick test DataFrame with random data
df = pd.DataFrame({
"id": range(1, 6),
"name": ["Alice", "Bob", "Charlie", "David", "Eve"],
"age": [25, 30, 35, 28, 40],
"score": [85.5, 92.0, 78.3, 88.9, 95.2],
"pass": [True, True, False, True, True],
})
# Larger random DataFrame
rng = np.random.default_rng(42)
big = pd.DataFrame(rng.normal(size=(100, 4)), columns=list("ABCD"))
# Dates as index
dates = pd.date_range("2024-01-01", periods=5)
ts = pd.DataFrame({"value": [1, 2, 3, 4, 5]}, index=dates)Чтение данных из файлов
read_csv — рабочая лошадка: всегда указывайте sep, encoding, parse_dates и index_col, когда это уместно, чтобы избежать очистки после загрузки. Parquet гораздо быстрее и компактнее CSV для больших данных и сохраняет dtype. Для SQL движки SQLAlchemy берут на себя пулинг соединений. read_clipboard удивительно удобен для быстрого анализа скопированной таблицы.
import pandas as pd
# CSV — the most common
df = pd.read_csv("data.csv")
df = pd.read_csv("data.csv", sep=";", encoding="utf-8",
parse_dates=["date"], index_col="id")
# Excel (needs openpyxl)
df = pd.read_excel("data.xlsx", sheet_name="Sheet1")
# JSON
df = pd.read_json("data.json")
# Parquet (fast columnar format, great for large data)
df = pd.read_parquet("data.parquet")
# SQL (needs SQLAlchemy)
from sqlalchemy import create_engine
engine = create_engine("sqlite:///my.db")
df = pd.read_sql("SELECT * FROM users", engine)
# Clipboard (paste a table from a spreadsheet)
df = pd.read_clipboard()Сохранение данных
Всегда передавайте index=False при сохранении в CSV/Excel, если индекс не несёт осмысленных данных, иначе при повторной загрузке появится лишний столбец 'Unnamed: 0'. Parquet сохраняет dtype между сохранением и загрузкой (CSV — нет). Используйте if_exists='append', чтобы дописать строки в существующую SQL-таблицу, и 'replace', чтобы перезаписать.
import pandas as pd
# CSV (no index by default is usually what you want)
df.to_csv("output.csv", index=False)
df.to_csv("output.csv", index=False, encoding="utf-8-sig") # Excel-friendly
# Excel (needs openpyxl)
df.to_excel("output.xlsx", sheet_name="Sheet1", index=False)
# Parquet (preserves dtypes, fast, compressed)
df.to_parquet("output.parquet")
# JSON
df.to_json("output.json", orient="records", indent=2)
# SQL
df.to_sql("users", engine, if_exists="replace", index=False)
# Multiple sheets to one Excel file
with pd.ExcelWriter("multi.xlsx") as writer:
df1.to_excel(writer, sheet_name="sheet1", index=False)
df2.to_excel(writer, sheet_name="sheet2", index=False)Осмотр данных
Просмотр: head, tail, sample
head/tail показывают края, sample — случайные строки, что репрезентативнее для проверки распределений и форматов. Используйте set_option, чтобы отключить усечение при просмотре широких DataFrame: по умолчанию столбцы и строки скрываются. Всегда смотрите на выборку данных до анализа, чтобы рано поймать проблемы кодировки, часовые значения и несоответствия типов.
import pandas as pd
# First/last rows
df.head() # first 5 (default)
df.head(10) # first 10
df.tail() # last 5
df.tail(3) # last 3
# Random sample (great for sanity checks)
df.sample(5) # 5 random rows
df.sample(frac=0.1, random_state=42) # 10% of rows
df.sample(n=5, replace=True) # sample with replacement (bootstrap)
# See the raw values (not truncated)
pd.set_option("display.max_rows", 200)
pd.set_option("display.max_columns", None)
pd.set_option("display.width", 1000)Структура и dtypes
info() — самый полезный вызов для осмотра: он показывает dtypes, число не-NULL значений по столбцам и память. Следите за dtype object (обычно строки, хранящиеся неэффективно): перевод в 'category' или 'string' экономит память. memory_usage(deep=True) раскрывает истинную стоимость object-столбцов, которая часто гораздо больше заявленной.
# Shape and basic structure
df.shape # (rows, cols)
df.size # rows * cols
df.ndim # 2 for DataFrame, 1 for Series
len(df) # number of rows
# Column names and dtypes
df.columns # column labels
df.index # row labels
df.dtypes # dtype of each column
df.info() # concise summary: dtypes, non-null counts, memory
# Memory usage (helpful for big data)
df.memory_usage(deep=True)
df.info(memory_usage="deep")Описательная статистика
describe() даёт быструю статистическую сводку: следите за несовпадающим count (пропуски) и подозрительными min/max. value_counts() необходим для категориальных столбцов (показывает частоты и баланс классов). corr() по умолчанию использует Пирсона; передайте method='spearman' для ранговой корреляции. Всегда используйте numeric_only=True на таблицах смешанных типов, чтобы избежать ошибок.
# Numeric summary (count, mean, std, min, quartiles, max)
df.describe()
df.describe(include="all") # include non-numeric too
df.describe(percentiles=[.1, .5, .9])
# Per-column stats
df["age"].mean()
df["age"].median()
df["age"].std()
df["age"].var()
df["age"].min(), df["age"].max()
df["age"].quantile(0.95)
# Non-numeric summaries
df["city"].value_counts()
df["city"].unique()
df["city"].nunique()
# Correlation and covariance
df.corr(numeric_only=True)
df.cov(numeric_only=True)Уникальные значения и подсчёты
value_counts — один из самых используемых методов pandas: сочетайте его с normalize=True для долей и dropna=False для проверки пропусков. crosstab строит таблицу частот двух категориальных признаков, полезную для хи-квадрат тестов и матриц ошибок. Биннинг непрерывных столбцов перед value_counts раскрывает форму распределения.
# Unique values
df["city"].unique() # array of unique values
df["city"].nunique() # count of unique
df["city"].nunique(dropna=False) # include NaN
# Value counts (frequency table)
df["city"].value_counts()
df["city"].value_counts(normalize=True) # proportions
df["city"].value_counts(ascending=True)
df["city"].value_counts(dropna=False) # count NaN too
# Cross tabulation (frequency table of two columns)
pd.crosstab(df["city"], df["pass"])
# Binning then counting
df["age_group"] = pd.cut(df["age"], bins=[0, 18, 30, 50, 100],
labels=["child", "young", "adult", "senior"])
df["age_group"].value_counts()Проверка пропущенных значений
Всегда проверяйте пропуски до анализа: isnull().sum() по столбцам — стандартный первый взгляд. Обращайте внимание на столбцы с большой долей пропусков: их, возможно, стоит удалить или обрабатывать иначе. Строки с пропусками в критических столбцах можно отфильтровать через df[df.isnull().any(axis=1)]. Библиотека missingno визуализирует паттерны пропусков, помогая заметить структурные проблемы данных.