SciPy: численные расчёты и честная визуализация

quad · odeint/solve_ivp · minimize · curve_fit · interp1d · scipy.stats · принципы честной визуализации

2 ч теории. Данные — reaction.csv (25 точек «эксперимента»). После лекции — live-coding и задачи семинара.

Подбор кривой — как физики проверяют законы

• По экспериментальным точкам с шумом восстановить параметры модели — это метод Методик вычислений и Исследования операций.
• Так Аррениус проверял зависимость скорости реакции от температуры (экспонента), так подбирают затухание маятника, рост популяции.
• Интегралы и дифференциальные уравнения — база следующих курсов численных методов.

точки «эксперимента» reaction.csv и подобранная модель A·exp(-λt)+c (результат — см. ниже)

scipy.integrate.quad: определённый интеграл

• quad(f, a, b) возвращает кортеж (значение, оценка ошибки).
• ∫₀¹ x² dx = 1/3 — сверили с аналитикой; площадь под нормальной кривой ≈ 1 — свойство функции плотности.
• Всегда показывайте оба числа: без ошибки значение неполно.

odeint / solve_ivp: решение дифференциальных уравнений

• Функция правой части: dy/dt = f(y, t, ...) — для экспоненциального распада y' = -k·y.
• Аналитически y(10) = 5·exp(-0.3·10) ≈ 0.249 — совпало.
• solve_ivp — современное API с dense_output.

scipy.optimize.minimize: поиск минимума

• Минимизация многомерной функции — «двигатель» curve_fit.
• Функция Розенброка имеет минимум в точке (1, 1) — метод BFGS нашёл его с точностью до 10⁻¹¹.
• Методы: Nelder-Mead (без производных), BFGS (градиентные).

curve_fit: подбор параметров модели к данным

from scipy.optimize import curve_fit def model(t, A, lam, c): return A * np.exp(-lam * t) + c popt, pcov = curve_fit(model, x, y, p0=[5.0, 0.3, 0.5]) perr = np.sqrt(np.diag(pcov)) resid = y - model(x, *popt) rmse = np.sqrt(np.mean(resid**2)) A = 4.94 ± 0.10 λ = 0.30 ± 0.02 c = 0.53 ± 0.09 RMSE = 0.121

данные + модель (слева), остатки (справа)

• curve_fit — метод наименьших квадратов; возвращает (popt, pcov), где pcov — ковариационная матрица.
• perr = sqrt(diag(pcov)) — ошибки параметров; параметры близки к истинным (A=5, λ=0.3, c=0.5).
• Остатки (справа) колеблются вокруг нуля без тренда — модель «не врет».

Разумный p0: почему без него curve_fit «застревает»

• Нелинейная подгонка решает задачу минимизации — она может сойтись в ложном локальном минимуме.
• Стартовые значения оцениваются по данным, а не угадываются: при t=0 значение ≈ A+c ≈ 5.5, «хвост» при t=10 ≈ c ≈ 0.5.
• Если параметры «разъехались» или RMSE большой — проверьте p0.

interp1d: интерполяция по узлам

from scipy.interpolate import interp1d f_lin = interp1d(xn, yn, kind='linear') f_cub = interp1d(xn, yn, kind='cubic') f_lin(2.5); f_cub(2.5) 1.35 1.44

узлы, линейная и кубическая интерполяция; пунктир — опасная экстраполяция

• Интерполяция проходит через узлы и не даёт параметров — в отличие от curve_fit.
• Кубическая гладкая, линейная — ломаная; в середине интервала они близки.
• Применение: восстановить функцию по табличным значениям (сенсор, замеры).

Экстраполяция: правдоподобный «мусор»

• По умолчанию interp1d запрещает выход за пределы диапазона — это защита от глупой ошибки.
• С fill_value='extrapolate' он «продолжает» кривую — и получаются правдоподобные, но бессмысленные значения.
• Правило: без экстраполяции; если предсказание нужно — используйте модель с физикой (curve_fit) и оговаривайте границы.

scipy.stats: описательная статистика и тесты

• ttest_ind — гипотеза о равенстве средних двух выборок: p = 0.27 > 0.05 → различия средних незначимы (по нашим данным).
• pearsonr — корреляция: r ≈ −0.22, p ≈ 0.18 — связь слабая и статистически незначимая.
• p-value — мера, а не приговор; корреляция ≠ причинность.

Честная визуализация: масштаб осей

одинаковые данные: слева «взрыв продаж», справа честный рост

• Слева ось Y обрезана (118–128): рост ~2% выглядит как «рывок в 3 раза».
• Справа ось с нуля: виден скромный, но честный рост.
• Правила: бары с нуля; не обрезать ось без маркера разрыва (//); подписывать единицы; не прятать выбросы.

Ещё манипуляции: 3D-эффекты, размер маркера, базы

слева — плоская bar-диаграмма, справа — «объём» (та же высота, разная масса)

• 3D/объём у bar-диаграмм искажает восприятие (верх столбца читается по-разному).
• Размер маркера должен быть пропорционален данным, а не «ради красоты».
• Честные проценты: всегда уточняйте базу («вырос на 50%» — от чего?).
• Не скрывайте выбросы и «нулевые» значения.

Типичные ошибки недели 8

1. curve_fit без разумного p0 — застревание в локальном минимуме, параметры «мусорные» (RMSE большой).
2. Экстраполяция interp1d за пределы данных — правдоподобные, но бессмысленные значения.
3. Путаница «подобрать параметры» (curve_fit) и «интерполировать» (interp1d).
4. Полином высокой степени «для красоты» — переобучение, кривая скачет.
5. quad вызывают с векторной функцией без понимания, что подынтегральная функция должна быть скалярной.
6. Остатки не показаны — нельзя оценить, «врёт» ли модель систематически.
7. Вывод «корреляция → причинность» без оговорок.

Вопросы для проверки понимания

1. Что возвращает quad и как проверить точность?
2. Как подобрать параметры экспоненциальной модели к данным с шумом?
3. Чем интерполяция отличается от экстраполяции и почему последняя опасна?
4. Какой график «вводит в заблуждение» масштабом и почему?
5. Чем ttest_ind отличается от pearsonr?

Ответьте письменно за 3 минуты — это мини-самооценка перед семинаром.

Что дальше

• Семинар недели 8: три уровня задач — «Интегрирование + статистика» (базовый/стандартный), «Подбор кривой + интерполяция» (стандартный), «ОДУ + честный график» (продвинутый), «экспонента vs полином» (challenge).
• ДЗ недели 8: аппроксимировать экспериментальные данные моделью, обосновать выбор, показать остатки (autograder: fit_model).
• К концу недели вы умеете интегрировать, решать ОДУ, подбирать параметры модели и строить честные графики.