Теория вероятностей

Описание дисциплины

Теория вероятностей - раздел математики, в котором изучаются случайные явления. Под случайными явлениями мы понимаем эмпирические феномены, для которых отсутствует детерминированная регулярность (наблюдения под одними и теми же условиями не всегда приводят к одинаковым результатам), но имеется статистическая регулярность, проявляющаяся в статистической устойчивости частот [7].

Теория вероятностей оперирует следующими понятиями:

• вероятностное пространство,
• случайные величины и функционалы над ними (напр., математическое ожидание и дисперсия),
• вероятностные распределения,
• виды сходимостей случайных величин и распределений,
• характеристические функции распределений.

Основными теоремами курса теория вероятностей являются центральная предельная теорема и (усиленный) закон больших чисел.

Описание дисциплины простыми словами

Теория вероятностей — это раздел математики, который помогает нам работать со случайностью. Она отвечает на вопросы «Насколько вероятно, что что-то произойдёт?» с помощью числа от 0 до 1. Вероятность 0 означает, что событие невозможно, а вероятность 1 — что оно обязательно случится.

Представьте себе подбрасывание монеты. Есть два возможных исхода: орёл или решка. Поскольку оба исхода одинаково вероятны, мы говорим, что вероятность выпадения орла составляет 50%, или 0.5. Если вы бросаете игральный кубик с шестью гранями, то вероятность выпадения любой из граней равна 1 из 6, или примерно 16,7%.

Однако не любая неопределенность обладает вероятностью. Если явление имеет вероятность, то, с одной стороны, исход нам неизвестен заранее. Но с другой стороны, есть статистическая закономерность. Пример, когда нельзя задать вероятность адекватно, описан в известном анекдоте про блондинку и динозавров.

Важными результатами из теории вероятностей являются закон больших чисел и центральная предельная теорема. Закон больших чисел говорит: если вы повторяете эксперимент много раз, средний результат будет всё ближе к “истинному” среднему значению. Например:

• Если подбросить монету 10 раз, вы можете получить 7 орлов (70%).
• Если подбросить её 100 раз, процент орлов может быть, скажем, 52%.
• А при миллионе бросков он почти точно будет 50%.

Чем больше испытаний, тем меньше влияние случайных отклонений.

Центральная предельная теорема утверждает, что если брать много случайных выборок из любого процесса и находить их средние, эти средние будут образовывать колоколообразную кривую (нормальное распределение). Так, в примере выше с миллионом бросков монет можно предсказать вероятность того, что процент орлов будет от 49% до 51%.

Теория вероятностей исторически развивалась из трех направлений: азартные игры, статистическая физика и страхование жизни. Сейчас теория вероятностей имеет множество приложений: от моделирования интернет-трафика до прогнозирования биржевых котировок и распространения заболеваний.

Ключевые понятия, которые надо знать

Для студентов непрофильных специальностей

1. Аксиоматика теории вероятностей: дискретные и произвольные вероятностные пространства; свойства вероятностной меры
2. Элементы комбинаторики
3. Условные вероятности и независимость событий
4. Схема Бернулли и предельные теоремы
5. Дискретные и непрерывные случайные величины, способы задания;
6. Примеры распределений, их параметры, математическое ожидание и дисперсия: Бернулли, геометрическое, биномиальное, равномерное на отрезке $[a,b]$, экспонециальное, нормальное
7. Закон больших чисел
8. Центральная предельная теорема

Для студентов профильных специальностей

1. Аксиоматика Колмогорова: вероятностное пространство, пространство элементарных исходов, сигма-алгебра, вероятностная мера
2. Условная вероятность, формула полной вероятности, формула Байеса
3. Независимость событий
4. Определение и свойства случайной величины. Независимость семейства случайных величин
5. Функции распределения и плотности случайных величин. Основные дискретные и абсолютно непрерывные распределения: Бернулли, биномиальное, геометрическое, Пуассона, нормальное, экспонециальное, равномерное, Коши
6. Математическое ожидание дискретных и абсолютно непрерывных случайных величин. Общее определение математического ожидания через интеграл Лебега. Дисперсия
7. Сходимости случайных величин: почти наверное, по вероятности, в $L^p$, по распределению
8. Совместное распределение двух случайных величин. Корреляция, ковариация, неравенство Коши-Буняковского.
9. Закон больших чисел
10. Характеристические функции, основные свойства
11. Центральная предельная теорема

Для экспертов (уровня кандидата наук)

1. Вероятностные меры

1. Системы подмножеств (алгебры, сигма-алгебры). Борелевские сигма-алгебры
2. Вероятностное пространство. Аксиоматика Колмогорова. Основные свойства вероятностной меры
3. Теорема Каратеодори о продолжении меры. Функция распределения вероятностной меры в $R^n$, взаимно-однозначное соответствие между функциями распределения и вероятностными мерами
4. Случайные величины и векторы, их основные характеристики. Виды сходимостей: сходимость почти наверное, сходимость по вероятности, сходимость по распределению.
5. Независимость событий и сигма-алгебр. Независимость случайных величин, критерий независимости в терминах функций распределений.
6. Определение интеграла Лебега и его связь с интегралом Лебега-Стилтьеса в $R^1$ Математическое ожидание случайной величины. Замена переменных в интеграле Лебега
7. Теорема Радона-Никодима. Условные вероятности, условные математические ожидания и условные распределения.
8. Произведения мер. Теорема Фубини
9. Пространство $L^p$ случайных величин и его характеристики. Сходимость в пространстве $L^p$. Ортогональность или некоррелированность случайных величин. Проекция случайной величины на подпространство, порожденное другими случайными величинами. Процесс ортогонализации Грама-Шмидта

2. Различные распределения случайных величин и векторов

1. Распределения случайных величин и случайных векторов. Основные примеры
2. Характеристические функции, их свойства. Формулы обращения, равенство Парсеваля. Слабая сходимость и теорема непрерывности
3. Многомерное нормальное распределение. Основные свойства гауссовских случайных векторов
4. Безгранично делимые распределения: определение, свойства, примеры. Представление Леви-Хинчина логарифма характеристической функции безгранично делимого закона
5. Устойчивые распределения: определения, свойства, отличие от бесконечно делимых. Представление Леви-Хинчина логарифма характеристической функции устойчивого закона

3. Предельные теоремы

1. Закон “нуля или единицы”. Теоремы Бореля и Колмогорова
2. Усиленный закон больших чисел для независимых случайных величин (случаи одинаково и не одинаково распределенных случайных величин)
3. Закон повторного логарифма для сумм независимых случайных величин
4. Теорема Пуассона, оценка скорости сходимости в теореме Пуассона (случаи одинаковых или не одинаково распределенных индикаторов)
5. Центральная предельная теорема (в форме Ляпунова и в форме Линдеберга-Феллера)
6. Теорема Берри-Эссеена об оценке скорости сходимости в центральной предельной теореме
7. Вероятности больших уклонений сумм независимых случайных величин

Вопросы для самопроверки

Для непрофильных студентов

• Пример трех событий, попарно независимых, но зависимых в совокупности
• Определение независимости семейства трех событий
• Какое распределение у суммы двух независимых нормально распределенных случайных величин?

Для профильных студентов

• Пример трех событий, попарно независимых, но зависимых в совокупности
• Определение независимости семейства трех событий
• Какое распределение у суммы двух независимых нормально распределенных случайных величин?
• Какая сходимость в ЦПТ?
• Пример распределения, у которого нет математического ожидания
• （*）Если $\xi$ и $\eta$ — независимые одинаково распределенные случайные величины, $\xi \sim Exp(1)$, то чему равно \(\mathbb{E} \frac{\xi}{\xi + \eta} ?\)

Предварительные требования:

• Действительный анализ: меры, сигма-алгебры, интеграл Лебега, теоремы о перестановке интеграла и предела, теорема фубини, абсолютная непрерывность

Используется в:

• Математическая статистика: Теория вероятностей – язык статистики

• Теория случайных процессов: Теория вероятностей – язык статистики

• Теория игр: Вероятностное пространство, случайные величины, математическое ожидание, нормальное распределение

• Машинное обучение: Байесовские методы, гаусовские процессы, вероятностный взгляд на многие задачи

• Методы Монте-Карло: эти методы используют случайные выборки для приближенного решения задач

Список литературы

Для студентов непрофильных специальностей

1. А.Зубков, Б.Севастьянов, В.Чистяков. Сборник задач по теории вероятностей. Учеб. пособие для вузов. — 2-е изд., испр. и доп. — М.: Наука. Гл. ред. физ.-мат. лит. — 1989

2. М.М.Мусин, С.Г.Кобельков, А.А.Голдаева (под редакцией А.В.Лебедева) Сборник задач по теории вероятностей для химиков, 2013

3. Фадеева Л.Н., Лебедев А.В. Теория вероятностей и математическая статистика: учебник. 3-е изд. — Москва: Рид Групп, 2011

Для студентов профильных специальностей и экспертов

4. Боровков А.А. Теория вероятностей. 4-е изд. М.: УРСС, 2003

5. Гнеденко Б.В. Курс теории вероятностей. 10-е изд. М.: УРСС, 2011

6. Феллер В. Введение в теорию вероятностей и ее приложения. М.: Мир, 1984

7. Ширяев А.Н. Вероятность. В 2-х т. 4-е изд. М.: МЦНМО, 2007

8. Ширяев А. Н., Эрлих И. Г., Яськов П. А. Вероятность в теоремах и задачах (с доказательствами и решениями). Книга 1. — Москва: МЦНМО, 2013

Полезные материалы

9. Теория вероятностей — Лекции — Шабанов Д.А. (teach-in.ru)

10. Теория вероятностей — Семинары — Шкляев А.В. (teach-in.ru)

11. Конспект студента Иванова (pdf)