Зарождение и первоначальное развитие теории вероятности существенное влияние оказали задачи, возникшие в практике страховых обществ, при обработке результатов астрономических наблюдений в различных азартных играх. Вероятностные вопросы возникали и в других сферах практической деятельности. Некоторые из таких вопросов появились в далекой древности, но в то время они не стимулировали развитие теории вероятностей, так как возникали спорадически и, главное, не были существенными ни в развитии науки, ни в жизни общества.
Многие из первых задач теории вероятности были связаны с азартными играми. В процессе этих игр возникали удобные схемы и модели, а отчасти и терминология, позволяющие описать некоторые вероятностные явления и задачи. Разумеется, и сами азартные игры выдвигали задачи, стимулировавшие развитие теории вероятности, хотя это и не было решающим. Одной из таких задач являлся подсчет числа различных возможных исходов при бросании кубиков. Первые известные подсчеты для случая трех костей относятся к Х-ХI вв. На решениях отдельных этапах учета ошибок наблюдений, задач из практики статистики, страхования и других областей вырабатывались общие вопросы и методы теории вероятности.
Первые работы, в которых зарождались основные понятия теории вероятности, представляли собой попытки создания теория азартных игр. На начальном этапе изучения случайных явлений ученые рассматривали три задачи:

1. Подсчет числа различных возможных исходов при бросании нескольких костей;
2. Раздел ставки между игроками, когда игра прекращена где-то посредине;
3. Определение числа бросаний двух или нескольких костей, при которых число случаев, благоприятствующих выпадению на всех костях одинаковых граней (например, "шестерок"), было большим, чем число случаев, когда это событие не появится ни разу.

Б.Паскаль и П.Ферма открыли первые вероятностные закономерности, возникающие при бросании костей. Под влиянием поднятых и рассматриваемых ими вопросов решением тех же задач занимался и Христиан Гюйгенс. При этом с перепиской Паскаля и Ферма он знаком не был, поэтому методику решения изобрёл самостоятельно. Также важный вклад в развитие теории вероятности внесли Я.Бернулли, Пьер-Симон Лаплас, С.Пуассон и некоторые другие. В результате чего теория вероятности приобрела строгий математический вид и окончательно стала восприниматься как один из разделов математики.