Шаролезская порода возникла в старых французских провинциях Шароль и Ньевр. Скорее всего, ее предком был местный белый скот, однако точная история происхождения достоверно неизвестна.
Первую популярность порода получила, когда в 1773 году Клод Матье переехал со своим стадом в провинцию Ньевр. Там граф Шарлем де Буйем заинтересовался необычным белым скотом и занялся его разведением. Усилия мужчины привели к созданию первой племенной книги Шароле в 1864 году.
Изначально порода имела тройное назначение, однако позже была переквалифицирована в мясную.