Жители Таганрога всегда любили читать, но собственная общественная библиотека в городе появилось не сразу: сначала для книг выделили место в Городской Управе, а затем – арендовали помещение у Василия Руднева.

Днем рождения библиотеки можно назвать 23 мая 1876 года, а в 1895 году все накопленное имущество перенесли из ветхого здания в добротное каменное, оно располагалось во дворе, но коллекция росла, как и количество любителей книг.

В 1902 году жители стали собирать средства на собственную библиотеку и, конечно же, в этом помогал Антон Чехов: присылал собственные книги, ценные вещи и деньги (и даже завещал более 1500 рублей, которые истратили после его смерти). К сожалению, писатель не смог увидеть результаты своего труда, но благодарные горожане присвоили учреждению имя знаменитого земляка, так появилась Городская имени Антона Павловича Чехова библиотека. Проект создал московский архитектор Федор Шехтель, который был другом донского прозаика. Горожане переживали, что им не хватит денег для оплаты труда столичного мастера, но тот отказался брать даже рубль, попросив лишь оплатить заботы помощников.

Первый камень библиотеки заложили 14 сентября 1910 года, а ее сотрудники въехали в новое здание уже в 1912 году, хотя торжественное открытие состоялось в 1914 году. В годы Гражданской войны учреждение сильно пострадало, что все равно было открыто заново в 1920 году. Второй раз сотрудники смогли спасти книжные фонды в годы Великой Отечественной войны.

В 70-е годы прошлого века библиотека переехала в более просторное здание, принадлежавшее раньше мужской гимназии. Еще одно важное событие произошло в 2009 году, когда к историческому зданию добавили еще одно помещение для особо ценной части фондов – в нем сейчас хранится коллекция книг из личной библиотеки Чехова.