Овсянская библиотека долгое время располагалась в небольшом деревянном доме с печным отоплением, стоявшем на месте нынешнего здания. Именно сюда 5 августа 1981 года пришёл вернувшийся в 1980 году на родину, в Овсянку, Виктор Петрович Астафьев. С этого дня началось сотрудничество писателя и библиотеки, продолжавшееся в течение 20-ти лет.
Здесь проводились его встречи с читателями, всероссийские конференции «Литературные встречи в русской провинции» (1996, 1998, 2000 годы). В читальном зале Виктор Петрович просматривал газеты и журналы, знакомился с книжными новинками. Сюда приводил своих гостей: журналистов, литераторов, деятелей культуры и искусства.
В 1991 году по инициативе писателя началось строительство нового здания для библиотеки. Оригинальный проект был разработан в мастерской заслуженного архитектора России Арэга Саркисовича Демирханова. Виктор Петрович часто посещал строительную площадку, где каждого знал по имени. Когда возникли трудности с финансированием, писатель вложил в строительство одну из полученных им премий. Благодаря усилиям многих людей, новая библиотека была возведена в срок и торжественно открылась 4 мая 1994 года.
Эмблемой учреждения по личной просьбе Виктора Петровича стал его любимый цветок стародуб (горицвет весенний, лат. Adonis vernalis).
«Виктор Петрович считал, что помимо творческого наследия сама библиотека — это дело его жизни, — говорит её директор Надежда Яновна Артамонова. — Он хотел, чтобы она была не только музеем, а живым наследием.
Как-то раз Виктора Петровича спросили, как он относится к тому, что хорошую литературу сейчас читают мало. "Любое чтение полезно, — ответил Астафьев, — читателями не рождаются, ими становятся: человека надо приучить к чтению, в том числе и литературой легкомысленного характера, приключениями, фантастикой. Больше вероятности, что, встав на эту дорожку, по ней он придет и к серьезной литературе"».
"Виктор Петрович любил отмечать в библиотеке Новый год. Каждый май он с удовольствием поздравлял нас с профессиональным праздником, дарил книги с автографами. В этот день Виктор Петрович обязательно передавал в фонд свои книги, фотографии, аудиозаписи, видеофильмы и многое другое. Так по крупицам формировался личный архив писателя", - вспоминает первый директор библиотеки-музея Анна Епиксимовна Козынцева.
Своё тёплое отношение к овсянской библиотеке писатель выразил так: "Родное село - это самое главное, самое святое место у человека. Где бы я ни был, где бы ни жил, всегда помнил об этом. А библиотека села - это окошко родного дома, где всегда светит приветливый огонёк".