விக்ரம பாண்டியன் காலத்தில் திருப்பணிகள் நடைபெற்றதால் விக்ரம பாண்டிய நல்லூர் என்றும், வில்வத்தை ஸ்தல விருட்சமாகக் கொண்டதால் வில்வாரண்யம் எனவும் பெயர் கொண்டது.
ஆதியில் கிழக்கு நோக்கி கோவில் கொண்டிருந்த அம்பாள் மிகுந்த உக்ரம் கொண்டிருந்ததாகவும், உக்ரத்தை ஆகர்ஷணம் செய்து தென்முகமாக ஸ்தாபித்த பிறகு உக்ரம் குறைந்து சாந்த ஸ்வரூபியாக இருப்பதாகவும் கூறப்படுகிறது.
கண் பார்வை இல்லாத வயதான பெற்றோர்களை, கானகத்தின் ஓரிடத்தில் அமரச் செய்துவிட்டு, அவர்களுக்கு தண்ணீர் கொண்டு வரப் போனான் அவர்களது ஒரே மகனான ஸ்ரவணன். அப்போது கானகத்தில் வேட்டையாடிக் கொண்டிருந்த தசரத சக்ரவர்த்தி, தண்ணீர் எடுத்துக் கொண்டிருந்தவனை மான் எனக் கருதி அம்பு எய்து கொன்றுவிட்டார்.
தனது தவற்றிற்கு வருந்திய தசரதர், ஸ்ரவணன் சார்பாக தண்ணீரை எடுத்துக் கொண்டு போய் குருடர்களான வயோதிகர்களுக்கு தந்தார். தசரதனின் ஸ்பரிசம் பட்டதும் யாரோ அந்நியன் என்பதை தெரிந்து கொண்டு யார் எனக் கேட்டனர். நடந்த உண்மைகளை தசரதன் எடுத்துரைக்க, எங்களைப் போலவே நீயும் புத்ர சோகம் கொண்டு தவிப்பாயாக என சாபமிட்டனர்.
அப்பாவியான ஒருவனை தவறுதலாக கொன்ற பாவத்தையும், புத்ர சோக தோஷத்தையும் போக்கிக் கொள்ள, இத்தலம் வந்து வில்வாரண்யேச்வரரை வழிபட்டு தனது சாபம் நீங்கப் பெற்றார் தசரதர் என ஸ்தல வரலாறு கூறுகிறது. இந்த நிகழ்வுகளை விளக்கும் சிற்பங்களை காணலாம்.
நந்தி தேவருக்கு அம்பாளின் பெருமைகளை இறைவன் எடுத்துரைத்த ஸ்தலம். சம்புகனைக் கொன்ற தோஷம் நீங்க, ஸ்ரீ ராமபிரான் இவ்விறைவனை வழிபட்ட ஸ்தலம்.
ராமநதியும், சாம்புவ நதியும் கடையத்திற்கு மேற்கில் உள்ள மலையில் உற்பத்தியாகி, ஆலயத்தின் தெற்கிலும் - வடக்கிலுமாக பாய்ந்தோடி, ஸ்வாமிக்கு மாலை சாற்றுவது போல சுற்றி வந்து, பின்னர் தெற்காக சென்று ஒன்று சேர்கின்றன.
மலையடிவாரத்தில் அழகிய ஏரியும் நீர்சுனைகளும் சூழ ஒரு தட்டப்பாறை உள்ளது. மகாகவி பாரதியார் இங்கு உட்கார்ந்து பல பாடல்களை எழுதியுள்ளார். "நின்னையே கதி என நினைக்கின்றேன்" என்ற பாடல் அம்பாள் நித்ய கல்யாணியின் அருளாசியைப் பெற்றது.
இங்குள்ள வில்வமரத்தின் வில்வக்காயை உடைத்துப் பார்த்தால் உள்ளே உள்ள சதை சிவலிங்கத்தைப் போல காட்சி அளிக்கின்றது. பிரதி மாத பௌர்ணமி தினங்களில் மூலவர்க்கு அன்னாபிஷேகம் செய்கின்றனர்.