蜘蛛(Spider)是一種半自動的程序就象現實當中的蜘蛛在它的Web(蜘蛛網)上旅行一樣蜘蛛程序也按照類似的方式在Web鏈接織成的網上旅行蜘蛛程序之所以是半自動的是因為它總是需要一個初始鏈接(出發點)但此後的運行情況就要由它自己決定了蜘蛛程序會掃描起始頁面包含的鏈接然後訪問這些鏈接指向的頁面再分析和追蹤那些頁面包含的鏈接從理論上看最終蜘蛛程序會訪問到Internet上的每一個頁面因為Internet上幾乎每一個頁面總是被其他或多或少的頁面引用
本文介紹如何用C#語言構造一個蜘蛛程序它能夠把整個網站的內容下載到某個指定的目錄程序的運行界面如圖一你可以方便地利用本文提供的幾個核心類構造出自己的蜘蛛程序
.NET編程免費提供,內容來源於互聯網,本文歸原作者所有。