注册 登录  
 加关注
   显示下一条  |  关闭
温馨提示!由于新浪微博认证机制调整,您的新浪微博帐号绑定已过期,请重新绑定!立即重新绑定新浪微博》  |  关闭

樱之花

叶散的时候,你明白欢聚;花谢的时候,你明白青春.

 
 
 

日志

 
 
关于我

分类中“我的实验室”是我在日常工作中的一些知识总结,有些写的比较匆忙,可能大家在阅读时会产生困扰,后期有时间我会重新整理编辑,谢谢大家的到访,您们的支持是我前进的动力!

网易考拉推荐

033 .net获取远程文件  

2014-11-25 15:01:35|  分类: 我的实验室 |  标签: |举报 |字号 订阅

  下载LOFTER 我的照片书  |

   获取远程文件的需求,一般用在网页采集,软件更新和网页静态化等时候。例如,你新做了一个新闻资讯网站,需要根据一些新闻机构发布的国内外新闻动态,自动采集相应的信息到自己的站点。又如,你新做的客户端软件往往用了一段时间,需要增加特别的功能,因此必须要增加一个软件自动升级的功能,这时候可采用远程获取文件的方法更新最新的补丁或程序。再如,现在设计网站,为了提高网站的访问速度,减轻网站服务器的访问压力,提高程序的性能,往往静态化是一种很好的选择,而且为了方便搜索引擎的收录,程序员们会将动态网页内容的页面生成了静态网页。

   对此,如何实现上面的三种需求,是本篇文章来探讨的问题。我们将采用C#或VB.NET来获取远程文件。按照不同的需要,实现如下。


1)软件更新

通过WebRequest、WebResponse请求获取远程URL数据,之后使用FileStream文件流读写数据写入文件。

这里是使用vb.net来实现:

   Private Sub GetUrlFile(ByVal url As String, ByVal filename As String)

       '先通过URI建立一个WebRequest

       Dim wr As WebRequest = WebRequest.Create(url)

      '然后通过其GetResponse方法得到一个WebResponse

       Dim res As WebResponse = wr.GetResponse

       Dim fs As Stream

      '通过WebResponse.GetResponseStream方法得到的流

       fs = res.GetResponseStream

       Dim fw As FileStream

       '创建日期文件夹

       Dim foldname As String = Format(Now, "yyyy-MM-dd")

       If Directory.Exists(foldname) = False Then

           Directory.CreateDirectory(foldname)

       End If

       '打开或创建文件以写入数据

       fw = File.OpenWrite(foldname & "/" & filename & ".tif")

       Dim b(1024) As Byte

      '按块读取数据流

       Dim br As Integer = fs.Read(b, 0, b.Length)

       '循环读取并写入文件

       While br > 0

           fw.Write(b, 0, br)

           br = fs.Read(b, 0, b.Length)

       End While

       '关闭数据流

       fw.Close()

       fs.Close()

   End Sub


2)网页采集

网页采集所用到知识点,是通过HttpWebRequest、HttpWebResponse请求获取远程URL数据,之后使用StreamReader、StreamWriter文件流读写数据写入文件,注意还有编码Encoding。

这里是使用的是C#来实现:

2.1 先引用如下命令空间

  using System;

  using System.Net;

  using System.IO;

  using System.Text;


2.2 创建获取远程URL并生成文件的方法与文件夹不存在则自动建立方法。

url:远程URL

filename:生成文件名路径

pagecode:目标URL页面编码

       protected void DownUrltoFile(string url, string filename, string pagecode)

       {

           try

           {

               //编码

               Encoding encode = Encoding.GetEncoding(pagecode);

               //请求URL

               HttpWebRequest req = (HttpWebRequest)WebRequest.Create(url);

               //设置超时(10秒)

               req.Timeout = 10000;

               this.NotFolderIsCreate(filename);

               //获取Response

               HttpWebResponse rep = (HttpWebResponse)req.GetResponse();

               //创建StreamReader与StreamWriter文件流对象

               StreamReader sr = new StreamReader(rep.GetResponseStream(),encode);

               StreamWriter sw = new StreamWriter(Server.MapPath(filename), false,encode);

               //写入内容

               sw.Write(sr.ReadToEnd());

               //清理当前缓存区,并将缓存写入文件

               sw.Flush();

               //释放相关对象资源

               sw.Close();

               sw.Dispose();

               sr.Close();

               sr.Dispose();

               Response.Write("生成文件"   filename   "成功");

           }

           catch (Exception ex)

           {

               Response.Write("生成文件"   filename   "失败,原因:"   ex.Message);

           }

       }


2.3 文件夹不存在则自动建立的代码:

filename表示文件名所在路径。

       protected void NotFolderIsCreate(string filename)

       {

           string fileAtDir = Server.MapPath(Path.GetDirectoryName(filename));

           if (!Directory.Exists(fileAtDir))

               Directory.CreateDirectory(fileAtDir);

       }


2.3 调用:

因为百度首页是utf-8编码,所以调用方法如下:

DownUrltoFile("http://www.baidu.com", "html/baidu.htm", "utf-8");


3)网页静态化
   通过ASP.NET生成静态文件的文章网上有好多文章,通常ASP.NET生成静态文件的做法是使用文件流读取模板内容,之后替换模板内容中相关关键字,再生成静态文件。本文的做法另类一点,通过URL来生成静态文件,下面来看下是如何实现吧。
   这里我们采用的方法是基于前面第2种案例,有了上面这个方法,可以很简单的通过动态文件URL来生成自己网站的静态文件了,也就是自己采集自己的动态网页生成静态页面,比如有一个新闻栏目,里面的新闻是这样访问的:

http://www.imdan.cn/news/show.aspx?id=1
http://www.imdan.cn/news/show.aspx?id=2
http://www.imdan.cn/news/show.aspx?id=n
我们看到站点下建立了一个文件夹“dongtai”是专门放动态页面来显示新闻的,现在我们建一个文件夹“html”存放静态网页,再新建一个“news”文件夹放生成的静态网页。生成的静态网页文件名可以根据日期时间来命名,如保存这样:html/news/20091224-001.html。在后台添加保存新闻后,可以调用这个方法生成这篇新闻的静态网页:

DownUrltoFile("http://www.imdan.cn/news/show.aspx?id=1", "html/news/20091224-001.html", "GB2312");
其中URL:http://www.imdan.cn/news/show.aspx?id=1 是动态显示新闻,生成了一个静态页面20091224-001.html,保存在html/news/下。看,这样就可以生成静态文件了。以上的做法是不使用模板来生成静态文件的方法,只是换个思路来做。


经过上面的讲解,或许你已经了解了这三种需求的实现方法,获取远程文件的方法在网站开发和软件编程中是经常会碰到的,希望本篇文章可以帮助到你。

转摘www.imdan.cn

  评论这张
 
阅读(477)| 评论(0)
推荐 转载

历史上的今天

在LOFTER的更多文章

评论

<#--最新日志,群博日志--> <#--推荐日志--> <#--引用记录--> <#--博主推荐--> <#--随机阅读--> <#--首页推荐--> <#--历史上的今天--> <#--被推荐日志--> <#--上一篇,下一篇--> <#-- 热度 --> <#-- 网易新闻广告 --> <#--右边模块结构--> <#--评论模块结构--> <#--引用模块结构--> <#--博主发起的投票-->
 
 
 
 
 
 
 
 
 
 
 
 
 
 

页脚

网易公司版权所有 ©1997-2017