IT星球论坛

 找回密码
 立即注册

QQ登录

只需一步,快速开始

新浪微博账号登陆

只需一步,快速开始

搜索
查看: 3586|回复: 0

如何用DNS+GeoIP+Nginx+Varnish做世界级的CDN

[复制链接]

1997

主题

1

好友

1万

积分

管理员

Rank: 9Rank: 9Rank: 9

优秀会员 助人为乐 辛勤工作 技术精英 多才多艺 优秀班竹 灌水天才 星球管理 宣传大使 灌水之王 财富勋章 版主勋章 动漫勋章 勤奋会员 论坛精英 PS高手 心 8 闪游皮肤 双鱼座 8★8➹ 志愿者 乖

发表于 2013-9-18 19:39:57 |显示全部楼层
如何用BIND, GeoIP, Nginx, Varnish来创建你自己的高效的CDN网络?
CDN,意思是Content Distrubtion Network,意思是内容分发网络,简单的说,就是全地域范围内的负载均衡,全地域的概念可以是全国,也可以是全世界。由统一的DNS服务器进行地址转发,选择离用户最近的地区服务器进行负载均衡。本质上是从一个机房内的负载均衡扩展到了全世界范围内的负载均衡。同时可以将本地化的内容,由当地的服务器实现。做浏览器的地区自动选择。
比如在中国,被人为划分成两大区域,北方是网通,南方是电信。这两个网络之间互访是比较慢的。作为大型网站,一种解决办法是将全部服务器架设在双线或三线ISP处,由ISP来提供路由上的选择。这样做,线路的成本会比较高。另一种办法就是将服务器架设在两边,南方一台,北方一台,然后由服务器自己选择,如果IP在电信,就转发请求到南方的服务器,如果是网通就转发到北方的服务器。
再扩大范围,可以将美国来的请求交由美国服务器处理,这样也缩短了用户在路由上的等待时间。这就是内容分发网络。
而作为这个网络上的所有节点,都可以当成虚拟服务器来看待。至于在各地的服务器如何做负载均衡,可以由各节点之间完成。
准备工作如下:你需要下载如下软件以实现上述功能
NginxBINDGeoIPVarnish
接下来是编译和安装bind9和geoip
  1.     # tar -xzvf bind-9.2.4.tar.gz
  2.     # tar -xzvf GeoIP-1.4.6.tar.gz
  3.     # cd GeoIP-1.4.6
  4.     # ./configure –prefix=/usr/local/geoip
  5.     # make
  6.     # make install
  7.     # cd ..
  8.     # patch -p0 < bind-9.2.4-geodns-patch/patch.diff //给bind9打补丁,让bind9直接支持geoip库
  9.     # cd bind-9.2.4
  10.     # CFLAGS=”-I/usr/local/geoip/include” LDFLAGS=”-L/usr/local/geoip/lib -lGeoIP” ./configure –prefix=/usr/local/bind
  11.     # make
  12.     # make install
复制代码
装好bind后我们来制作named.conf
  1.     view “us” {
  2.     // 匹配北美的客户端 US & Canada
  3.     match-clients { country_US; country_CA; };
  4.     // Provide recursive service to internal clients only.
  5.     recursion no;
  6.     zone “cdn.xianglei.com” {
  7.     type master;
  8.     file “pri/xianglei-us.db”;
  9.     };
  10.     zone “.” IN {
  11.     type hint;
  12.     file “named.ca”;
  13.     };
  14.     };
  15.     view “latin” {
  16.     // 匹配到南美国家
  17.     match-clients { country_AR; country_CL; country_BR; };
  18.     recursion no;
  19.     zone “cdn.xianglei.com” {
  20.     type master;
  21.     file “pri/xianglei-latin.db”;
  22.     };
  23.     zone “.” IN {
  24.     type hint;
  25.     file “named.ca”;
  26.     };
  27.     };
复制代码
照此办理,你也可以匹配到欧洲,非洲等等,然后来开始制作nginx和varnish
注意,以上内容是你要在主节点服务器上做的,主节点服务器只负责对DNS请求进行转发。
约定一下,我们将Bind服务器叫做动态节点服务器,nginx+Varnish叫做边界服务器。
以下内容是副节点服务器需要做的,也就是实际在某个地区放置的服务器
  1.     # ./configure –prefix=/usr/local/nginx –with-http_realip_module
  2.     # make
  3.     # make install
复制代码
并配置Nginx
  1.     http {
  2.     include mime.types;
  3.     default_type application/octet-stream;
  4.     sendfile on;
  5.     keepalive_timeout 65;
  6.     upstream dynamic_node {
  7.     server 1.1.1.1:80; # 1.1.1.1 是主DNS节点的IP地址
  8.     }
  9.     server {
  10.     listen 8080;
  11.     server_name cdn.xianglei.net;
  12.     location ~* \.(gif|jpg|jpeg|png|wmv|avi|mpg|mpeg|mp4|htm|html|js|Css|mp3|sWF|ico|flv)$ {
  13.     proxy_set_header X-Real-IP $remote_addr;
  14.     proxy_pass http://dynamic_node;
  15.     proxy_store /var/www/cache$uri;
  16.     proxy_store_Access user:rw group:rw all:r;
  17.     }
复制代码
以上我们用nginx只对静态文件进行缓存,将静态文件缓存在/var/www/cache文件夹下,如果你没有的话,需要创建这个文件夹。并且nginx监听的是8080端口,这是因为,我们需要用varnish来监听80端口进行动态文件的转发。这里实际上是用nginx做了一个静态文件的反向代理和缓存的服务器,而真正让用户能够看到网页和动态文件的反向代理是varnish,而静态和动态文件的分开存放,能将效率提升不少。
最后我们来配置varnish服务。
  1.     # tar -xzvf varnish-2.1.2.tar.gz
  2.     # ./configure –prefix=/usr/local/varnish
  3.     # make
  4.     # make install
复制代码
然后是varnish的选项
  1.     backend default {
  2.     .host = “127.0.0.1″;
  3.     .port = “8080″;
  4.     }
  5.     sub vcl_recv {
  6.     if (req.url ~ “\.(js|css|jpg|jpeg|png|gif|gz|tgz|bz2|tbz|mp3|ogg|swf)$”) {
  7.     return (lookup);
  8.     }
  9.     }
  10.     sub vcl_fetch {
  11.     if (req.url ~ “\.(js|css|jpg|jpeg|png|gif|gz|tgz|bz2|tbz|mp3|ogg|swf)$”) {
  12.     unset obj.http.set-cookie;
  13.     }
  14.     }
复制代码
其他的配置内容可参看varnish的配置文章。
总结:
这样做的好处在于:
1.从根源上解决了DNS在轮询上的不确定性,能够做到在DNS上的快速响应。也避免了过去用Nginx+GeoIP时的负载高的问题。毕竟DNS的计算要比Nginx小多了。
2.降低大网站的服务器负载压力和运营成本,毕竟F5BigIP和双线路的价格和服务费都太高了。
3.易扩展性强,如某地区负载压力大,只需在该地区增加边界服务器组的web server即可完成,无需考虑跳转问题。
其他优点我再想想。
来源:http://slaytanic.blog.51cto.com/2057708/516093


该会员没有填写今日想说内容.
您需要登录后才可以回帖 登录 | 立即注册 新浪微博账号登陆

回顶部