使用Nginx搭建自己的CDN服务器
nginx安装
sudo apt update
sudo apt install nginx
nginx配置文件
/etc/nginx/nginx.conf或/etc/nginx/sites-available/default
设置缓存
在Nginx配置中启用缓存，这样可以缓存CDN服务器上的静态内容，以提高性能和速度。
http {
# 在http段下设置缓存路径
proxy_cache_path /path/to/cache levels=1:2 keys_zone=my_cache:10m max_size=10g inactive=60m use_temp_path=off;
# 设置缓存的过期时间
proxy_cache_valid 200 302 10m;
proxy_cache_valid 404 1m;
# 设置代理缓存使用的密钥和缓存的最大大小
proxy_cache_key "$scheme$request_method$host$request_uri";
server {
# 其他服务器设置
location / {
# 使用代理缓存
proxy_cache my_cache;//启用缓存
proxy_cache_use_stale error timeout updating http_500 http_502 http_503 http_504;
proxy_cache_bypass $http_cache_control;//http头
proxy_ignore_headers Cache-Control;
proxy_pass http://backend_server;//后端数据源服务器
}
}
}
正向代理（Forward Proxy）和反向代理（Reverse Proxy）是网络通信中两种常见的代理服务器类型：
方向：正向代理面向客户端，反向代理面向服务器。
位置：正向代理位于客户端旁边，反向代理位于服务器旁边。
作用：正向代理用于客户端访问控制和匿名访问，反向代理用于负载均衡和安全性。
目的：正向代理帮助客户端“前进”访问互联网，反向代理帮助服务器“反向”处理外部请求。
设置域名
为你的CDN服务器配置域名并确保域名正确解析到你的服务器，你需要按照以下步骤操作：
步骤1：域名注册和购买
- 选择一个域名注册商，如GoDaddy、Namecheap、阿里云等。
- 搜索你想要注册的域名，确保它是可用的。
- 完成购买流程并支付相应的费用。
步骤2：DNS管理
- 登录你的域名注册商的控制面板。
- 找到DNS管理或域名管理的部分。
步骤3：设置DNS记录
- A记录：创建一个A记录将域名指向你的CDN服务器的公网IP地址。例如，如果你的CDN服务器IP是
1.2.3.4，创建一个A记录，将yourdomain.com指向1.2.3.4。 - CNAME记录：如果需要将子域名重定向到CDN服务器，可以创建CNAME记录。例如，
cdn.yourdomain.com可以CNAME到yourdomain.com。
步骤4：在CDN服务器上配置Web服务器
- 确保你的CDN服务器上安装了Web服务器软件，如Nginx或Apache。
- 配置Web服务器，使其能通过你的域名来提供服务。例如，在Nginx中，你需要配置一个server块来监听80端口（HTTP）或443端口（HTTPS）：
server { listen 80; server_name www.yourdomain.com; root /path/to/your/web/root; index index.html index.htm; location / { try_files $uri $uri/ =404; } } - 如果你使用了SSL/TLS证书，确保配置了HTTPS并监听443端口。
步骤5：部署SSL/TLS证书（推荐）
- 如果你想启用HTTPS，可以通过Let’s Encrypt获取免费的SSL/TLS证书。
- 安装并配置证书，使Web服务器使用SSL/TLS加密。
步骤6：测试域名解析
- 等待DNS更改全球生效，这可能需要一些时间（通常是几分钟到48小时）。
- 使用命令行工具如
ping或nslookup来检查域名是否已经指向了正确的IP地址。
步骤7：验证配置
- 在Web浏览器中输入你的域名，看是否能够成功访问你的CDN服务器上的内容。
- 检查Web服务器的访问日志，确认有来自不同地区的访问记录。
步骤8：监控和维护
- 定期检查域名的DNS记录和CDN服务器的状态，确保一切正常运行。
完成以上步骤后，你的域名就应该正确地指向你的CDN服务器，并且用户可以通过该域名访问你的网站内容了。记得在进行任何更改时，都要仔细检查配置文件的语法，并在保存更改后重新启动Web服务器。
启用Gzip压缩：
启用Nginx的Gzip压缩功能，以减小传输内容的大小，提高网站的加载速度。你可以在Nginx配置文件中添加以下内容：
http {
gzip on;
gzip_types text/plain text/css application/json application/javascript text/xml application/xml application/xml+rss text/javascript;
}
设置内容源：
配置Nginx以从你的源服务器(通常是你的网站服务器)获取内容。你可以使用proxy_pass指令将请求转发到源服务器。
proxy_cache_path /var/cache/nginx levels=1:2 keys_zone=my_cache:10m max_size=1g;
server {
...
location / {
proxy_pass http://backend;
proxy_cache my_cache;
proxy_cache_bypass $http_cache_control;
...
}
}
测试和调优：
完成上述配置后，测试你的CDN服务器，确保它按预期工作。你可能需要根据实际情况对配置进行调整以优化性能。
常见如何调优CDN：
调优CDN（内容分发网络）通常需要综合考虑多种因素，包括缓存策略、节点选择、网络优化等。以下是一些具体的调优步骤和例子：
1. **缓存策略调优**：
- **例子**：如果你的网站有大量的静态资源，如图片、CSS和JavaScript文件，可以通过设置更长的`Cache-Control`头部值来提高缓存命中率。例如，可以在Nginx中设置：
```nginx
location ~* .(jpg|jpeg|png|gif|js|css)$ {
expires 30d;
}
```
2. **节点选择优化**：
- **例子**：使用CDN提供商的地理DNS或任意cast DNS功能，将用户定向到最近的服务器节点，减少延迟。例如，在阿里云CDN中，可以配置DNS解析策略，确保用户就近访问。
3. **内容预热**：
- **例子**：在新产品发布前，使用CDN的内容预热功能，提前将资源分发到各个边缘节点，避免在高流量时段对源站造成压力。
4. **动态内容优化**：
- **例子**：对于频繁变动的内容，可以配置CDN缓存为较短的过期时间或使用“no-cache”指令，以确保用户获取最新数据。
5. **HTTPS优化**：
- **例子**：启用SSL/TLS加速功能，如使用SPDY或HTTP/2协议，减少HTTPS握手时间。同时，确保CDN支持OCSP Stapling，减少SSL证书验证时间。
6. **网络连接优化**：
- **例子**：如果`traceroute`显示用户到CDN节点的路由路径不理想，可以联系CDN提供商优化路由策略。
7. **资源压缩**：
- **例子**：启用Gzip压缩，减少传输数据的大小。在Nginx中可以设置：
```nginx
location ~* .(html|css|js|json|xml|ld+json|ejs|svg|png|jpg|jpeg|gif|ico)$ {
gzip on;
}
```
8. **HTTP/2 启用**：
- **例子**：在支持HTTP/2的CDN节点上启用该协议，利用其多路复用、服务器推送等特性提高性能。
9. **图片优化**：
- **例子**：使用CDN的图片处理功能，自动进行图片压缩和格式转换，如将JPG转换为WebP格式。
10. **性能监控与日志分析**：
- **例子**：定期检查CDN日志，分析错误码、访问模式和性能指标，使用工具如GoAccess或AWStats进行日志分析。
11. **定制化配置**：
- **例子**：根据网站特性，定制CDN的配置。例如，对于视频网站，可以配置CDN以支持视频流的平稳传输。
12. **使用性能测试工具**：
- **例子**：使用WebPageTest或阿里云的云拨测产品，定期测试CDN性能，分析不同条件下的性能表现。
13. **故障排查**：
- **例子**：如果发现某些资源加载缓慢，检查资源URL是否被CDN正确缓存，确认没有因为意外的查询字符串导致缓存失效。
14. **用户行为分析**：
- **例子**：分析用户访问模式，识别热门内容和高流量时段，据此调整CDN策略，如增加热门内容的缓存或在高峰时段增加带宽。
通过上述调优步骤，可以显著提升CDN的性能，改善网站加载速度和用户体验。调优是一个持续的过程，需要定期进行性能测试和配置调整。
对于视频网站，可以配置CDN以支持视频流的平稳传输。
对于视频网站，确保视频内容的平稳传输是提升用户体验的关键。以下是一些具体的配置步骤和例子：
1. **视频内容的缓存策略**：
- 例子：在Nginx中配置视频文件的缓存时间，使用`proxy_cache_valid`指令为不同类型的视频内容设置不同的缓存时间。
```nginx
location ~* .(mp4|avi|mov)$ {
proxy_cache my_cache;
proxy_cache_valid 200 1h;
proxy_cache_valid 404 1m;
}
```
2. **视频切片和分块传输**：
- 例子：使用Apple HLS(HTTP Live Streaming)或DASH(Dynamic Adaptive Streaming over HTTP)技术，将视频切分为多个小片段，允许客户端按需加载视频的不同部分。
- 配置CDN以支持这些协议，确保客户端可以有效地从最近的节点请求视频切片。
3. **自适应比特率流**：
- 例子：在视频服务器上启用自适应比特率流，允许客户端根据当前网络条件选择最合适的视频质量。这通常通过HLS或DASH实现。
4. **内容预热**：
- 例子：对于即将发布的热门视频内容，使用CDN的内容预热功能，提前将视频内容分发到各个边缘节点，减少发布时的源站压力。
5. **视频编码和压缩**：
- 例子：使用FFmpeg工具对视频进行压缩和转码，生成不同分辨率和比特率的视频流，以适应不同用户的带宽条件。
```bash
ffmpeg -i input.mp4 -c:v libx264 -crf 24 -preset veryfast -c:a aac -b:a 128k -movflags +faststart output.mp4
```
6. **启用HTTP/2**：
- 例子：在服务器上启用HTTP/2，利用其多路复用特性减少连接数，提高视频传输效率。
```nginx
server {
listen 80;
listen 443 ssl http2;
server_name example.com;
...
http2_push_preload on;
}
```
7. **负载均衡和故障转移**：
- 例子：在CDN配置中设置负载均衡策略，如轮询、最少连接或IP哈希，确保视频请求均匀分配到各个节点。同时，配置故障转移机制，以便在节点故障时自动切换。
8. **视频播放器配置**：
- 例子：使用支持自适应比特率流的播放器，如Video.js或JW Player，并配置播放器以从CDN节点获取视频流。
9. **监控和日志分析**：
- 例子：利用CDN提供商的监控工具，如AWS CloudFront的日志分析，监控视频流的性能，如请求量、错误率和传输速度。
10. **带宽预留和QoS**：
- 例子：在CDN上为视频流预留足够的带宽，并设置优先级，确保在高流量时段也能保持视频传输的质量。
11. **使用QUIC协议**：
- 例子：如果CDN支持QUIC协议，可以启用它以减少连接建立时间，并提高视频传输的稳定性。
12. **客户端适配**：
- 例子：在视频播放器中实现网络条件自动检测，根据用户的带宽和设备性能自动选择最合适的视频质量。
通过上述配置，可以显著提高视频网站的性能，减少缓冲和中断，提供更加流畅的视频观看体验。这些措施需要根据具体的CDN提供商和视频网站需求进行调整和优化。
测试
测试CDN（内容分发网络）性能通常涉及以下几个步骤：
1. **选择测试工具**：
- 使用在线工具如WebPageTest、GTmetrix或Google PageSpeed Insights进行初步测试。
- 例子：访问WebPageTest网站，输入你的网站URL，并选择不同的测试位置和网络条件进行测试。
2. **性能基准测试**：
- 在实施任何CDN配置更改之前，进行性能基准测试，以便于后续比较优化效果。
- 例子：记录下初始的加载时间、TTFB（首字节时间）、缓存命中率等关键指标。
3. **全球性能测试**：
- 使用全球分布式的测试工具，如Akamai’s CloudTest或Gomez，测试不同地理位置下的性能。
- 例子：使用CloudTest从北美、亚太和欧洲等多个地区测试网站的加载时间和响应时间。
4. **资源加载测试**：
- 使用工具如Apache JMeter或Siege模拟高并发请求，测试CDN对资源加载的处理能力。
- 例子：在JMeter中配置多个线程组模拟用户并发访问，测试CDN的负载均衡和响应能力。
5. **视频和流媒体测试**：
- 如果网站包含视频内容，使用视频特定的测试工具，如Wireshark或Nagios，监控视频流的稳定性和质量。
- 例子：使用Wireshark捕获视频流传输过程中的数据包，分析延迟和丢包情况。
6. **SSL/TLS测试**：
- 对于使用HTTPS的网站，使用SSL Labs的SSL Test工具测试CDN服务器的SSL/TLS配置。
- 例子：输入网站URL进行测试，获取SSL/TLS配置的评级和改进建议。
7. **缓存策略测试**：
- 检查CDN是否正确地实现了缓存策略，如验证`Cache-Control`和`Expires`头部。
- 例子：使用curl命令测试资源的HTTP头部信息：
```bash
curl -I https://www.example.com/image.jpg
```
8. **DNS解析测试**：
- 使用`dig`或`nslookup`命令测试CDN的DNS解析速度和准确性。
- 例子：执行`dig example.com`查看DNS解析结果和时间。
9. **监控和日志分析**：
- 利用CDN提供商的监控系统，分析实时性能数据和日志文件。
- 例子：在AWS CloudFront中查看实时日志，分析请求量、错误率和流量模式。
10. **用户体验测试**：
- 使用Real User Monitoring (RUM) 工具收集真实用户的性能反馈。
- 例子：集成New Relic或Google Analytics的RUM功能，追踪实际用户的性能体验。
11. **故障转移测试**：
- 模拟网络故障，测试CDN的故障转移机制是否有效。
- 例子：使用网络模拟器如Clumsy中断连接，看CDN是否能够自动切换到健康节点。
12. **性能调优测试**：
- 根据测试结果调整CDN配置，如修改缓存时间、负载均衡策略等，然后重新测试以验证改进效果。
- 例子：在Nginx中调整缓存策略后，再次使用WebPageTest进行测试，比较前后性能差异。
通过上述步骤，你可以全面地测试CDN的性能，识别瓶颈，并根据测试结果进行调优。记住，CDN测试和调优是一个持续的过程，需要定期进行以适应网站流量和内容的变化。
多路复用
多路复用（Multiplexing）是一种通信方式，允许多个数据流共享单一的物理链路，通过不同的标识符区分不同的数据流。在网络协议中，多路复用计数通常指的是在多路复用上下文中，可以同时传输的独立数据流的数量。
在HTTP/2协议中，多路复用是一个核心特性，它允许客户端和服务器在单一的TCP连接上同时发送多个请求和响应，从而减少了连接的建立和关闭的开销，提高了传输效率。
多路复用计数的一些关键点：
-
并行传输：在HTTP/2中，多路复用允许在同一个TCP连接上并行传输多个请求和响应，而不是像HTTP/1.x那样需要为每个请求/响应建立和关闭一个连接。
-
流ID：每个HTTP/2的请求或响应流都被分配一个唯一的流ID，用于区分不同的数据流。
-
性能提升：多路复用减少了连接的建立和关闭时间，减少了HTTP头部信息的冗余传输，从而提高了网页的加载速度。
-
流优先级：HTTP/2支持流的优先级和权重，允许客户端和服务器控制不同流的传输顺序。
-
头部压缩：HPACK算法用于压缩HTTP头部，进一步减少了数据传输量。
-
流量控制：HTTP/2使用流控制窗口来控制数据的发送速率，避免网络拥塞。
例子：
假设一个网页需要加载多个资源，如HTML、CSS、JavaScript文件和图片。在HTTP/1.x中，这些资源可能需要通过多个TCP连接顺序加载。而在HTTP/2中，所有这些资源可以同时在单一的TCP连接上加载，每个资源分配一个流ID，客户端和服务器通过流ID来区分和管理这些并行的传输流。
例如，客户端可能发送如下的HTTP/2请求：
HEADERS (stream_id=1): :method: GET
:scheme: https
:path: /css/style.css
:authority: www.example.com
:priority: 1
BLOCK (stream_id=1): [data for stream 1]
HEADERS (stream_id=3): :method: GET
:scheme: https
:path: /js/script.js
:authority: www.example.com
:priority: 3
BLOCK (stream_id=3): [data for stream 3]
在这个例子中，流1和流3是两个独立的请求，它们通过不同的流ID进行区分，并且可以同时在单一的TCP连接上传输。
总的来说，多路复用计数指的是在多路复用连接中可以打开的流的数量，它是衡量多路复用能力的一个指标。在HTTP/2中，多路复用允许更高效的数据传输，减少了网页加载时间，改善了用户体验。
其他参考文档链接：
Nginx实现负载均衡&Nginx缓存功能：tengine-nginx，Memcached
https://www.cnblogs.com/keerya/p/7819842.html利用 Nginx 反向代理和缓存功能自建及优化 CDN 加速节点详细教程
https://vpsxb.net/3934/nginx反向代理+缓存开启+url重写+负载均衡(带健康探测)的部署方案 NGINX反代缓存
https://www.bnxb.com/nginx/27505.html
