[ { "path": "README.md", "content": "# 运维实践指南\n\n[![GitHub stars](https://img.shields.io/github/stars/meetbill/op_practice_book.svg?style=social&label=Star)](https://github.com/meetbill/op_practice_book/stargazers)\n[![GitHub forks](https://img.shields.io/github/forks/meetbill/op_practice_book.svg?style=social&label=Fork)](https://github.com/meetbill/op_practice_book/fork)\n[![GitHub watchers](https://img.shields.io/github/watchers/meetbill/op_practice_book.svg?style=social&label=Watch)](https://github.com/meetbill/op_practice_book/watchers)\n\n![Screenshot](./images/ops.jpg)\n\n## 阅读本书\n\n> * [网上阅读(github)](https://github.com/meetbill/op_practice_book/blob/master/SUMMARY.md)\n> * [下载本书(pdf)](https://www.gitbook.com/download/pdf/book/billwang139967/op_practice_book)\n\n## 相关内容\n\n> * [文档规范](./standard.md)\n> * [wiki](https://github.com/meetbill/op_practice_book/wiki)\n> * [相关程序下载](https://github.com/meetbill/op_practice_code)\n> * [点击进行反馈](https://github.com/meetbill/op_practice_book/issues)\n\n## 参加步骤\n\n* 在 GitHub 上 `fork` 到自己的仓库，然后 `clone` 到本地，并设置用户信息。\n```\n$ git clone https://github.com/meetbill/op_practice_book.git\n$ cd op_practice_book\n$ git config user.name \"yourname\"\n$ git config user.email \"your email\"\n```\n* 修改代码后提交，并推送到自己的仓库。\n```\n$ #do some change on the content\n$ git commit -am \"Fix issue #1: change helo to hello\"\n$ git push\n```\n* 在 GitHub 网站上提交 pull request。\n* 定期使用项目仓库内容更新自己仓库内容。\n```\n$ git remote add upstream https://github.com/meetbill/op_practice_book.git\n$ git fetch upstream\n$ git checkout master\n$ git rebase upstream/master\n$ git push -f origin master\n```\n\n## 小额捐款\n\n如果觉得 `op_practice_book` 对您有帮助，可以请笔者喝杯咖啡（支付宝）\n\n![Screenshot](images/5.jpg)\n\n## Stargazers over time\n\n[![Stargazers over time](https://starchart.cc/meetbill/op_practice_book.svg)](https://starchart.cc/meetbill/op_practice_book)\n" }, { "path": "SUMMARY.md", "content": "# Summary\n\n* [前言](doc/README.md)\n* [Linux 篇](doc/Linux/README.md)\n * [Linux 基础](doc/Linux/base.md)\n * [Linux 工具](doc/Linux/tools.md)\n * [Linux 安全](doc/Linux/safety.md)\n * [Linux 优化](doc/Linux/optimize.md)\n * [脚本编程 (shell)](doc/Linux/shell.md)\n * [常见服务架设](doc/Linux/service.md)\n * [常用问题处理](doc/Linux/op.md)\n* [数据库及缓存篇](doc/db/README.md)\n * [MySQL](doc/db/mysql.md)\n * [MongoDB](doc/db/mongodb.md)\n * [Redis](doc/db/redis.md)\n * [MemCache](doc/db/memcache.md)\n* [Web 篇](doc/web/README.md)\n * [Web 基础](doc/web/web_base.md)\n * [Nginx](doc/web/nginx.md)\n * [Django](doc/web/django.md)\n * [Butterfly](doc/web/butterfly.md)\n* [监控篇](doc/monitor/README.md)\n * [Zabbix](doc/monitor/zabbix.md)\n * [Monit](doc/monitor/monit.md)\n* [存储篇](doc/store/README.md)\n * [磁盘及 RAID](doc/store/RAID.md)\n * [DAS/SAN/NAS](doc/store/store.md)\n * [GFS](doc/store/gfs.md)\n * [GlusterFS](doc/store/glusterfs.md)\n * [Ceph](doc/store/ceph.md)\n * [MooseFS](doc/store/moosefs.md)\n* [物理机，云服务及虚拟化篇](doc/cloud/README.md)\n * [物理机](doc/cloud/physical_machine.md)\n * [AWS](doc/cloud/aws.md)\n * [阿里云](doc/cloud/aliyun.md)\n * [KVM](doc/cloud/kvm.md)\n * [Docker](doc/cloud/docker.md)\n * [OpenStack](doc/cloud/openstack.md)\n * [K8s](doc/cloud/k8s.md)\n* [集群应用篇](doc/HA/README.md)\n * [负载均衡](doc/HA/lb.md)\n * [LVS](doc/HA/lvs.md)\n * [高可用的 LVS 负载均衡集群](doc/HA/keepalived.md)\n * [ZooKeeper](./doc/cluster/zookeeper.md)\n* [其他篇](doc/other/README.md)\n * [Windows 下服务](doc/other/windows.md)\n" }, { "path": "doc/HA/README.md", "content": "# 集群应用篇\n\n> * 负载均衡\n> * LVS\n> * 高可用的 LVS 负载均衡集群\n" }, { "path": "doc/HA/keepalived.md", "content": "## Keepalived 使用\n\n\n* [1 Keepalived 介绍及安装](#1-keepalived-介绍及安装)\n * [1.1 介绍](#11-介绍)\n * [1.1.1 LVS 和 Keepalived 的关系](#111-lvs-和-keepalived-的关系)\n * [1.2 安装](#12-安装)\n * [1.3 使用](#13-使用)\n* [2 Keepalived 配置相关](#2-keepalived-配置相关)\n * [2.1 global defs 区域](#21-global-defs-区域)\n * [2.2 vrrp script 区域](#22-vrrp-script-区域)\n * [2.3 VRRPD 配置](#23-vrrpd-配置)\n * [2.3.1 VRRP Sync Groups](#231-vrrp-sync-groups)\n * [2.3.2 VRRP 实例配置](#232-vrrp-实例配置)\n * [2.4 LVS 配置](#24-lvs-配置)\n* [3 Keepalived 工作原理](#3-keepalived-工作原理)\n * [3.1 VRRP 工作流程](#31-vrrp-工作流程)\n * [3.2 MASTER 和 BACKUP 节点的优先级如何调整？](#32-master-和-backup-节点的优先级如何调整)\n * [3.3 ARP 查询处理](#33-arp-查询处理)\n * [3.4 虚拟 IP 地址和 MAC 地址](#34-虚拟-ip-地址和-mac-地址)\n * [3.5 Keepalived 进程](#35--keepalived-进程)\n * [3.6 Keepalived 健康检查方式](#36-keepalived-健康检查方式)\n* [4 Keepalived 场景应用](#4-keepalived-场景应用)\n * [4.1 Keepalived 主从切换](#41-keepalived-主从切换)\n * [4.2 Keepalived 仅做 HA 时的配置](#42-keepalived-仅做-ha-时的配置)\n* [5 其他配置](#5-其他配置)\n * [5.1 重定向 Keepalived 输出日志](#51-重定向-keepalived-输出日志)\n * [5.2 只用 VRRP 模块](#52-只用-vrrp-模块)\n* [6 常见问题](#6-常见问题)\n * [6.1 virtual_router_id 冲突](#61-virtual_router_id-冲突)\n * [6.2 VIP 无法访问](#62-vip-无法访问)\n * [6.2.1 VIP 被抢占](#621-vip-被抢占)\n * [6.2.2 网关的 ARP 缓存没有刷新](#622-网关的-arp-缓存没有刷新)\n\n\n# 1 Keepalived 介绍及安装\n\n## 1.1 介绍\n\nKeepalived 是一个基于 VRRP 协议来实现的 WEB 服务高可用方案，其功能类似于 [heartbeat], 可以利用其来避免单点故障。一个 WEB 服务至少会有 2 台服务器运行 Keepalived，一台为主服务器（MASTER），一台为备份服务器（BACKUP），但是对外表现为一个虚拟 IP，主服务器会发送特定的消息给备份服务器，当备份服务器收不到这个消息的时候，即主服务器宕机的时候，备份服务器就会接管虚拟 IP，继续提供服务，从而保证了高可用性。\n\n\t \t+---------VIP(192.168.0.3)----------+\n\t\t| |\n\t | |\n\tserver(MASTER) <----keepalived----> server(BACKUP)\n\t(192.168.0.1) (192.168.0.2)\n\n### 1.1.1 LVS 和 Keepalived 的关系\n\nLVS 可以不依赖 Keepalived 而进行分发请求，但是想让负载调度器动态监控真实服务器心跳 需要写很复杂的代码。而 Keepalived 正是一个通过简单配置就能满足请求分发、心跳检测、集群管理的好工具\n\n## 1.2 安装\n\n编译安装：\n\n\t$ wget http://www.keepalived.org/software/keepalived-1.2.2.tar.gz\n\t$ tar -zxvf keepalived-1.2.2.tar.gz\n\t$ cd keepalived-1.2.2\n\t$ ./configure --prefix=/usr/local/keepalived\n\t$ make && make install\n\n拷贝需要的文件：\n\n\t$ cp /usr/local/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/keepalived\n\t$ cp /usr/local/keepalived/sbin/keepalived /usr/sbin/\n\t$ cp /usr/local/keepalived/etc/sysconfig/keepalived /etc/sysconfig/\n\t$ mkdir -p /etc/keepalived/\n\t$ cp /usr/local/etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf\n\n`/etc/keepalived/keepalived.conf`是默认配置文件\n\n## 1.3 使用\n\n\t$ /etc/init.d/keepalived start | restart | stop\n\n当启动了 Keepalived 之后，通过`ifconfig`是看不到 VIP 的，但是通过`ip a`命令是可以看到的。 当 MASTER 宕机，BACKUP 升级为 MASTER，这些 VRRP_Instance 状态的切换都可以在`/var/log/message`中进行记录。\n\n# 2 Keepalived 配置相关\n\nKeepalived 只有一个配置文件 /etc/keepalived/keepalived.conf，里面主要包括以下几个配置区域，分别是 global\\_defs、static\\_ipaddress、static\\_routes、vrrp_script、vrrp\\_instance 和 virtual\\_server。\n\n## 2.1 global defs 区域\n\n主要是配置故障发生时的通知对象以及机器标识\n\n```\nglobal_de_s {\n notification_email {\n a@abc.com\n b@abc.com\n ...\n }\n notification_email_from alert@abc.com\n smtp_server smtp.abc.com\n smtp_connect_timeout 30\n enable_traps\n router_id host163\n}\n```\n\n* notification_email 故障发生时给谁发邮件通知。\n\n* notification_email_from 通知邮件从哪个地址发出。\n\n* smpt_server 通知邮件的 smtp 地址。\n\n* smtp_connect_timeout 连接 smtp 服务器的超时时间。\n\n* enable_traps 开启 SNMP 陷阱（[Simple Network Management Protocol][snmp]）。\n\n* router_id 标识本节点的字条串，通常为 hostname，但不一定非得是 hostname。故障发生时，邮件通知会用到。\n\n## 2.2 vrrp script 区域\n\n用来做健康检查的，当时检查失败时会将`vrrp_instance`的`priority`减少相应的值。\n\n```\nvrrp_script chk_http_port {\n script \" * VRRP 路由器和虚拟路由器\n> * 主控路由器和备份路由器\n\nVRRP 路由器是指运行 VRRP 的路由器，是物理实体，虚拟路由器是指 VRRP 协议创建的，是逻辑概念。一组 VRRP 路由器协同工作，共同构成一台虚拟路由器。该虚拟路由器对外表现为一个具有唯一固定 IP 地址和 MAC 地址的逻辑路由器。处于同一个 VRRP 组中的路由器具有两种互斥的角色：\n\n主控路由器和备份路由器，一个 VRRP 组中有且只有一台处于主控角色的路由器，可以有一个或者多个处于备份角色的路由器。VRRP 协议使用选择策略从路由器组中选出一台作为主控，负责 ARP 相应和转发 IP 数据包，组中的其它路由器作为备份的角色处于待命状态。当由于某种原因主控路由器发生故障时，备份路由器能在几秒钟的时延后升级为主路由器。由于此切换非常迅速而且不用改变 IP 地址和 MAC 地址，故对终端使用者系统是透明的。\n\nVRRPD 配置包括两部分\n\n> * VRRP 同步组 (synchroization group)\n> * VRRP 实例 (VRRP Instance)\n\n### 2.3.1 VRRP Sync Groups\n\nvrrp_rsync_group 用来定义 vrrp_intance 组，使得这个组内成员动作一致。举个例子来说明一下其功能：\n\n两个 vrrp_instance 同属于一个 vrrp_rsync_group，那么其中一个 vrrp_instance 发生故障切换时，另一个 vrrp_instance 也会跟着切换（即使这个 instance 没有发生故障）。\n\neg: 机器有两个网段，一个内网一个外网，每个网段开启一个 VRRP 实例，假设 VRRP 配置为检查内网，那么当外网出现问题时，VRRPD 认为自己仍然健康，那么不会发送 Master 和 Backup 的切换，从而导致了问题。Sync group 就是为了解决这个问题。可以将两个实例都放到一个 Sync group，这样，group 里面任何一个实例出现问题都会发生切换\n\n```\nvrrp_sync_group VG_1 {\n group {\n inside_network # name of vrrp_instance (below)\n outside_network # One for each moveable IP.\n ...\n }\n notify_master /path/to_master.sh\n notify_backup /path/to_backup.sh\n notify_fault \"/path/fault.sh VG_1\"\n notify /path/notify.sh\n smtp_alert\n}\n```\n* notify_master/backup/fault 分别表示切换为主 / 备 / 出错时所执行的脚本。\n\n* notify 表示任何一状态切换时都会调用该脚本，并且该脚本在以上三个脚本执行完成之后进行调用，Keepalived 会自动传递三个参数（$1 = \"GROUP\"|\"INSTANCE\"，$2 = name of group or instance，$3 = target state of transition(MASTER/BACKUP/FAULT)）。\n\n* smtp_alert 表示是否开启邮件通知（用全局区域的邮件设置来发通知）。\n\n### 2.3.2 VRRP 实例配置\n\nvrrp_instance 用来定义对外提供服务的 VIP 区域及其相关属性。\n\n```\n\nvrrp_instance VI_1 {\n state MASTER\n interface eth0\n use_vmac \n dont_track_primary\n track_interface {\n eth0\n eth1\n }\n mcast_src_ip \n lvs_sync_daemon_interface eth1\n garp_master_delay 10\n virtual_router_id 1\n priority 100\n advert_int 1\n authentication {\n auth_type PASS\n auth_pass 12345678\n }\n virtual_ipaddress {\n 10.210.214.253/24 brd 10.210.214.255 dev eth0\n 192.168.1.11/24 brd 192.168.1.255 dev eth1\n }\n\n virtual_routes {\n 172.16.0.0/12 via 10.210.214.1\n 192.168.1.0/24 via 192.168.1.1 dev eth1\n default via 202.102.152.1\n }\n\n track_script {\n chk_http_port\n }\n\n nopreempt\n preempt_delay 300\n debug\n notify_master |\n notify_backup |\n notify_fault |\n notify |\n smtp_alert\n}\n```\n\n* state 可以是 MASTER 或 BACKUP，不过当其他节点 Keepalived 启动时会将 priority 比较大的节点选举为 MASTER，因此该项其实没有实质用途。\n\n* interface 节点固有 IP（非 VIP）的网卡，用来发 VRRP 包。\n\n* use_vmac 是否使用 VRRP 的虚拟 MAC 地址。\n\n* dont_track_primary 忽略 VRRP 网卡错误。（默认未设置）\n\n* track_interface 监控以下网卡，如果任何一个不通就会切换到 FALT 状态。（可选项）\n\n* mcast_src_ip 修改 vrrp 组播包的源地址，默认源地址为 master 的 IP。（由于是组播，因此即使修改了源地址，该 master 还是能收到回应的）\n\n* lvs_sync_daemon_interface 绑定 lvs syncd 的网卡。\n\n* garp_master_delay 当切为主状态后多久更新 ARP 缓存，默认 5 秒。\n\n* virtual_router_id 取值在 0-255 之间，用来区分多个 instance 的 VRRP 组播。\n\n注意： 同一网段中 virtual_router_id 的值不能重复，否则会出错，相关错误信息如下。\n```\nKeepalived_vrrp[27120]: ip address associated with VRID not present in received packet :\none or more VIP associated with VRID mismatch actual MASTER advert\nbogus VRRP packet received on eth1 !!!\nreceive an invalid ip number count associated with VRID!\nVRRP_Instance(xxx) ignoring received advertisment...\n```\n\n可以用这条命令来查看该网络中所存在的 vrid：`tcpdump -nn -i any net 224.0.0.0/8`\n\n* priority 用来选举 master 的，要成为 master，那么这个选项的值 [最好高于其他机器 50 个点][priority_more_than_50]，该项 [取值范围][priority] 是 1-255（在此范围之外会被识别成默认值 100）。\n\n* advert_int 发 VRRP 包的时间间隔，即多久进行一次 master 选举（可以认为是健康查检时间间隔）。\n\n* authentication 认证区域，认证类型有 PASS 和 HA（IPSEC），推荐使用 PASS（密码只识别前 8 位）。\n\n* virtual_ipaddress VIP，不解释了。\n\n* virtual_routes 虚拟路由，当 IP 漂过来之后需要添加的路由信息。\n\n* virtual_ipaddress_excluded 发送的 VRRP 包里不包含的 IP 地址，为减少回应 VRRP 包的个数。在网卡上绑定的 IP 地址比较多的时候用。\n\n* nopreempt 允许一个 priority 比较低的节点作为 master，即使有 priority 更高的节点启动。\n\n首先 nopreemt 必须在 state 为 BACKUP 的节点上才生效（因为是 BACKUP 节点决定是否来成为 MASTER 的），其次要实现类似于关闭 auto failback 的功能需要将所有节点的 state 都设置为 BACKUP，或者将 master 节点的 priority 设置的比 BACKUP 低。我个人推荐使用将所有节点的 state 都设置成 BACKUP 并且都加上 nopreempt 选项，这样就完成了关于 autofailback 功能，当想手动将某节点切换为 MASTER 时只需去掉该节点的 nopreempt 选项并且将 priority 改的比其他节点大，然后重新加载配置文件即可（等 MASTER 切过来之后再将配置文件改回去再 reload 一下）。\n\n当使用`track_script`时可以不用加`nopreempt`，只需要加上`preempt_delay 5`，这里的间隔时间要大于`vrrp_script`中定义的时长。\n\n* preempt_delay master 启动多久之后进行接管资源（VIP/Route 信息等），并提是没有`nopreempt`选项。\n\n## 2.4 LVS 配置\n\nvirtual_server_group 一般在超大型的 LVS 中用到，一般 LVS 用不过这东西，因此不多说。\n\n```\nvirtual_server IP Port {\n delay_loop \n lb_algo rr|wrr|lc|wlc|lblc|sh|dh\n lb_kind NAT|DR|TUN\n persistence_timeout \n persistence_granularity \n protocol TCP\n ha_suspend\n virtualhost \n alpha\n omega\n quorum \n hysteresis \n quorum_up |\n quorum_down |\n sorry_server \n real_server {\n weight \n inhibit_on_failure\n notify_up |\n notify_down |\n # HTTP_GET|SSL_GET|TCP_CHECK|SMTP_CHECK|MISC_CHECK\n HTTP_GET|SSL_GET {\n url {\n path \n # Digest computed with genhash\n digest \n status_code \n }\n connect_port \n connect_timeout \n nb_get_retry \n delay_before_retry \n }\n }\n}\n```\n\n* delay_loop 延迟轮询时间（单位秒）。\n\n* lb_algo 后端调试算法（load balancing algorithm）。\n\n* lb_kind LVS 调度类型 [NAT][nat]/[DR][dr]/[TUN][tun]。\n\n* virtualhost 用来给 HTTP_GET 和 SSL_GET 配置请求 header 的。\n\n* sorry_server 当所有 real server 宕掉时，sorry server 顶替。\n\n* real_server 真正提供服务的服务器。\n\n* weight 权重。\n\n* notify_up/down 当 real server 宕掉或启动时执行的脚本。\n\n* 健康检查的方式，N 多种方式。\n\n* path 请求 real serserver 上的路径。\n\n* digest/status_code 分别表示用 genhash 算出的结果和 http 状态码。\n\n* connect_port 健康检查，如果端口通则认为服务器正常。\n\n* connect_timeout,nb_get_retry,delay_before_retry 分别表示超时时长、重试次数，下次重试的时间延迟。\n\n其他选项暂时不作说明。\n\n\n# 3 Keepalived 工作原理\n\nKeepalived 是以 VRRP 协议为实现基础的，VRRP 全称 Virtual Router Redundancy Protocol，即***虚拟路由冗余协议***。\n\n虚拟路由冗余协议，可以认为是实现路由器高可用的协议，即将 N 台提供相同功能的路由器组成一个路由器组，这个组里面有一个 master 和多个 backup，master 上面有一个对外提供服务的 VIP（该路由器所在局域网内其他机器的默认路由为该 VIP），master 会发组播，当 backup 收不到 vrrp 包时就认为 master 宕掉了，这时就需要根据 VRRP 的优先级***vrrp_priority***来选举一个 backup 当 master***select_master***。这样的话就可以保证路由器的高可用了。\n\nKeepalived 主要有三个模块，分别是 core、check 和 vrrp。core 模块为 Keepalived 的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。check 负责健康检查，包括常见的各种检查方式。vrrp 模块是来实现 VRRP 协议的。\n```\n +-------------+\n\t\t\t\t\t\t | uplink |\n\t\t\t\t\t\t +-------------+\n\t\t\t\t\t\t\t |\n\t\t\t\t\t\t\t +\n\t\t keep|alived\n \t\t 192.168.0.3\n \t+-------------+\n \t| virtualIP |\n \t+-------------+\n \t \t 192.168.0.1 主 | 192.168.0.2\n\t \t+--------------+ | +--------------+\n\t \t|LVS+Keepalived|---|LVS+Keepalived|\n\t \t+--------------+ +--------------+\n\t\t\t +------------------+------------------+\n\t\t\t | \t\t\t\t | |\n\t\t+-------------+ +-------------+ +-------------+\n\t\t| web01 | | web02 | | web03 |\n\t\t+-------------+ +-------------+ +-------------+\n```\n\n## 3.1 VRRP 工作流程\n\n(1). 初始化\n\n路由器启动时，如果路由器的优先级是 255（最高优先级，路由器拥有路由器地址）, 要发送 VRRP 通告信息，并发送广播 ARP 信息通告路由器 IP 地址\n对应的 MAC 地址为路由虚拟 MAC, 设置通告信息定时器准备定时发送 VRRP 通告信息，转为 MASTER 状态；否则进入 BACKUP 状态，设置定时器检查\n定时检查是否收到 MASTER 的通告信息。\n\n(2).Master\n\n 设置定时通告定时器；\n\n 用 VRRP 虚拟 MAC 地址响应路由器 IP 地址的 ARP 请求；\n\n 转发目的 MAC 是 VRRP 虚拟 MAC 的数据包；\n\n 如果是虚拟路由器 IP 的拥有者，将接受目的地址是虚拟路由器 IP 的数据包，否则丢弃；\n\n 当收到 shutdown 的事件时删除定时通告定时器，发送优先权级为 0 的通告包，转初始化状态；\n\n 如果定时通告定时器超时时，发送 VRRP 通告信息；\n\n 收到 VRRP 通告信息时，如果优先权为 0, 发送 VRRP 通告信息；否则判断数据的优先级是否高于本机，或相等而且实际 IP 地址大于本地实际 IP, 设置定时通告定时器，复位主机超时定时器，转 BACKUP 状态；否则的话，丢弃该通告包；\n\n(3).Backup\n\n 设置主机超时定时器；\n\n 不能响应针对虚拟路由器 IP 的 ARP 请求信息；\n\n 丢弃所有目的 MAC 地址是虚拟路由器 MAC 地址的数据包；\n\n 不接受目的是虚拟路由器 IP 的所有数据包；\n\n 当收到 shutdown 的事件时删除主机超时定时器，转初始化状态；\n\n 主机超时定时器超时的时候，发送 VRRP 通告信息，广播 ARP 地址信息，转 MASTER 状态；\n\n 收到 VRRP 通告信息时，如果优先权为 0, 表示进入 MASTER 选举；否则判断数据的优先级是否高于本机，如果高的话承认 MASTER 有效，复位主机超时定时器；否则的话，丢弃该通告包；\n\n\n## 3.2 MASTER 和 BACKUP 节点的优先级如何调整？\n\n首先，每个节点有一个初始优先级，由配置文件中的 priority 配置项指定，MASTER 节点的 priority 应比 BAKCUP 高。\n运行过程中 Keepalived 根据 vrrp_script 的 weight 设定，增加或减小节点优先级。规则如下：\n\n1. 当 weight > 0 时，vrrp_script script 脚本执行返回 0（成功）时优先级为 priority + weight, 否则为 priority.\n当 BACKUP 发现自己的优先级大于 MASTER 通告的优先级时，进行主从切换。\n\n2. 当 weight < 0 时，vrrp_script script 脚本执行返回非 0（失败）时优先级为 priority + weight, 否则为 priority.\n当 BACKUP 发现自己的优先级大于 MASTER 通告的优先级时，进行主从切换。\n\n3. 当两个节点的优先级相同时，以节点发送 VRRP 通告的 IP 作为比较对象，IP 较大者为 MASTER.\n\n以上文中的配置为例：\n\n HOST1: 192.168.0.1, priority=91, MASTER(default)\n HOST2: 192.168.0.2, priority=90, BACKUP\n VIP: 192.168.0.3 weight = 2\n\n抓包命令：tcpdump -nn vrrp\n\n## 3.3 ARP 查询处理\n\n当内部主机通过 ARP 查询虚拟路由器 IP 地址对应的 MAC 地址时，MASTER 路由器回复的 MAC 地址为虚拟的 VRRP 的 MAC 地址，而不是实际网卡的\nMAC 地址，这样在路由器切换时让内网机器觉察不到；而在路由器重新启动时，不能主动发送本机网卡的实际 MAC 地址。如果虚拟路由器开启的 ARP\n代理 (proxy_arp) 功能，代理的 ARP 回应也回应 VRRP 虚拟 MAC 地址；\n\n## 3.4 虚拟 IP 地址和 MAC 地址\n\nVRRP 组（备份组）中的虚拟路由器对外表现为唯一的虚拟 MAC 地址，地址格式为 00-00-5E-00-01-[VRID], VRID 为 VRRP 组的编号，范围是 0~255.\n\n## 3.5 Keepalived 进程\n\nKeepalived 主要有三个模块，分别是 core、check 和 vrrp。\n\n> * core 模块为 Keepalived 的核心，负责主进程的启动、维护以及全局配置文件的加载和解析。\n> * check 负责健康检查，包括常见的各种检查方式。\n> * vrrp 模块是来实现 VRRP 协议的。\n\n## 3.6 Keepalived 健康检查方式\n\nKeepalived 对后端 realserver 的健康检查方式主要有以下几种：\n\n***TCP_CHECK***\n\n工作在第 4 层，Keepalived 向后端服务器发起一个 tcp 连接请求，如果后端服务器没有响应或者超时，那么这个后端将从服务器中移除\n\n***HTTP_GET***\n\n工作在第 5 层，通过向指定的 URL 执行 http 请求，将得到的结果比对（经检验此种方法在多个实体服务器只能检测到第一个，故不可行）\n\n***SSL_GET***\n\n与 HTTP_GET 类似\n***MISC_CHECK***\n\n用脚本来检测，脚本如果带有参数，需要将脚本和参数放入到双引号内。脚本的返回值需要为：\n\n> * 0-------------- 检测成功\n> * 1-------------- 检测失败，将从服务器池中移除\n> * 2~255-------- 检测成功；如果有设置 misc_dynamic，权重自动调整为退出码 -2，如果退出码为 200，权重自动调整为 198=200-2\n\n# 4 Keepalived 场景应用\n\n## 4.1 Keepalived 主从切换\n\n主从切换比较让人蛋疼，需要将 backup 配置文件的 priority 选项的值调整的比 master 高 50 个点，然后 reload 配置文件就可以切换了。当时你也可以将 master 的 Keepalived 停止，这样也可以进行主从切换。\n\n## 4.2 Keepalived 仅做 HA 时的配置\n\n请看该文档同级目录下的配置文件示例。\n\n用 tcpdump 命令来捕获的结果如下：\n\n```\n17:20:07.919419 IP 192.168.1.1 > 224.0.0.18: VRRPv2, Advertisement, vrid 1, prio 200, authtype simple, intvl 1s, length 20\n```\n# 5 其他配置\n\n## 5.1 重定向 Keepalived 输出日志\n\n(1) 修改 /etc/sysconfig/keepalived\n\n把 KEEPALIVED_OPTIONS=\"-D\" 修改为 KEEPALIVED_OPTIONS=\"-D -d -S 0\"\n\n其中 -S 指定 syslog 的 facility\"\n\n同时创建 /var/log/keepalived 目录\n\n```\n#mkdir /var/log/keepalived\n```\n\n(2) 在 /etc/rsyslog.conf 中添加\n```\n# keepalived -S 0\nlocal0.* /var/log/keepalived/keepalived.log\n```\n\n(3) 重启 Rsyslog 和 Keepalived 服务\n```\n#/etc/init.d/rsyslog restart\n#/etc/init.d/Keepalived restart\n```\n## 5.2 只用 VRRP 模块\n\n假如不使用 LVS 的话，即无需加载 ip_vs 模块（注；不装 ipvsadm 的话，直接启动 Keepalived 的话，会因为没有 ip_vs 模块而一直在日志中输出错误日志）\n\n修改 /etc/sysconfig/keepalived\n\n把 KEEPALIVED_OPTIONS=\"-D\" 修改为 KEEPALIVED_OPTIONS=\"-D -P\"\n\n# 6 常见问题\n\n## 6.1 virtual_router_id 冲突\n\nKeepalived 日志提示\n```\n[Time] [Hostname] Keepalived_vrrp: ip address associated with VRID not present in received packet : [VIP]\n[Time] [Hostname] Keepalived_vrrp: one or more VIP associated with VRID mismatch actual MASTER advert\n[Time] [Hostname] Keepalived_vrrp: bogus VRRP packet received on eth0 !!!\n[Time] [Hostname] Keepalived_vrrp: VRRP_Instance(web_1) Dropping received VRRP packet...\n```\n解决方法\n```\n同一集群的 Keepalived 的主、备机的 virtual_router_id 必须相同，取值 0-255\n但是同一内网中不应有相同 virtual_router_id 的集群\n修改 virtual_router_id 就可以了\n```\n\n## 6.2 VIP 无法访问\n\n### 6.2.1 VIP 被抢占\n\n```\narping -I eth0 VIP\n```\n查看是否输出两个不同的 Mac 地址，如果是则地址被占用\n\n### 6.2.2 网关的 ARP 缓存没有刷新\n\n```\narping -I eth0 -c 5 -s VIP GATEWAY\n```\n" }, { "path": "doc/HA/lb.md", "content": "## 负载均衡\n\n\n* [解决的问题](#解决的问题)\n* [网络层次上的负载均衡](#网络层次上的负载均衡)\n * [四层负载均衡](#四层负载均衡)\n * [七层负载均衡](#七层负载均衡)\n* [负载均衡算法](#负载均衡算法)\n\n\n\n## 解决的问题\n\n* 能够将大规模并发访问和数据流量分发到多台内部服务器上，减少用户的等待时间；\n* 当有重负载的计算请求时，能够将请求分解成多个任务，并将这些任务分配到内部多个计算服务器上，收集处理内部计算服务器的处理结果，汇总结果并返回给用户；\n* 负载均衡能够大大提高系统的处理能力、提高系统灵活性；\n* 高可用：当某服务器出现故障时，不影响其它服务器和用户的运行和使用；\n* 当后端某个服务器出现故障时，能够将该服务器从服务列表中删除，当服务器恢复时，再将该服务器加入到列表中；\n* 可伸缩：能够不影响其它服务器和用户的情况下进行扩容；\n\n负载均衡的本质是数据包的转发，即如何将数据包转发到负载最小的服务器上去。最常用的硬件方案有 F5，软件方案有 LVS+Keepalived。\n\n## 网络层次上的负载均衡\n\n* 二层负载均衡，是通过一个虚拟的 MAC 地址接收请求，然后再分配到真实的 MAC 地址；\n* 三层负载均衡，是通过一个虚拟的 IP 地址接收请求，然后分配到真实的 IP 地址；\n* 四层负载均衡，是通过一个虚拟 IP+ 端口进行接收，然后分配到真实的服务器；\n* 七层负载均衡，是通过一个虚拟的主机名或 URL 接收请求，然后分配到真实的服务器。可以根据 URL，浏览器类别，语言等，将请求发给不同的内部服务器。\n\n### 四层负载均衡\n\n* 首先会配置 frontend 的 IP:PORT 与 backend 的 IP:PORT 映射关系。当有客户端请求到来时，会根据映射关系，将请求转发到 backend 的服务器上去。\n* 工作在 L4 层的负载均衡器，不需要对客户端的数据包内容进行解析。如 SYN 包到来时，负载均衡器只需要选择一个最佳的内部服务器，将 SYN 包中的 dst IP:PORT 替换为内部服务器的 IP:PORT，并直接转发给该内部服务器即可。对有些部署，可能还需要修改 source IP:PORT，这样负载均衡器可以收到内部服务器返回的包。\n\n![lb4](./../../images/HA/lb4.png)\n\n### 七层负载均衡\n\nL7 层负载均衡，是应用层的负载均衡。\n\n负载均衡器需要先和客户端建立连接 (TCP 三次握手），接收客户端发过来的报文，然后根据报文特定字段的内容，来选择内部服务器。L7 层负载均衡器，是一个代理服务器，需要与客户端和内部服务器间都建立连接。\n一般来说，L7 层负载均衡的处理能力，低于 L4 层。\n\n![lb7](./../../images/HA/lb7.png)\n\n优点：\n- 能够更好的拓展内部网络。如：能够将使用英语的和使用汉语的客户端请求，发送到不同的内部服务器。\n- 能够将对图片的请求，发送到图片服务器，同时图片服务器可以加缓存。\n- 能够提前过滤掉一些非法的请求和无用的数据包，而不用将这些请求发送到内部服务器，减轻内部服务器的压力。\n\n缺点：\n- 速度上，不如 L4 层快\n\n## 负载均衡算法\n- 轮循（Round Robin）：将每次请求，轮流的分配给内部服务器。当内部服务器的软硬件配置相当时，比较适合。\n- 权重轮循（Weighted Round Robin）：根据内部服务器的配置不同，给每台服务器一个权重。如服务器 A 的权值被设计成 1，B 的权值是 3，C 的权值是 2，客户请求依次发给 [ABBBCC]。权重大的，分配到的任务就多。\n- 随机（Random）：将请求随机分配给内部中的多个服务器。\n- 权重随机（Weighted Random）：此种均衡算法类似于权重轮循算法，不过在处理请求分担时是个随机选择的过程。\n- 响应速度（Response Time）：负载均衡器与内部服务器建立连接，并定时向内部服务器发 ping 包（或者其他包也行）。根据各服务器的响应速度，决定将用户请求发给哪台内部服务器。该均衡算法能够较好的反应内部服务器运行状况。\n- 连接数（Connections）：有些内部服务器可能直接与客户端建立连接。这时可以询问内部服务器当前的用户连接数，并将新的用户请求发送给连接数最少的内部服务器。比较适合长连接。\n- 处理能力（Processing　Capacity）：将内部服务器的 CPU/ 内存 /IO/ 当前负载，根据一定的算法换成负载值，并定时上报给负载均衡器。负载均衡器每次将用户请求转发给当前 Load 值最低的内部服务器。\n- DNS 轮询：DNS 也可以用来做负载均衡。网络上，客户端一般通过域名来找到服务器的 IP 地址，DNS 服务器在接收客户端查询时，按顺序将服务器的 IP 地址返回给客户端，来达到均衡的目的。比较适合全局负载均衡。\n- Hash：将访问用户的 IP 地址进行 hash，根据 hash 的结果来决定将该用户定向到哪台后端服务器。\n\n\n" }, { "path": "doc/HA/lvs.md", "content": "## LVS\n\n\n* [LVS 简介](#lvs-简介)\n* [数据包三种转发方式](#数据包三种转发方式)\n * [NAT 网络地址翻译技术](#nat-网络地址翻译技术)\n * [TUN IP 隧道技术](#tun-ip-隧道技术)\n * [DR 直接转发](#dr-直接转发)\n* [配置脚本](#配置脚本)\n* [ipvsadm](#ipvsadm)\n* [tcpdump 抓包分析](#tcpdump-抓包分析)\n* [问题分析](#问题分析)\n\n\n## LVS 简介\n\n[LVS](http://www.linuxvirtualserver.org/)(Linux Virtual Server)，早已加入到 Linux 内核中。\nLVS 使用的是 IP 负载均衡技术 (ipvs 模块实现）。LVS 安装在 DirectorServer(DS) 上，DS 根据配置信息虚拟出一个 ip(VIP)，同时根据配置信息，生成路由表，将用户的数据包按照一定的法则转发到后端 RealServer(RS) 上。\n\nLVS 进行 L4 层转发，且在内核中，速度极快。与 Keepalived 相比，缺少对内部服务器的健康检查，且存在单点故障。\nLVS 使用 ipvsadm 来配置 ipvs。\n\n数据包的转发，有三种方法：NAT/TUN/DR。\n\n| 模式 | 网络要求 | 是否需要 VIP | 端口映射 | DS 参与回包 | ARP 隔离 | 效率 |\n| ---- | ----------------------- | ----------- | -------- | ---------- | ------- | ---- |\n| NAT | 同一网段 | 不需要 | 支持 | 是 | 不需要 | 最慢 |\n| TUN | 可在同一物理网络或不同物理网络 | 需要 | - | 否 | - | 中等 |\n| DR | 同一物理网络 | 需要 | 不支持 | 否 | 需要 | 最高 |\n\n## 数据包三种转发方式\n\n### NAT 网络地址翻译技术\n\n![lvs_nat](./../../images/HA/lvs_nat.png)\n\nDS 和 RS，都在同一个网段，才能进行 NAT 模式转发。同时需要将 DS 的内部 IP 设置为内部网络的默认网关，RS 在回包时，直接发给内部网关（即 DS），由内部网关进行转发。\n用户通过 DS 的外部 IP 地址进行访问。\nNAT 模式下，是可以进行端口映射的。\n\n整个数据包流程如下：\n```sh\n假设用户 IP 为 10.15.62.204，使用端口 6356；\n用户 ->DS: src(10.15.62.204:6356) dst(10.15.144.71:80)\nDS 的外部 IP 收到数据包后，内核进行转发\nDS->RS2: src(10.15.62.204:6356) dst(192.168.1.12:10012)\nRS2 收到数据包，处理完毕后，将回包通过内部网关发出去\nRS2->DS: src(192.168.1.12:10012) dst(10.15.62.204:6356)\nDS 收到会包后，由内核转发给用户\nDS->用户：src(10.15.144.71:80) dst(10.15.62.204:6356)\n```\n\n### TUN IP 隧道技术\n\n![lvs_tun](./../../images/HA/lvs_tun.png)\n\n调度器采用 IP 隧道技术，将用户的请求转发到 RS，RS 直接将响应发给用户。\nTUN 模式下，RS 的回包，不需要经过 DS，而是直接发给客户端。\n\n### DR 直接转发\n\n![lvs_dr](./../../images/HA/lvs_dr.png)\n\nDS 通过改写请求报文的 MAC 地址，将请求发给 RS，RS 直接将响应发给用户。\n**DR 方式的效率最高**，但要求 DS 和 RS 在同一物理网络。\nDR 模式不支持端口映射；同时 RS 需要抑制关于 VIP 的 ARP 应答。\n\n整个数据包处理过程：\n```sh\n假设客户端 IP 10.15.62.204，使用端口 6356\n用户 ->DS: src(10.15.62.204:63565) dst(10.15.144.120:80)\nDS 收到包后，通过负载均衡算法，选择 RS2，改写包的目的 MAC 地址，将数据包发给 RS2\nDS->RS2: src(10.15.62.204:63565) dst(10.15.144.120:80)，目的 MAC 发生改变\nRS2 处理完毕后，将回包直接发给客户端\nRS2->用户：src(10.15.144.120:80) dst(10.15.62.204:63565)\n```\n从转发效率来讲，NAT 最差；TUN 多了 ip 隧道的处理，次之；DR 效率最高。\n\n## 配置脚本\n以 DR 模式为例\n```sh\n# 安装 LVS 机器（即 DirectorServer）脚本，lvs-DR.sh\n# 设置 VIP，并设置转发规则\n\n#!/bin/sh\n\nVIP=10.15.144.120\nRIP1=10.15.144.102\nRIP2=10.15.144.103\nRIP3=10.15.144.104\n\n. /etc/rc.d/init.d/functions\ncase \"$1\" in\n start)\n echo \" start LVS of Director Server\"\n /sbin/ifconfig eth0:1 $VIP broadcast $VIP netmask 255.255.255.255 up # 添加虚拟设备 eth0:1 和虚拟 IP\n /sbin/route add -host $VIP dev eth0:1\n echo \"1\" >/proc/sys/net/ipv4/ip_forward # 允许转发\n\n /sbin/ipvsadm -C #Clear IPVS table\n #set LVS\n /sbin/ipvsadm -A -t $VIP:10087 -s wrr -p 60\n /sbin/ipvsadm -a -t $VIP:10087 -r $RIP1 -g -w 2 # -g 为 DR 模式， -w 为权重\n /sbin/ipvsadm -a -t $VIP:10087 -r $RIP2 -g -w 1\n /sbin/ipvsadm -a -t $VIP:10087 -r $RIP3 -g -w 1\n\n /sbin/ipvsadm # 打印 ipvs 信息\n ;;\n stop)\n echo \"close LVS Directorserver\"\n echo \"0\" >/proc/sys/net/ipv4/ip_forward\n /sbin/ipvsadm -C\n /sbin/ifconfig eth0:1 down\n ;;\n *)\n echo \"Usage: $0 {start|stop}\"\n exit 1\nesac\n\n#-----------------------------------------------------------------------\n# 在 3 台 RealServer 上，配置 VIP，关闭对该 VIP 的 ARP 应答，所执行的脚本：rs-DR.sh\n#!/bin/bash\n\nVIP=10.15.144.120\n\n. /etc/rc.d/init.d/functions\ncase \"$1\" in\n start)\n echo \" Start LVS of Real Server\"\n /sbin/ifconfig lo:0 $VIP netmask 255.255.255.255 broadcast $VIP up\n /sbin/route add -host $VIP dev lo:0\n # 忽略收到的 arp 广播\n echo \"1\" >/proc/sys/net/ipv4/conf/lo/arp_ignore\n # 封装数据包时，忽略源 ip(lvs 服务器 ip), 而是将 VIP 做为源 ip\n echo \"2\" >/proc/sys/net/ipv4/conf/lo/arp_announce\n echo \"1\" >/proc/sys/net/ipv4/conf/all/arp_ignore\n echo \"2\" >/proc/sys/net/ipv4/conf/all/arp_announce\n sysctl -p > /dev/null 2>&1\n ;;\n stop)\n /sbin/ifconfig lo:0 down\n echo \"close LVS Director server\"\n route del $VIP > /dev/null 2>&1\n echo \"0\" >/proc/sys/net/ipv4/conf/lo/arp_ignore\n echo \"0\" >/proc/sys/net/ipv4/conf/lo/arp_announce\n echo \"0\" >/proc/sys/net/ipv4/conf/all/arp_ignore\n echo \"0\" >/proc/sys/net/ipv4/conf/all/arp_announce\n ;;\n *)\n echo \"Usage: $0 {start|stop}\"\n exit 1\nesac\n```\n在 DS 和 RS 上运行相应的脚本后，LVS 负载均衡系统就搭建完毕了。\n\n## ipvsadm\n\n利用 ipvs 管理工具 ipvsadm，查看 DS 内部情况\n```sh\n[root@10.15.144.71 lvs]# ipvsadm\nIP Virtual Server version 1.2.1 (size=4096)\nProt LocalAddress:Port Scheduler Flags\n -> RemoteAddress:Port Forward Weight ActiveConn InActConn\nTCP 10.15.144.120:10087 wrr persistent 2\n -> 10.15.144.102:10087 Route 2 0 4\n -> 10.15.144.103:10087 Route 1 0 0\n -> 10.15.144.104:10087 Route 1 0 0\n\n# 在 10.15.62.204 上进行测试，常用命令有：\nll@ll-rw:~$ wget http://10.15.144.120:10087/index.html\nll@ll-rw:~$ ab -n 100 -c 10 http://10.15.144.120:10087/index.html\n\n[root@10.15.144.71 lvs]# ipvsadm -L -c\nIPVS connection entries\npro expire state source virtual destination\nTCP 00:22 FIN_WAIT 10.15.62.204:50937 10.15.144.120:10087 10.15.144.102:10087\nTCP 00:04 FIN_WAIT 10.15.62.204:50930 10.15.144.120:10087 10.15.144.102:10087\nTCP 01:50 FIN_WAIT 10.15.62.204:50959 10.15.144.120:10087 10.15.144.103:10087\nTCP 00:50 NONE 10.15.62.204:0 10.15.144.120:10087 10.15.144.103:10087\nTCP 00:22 NONE 10.15.62.204:0 10.15.144.120:65535 10.15.144.102:65535\nTCP 00:06 FIN_WAIT 10.15.62.204:50931 10.15.144.120:10087 10.15.144.102:10087\n\n# 关掉 RealServer 服务器中的服务，再次在 10.15.62.204 测试时，收到的错误信息\nll@ll-rw:~$ wget http://10.15.144.120:10087/index.html\n--2014-11-18 16:47:40-- http://10.15.144.120:10087/index.html\nConnecting to 10.15.144.120:10087... failed: No route to host.\n```\n当 DR 模式时，数据包是直接从 RS 返回到客户端的，所以在 RS 上也需要虚拟出设备和 IP（lo:0 10.15.14.120）。RS 直接利用该 IP 进行返回。\n同时，在同一子网内，有多个 Server 都拥有 10.15.14.120 这个 IP。当其它机器进行 ARP 查询时 (who has ip 10.15.1.120)，只能够由 DS 进行响应，其他 Server 不能够响应。这也是 RS 需要使用 echo \"0\" >/proc/sys/net/ipv4/conf/lo/arp_ignore 的原因。\n\n## tcpdump 抓包分析\n使用 tcpdump 在 DS 上抓包，可以看到从 User 来的数据包，直接转发给了 RS；RS 收到数据包后，也是直接回复给了 User，不需要再经过 DS 转发。下图是在 RS(10.15.14.102) 上抓包的截图：\n\n![tcpdump](./../../images/HA/tcpdump.png)\n\n## 问题分析\nLVS 存在单点故障。当 LVS 服务器挂掉了，整个系统就完了。\nLVS 不检测内部服务器的状态。当内部服务器挂掉时，仍然将请求发往该服务器。\n\n**LVS+Keepalived**解决方案：\n- 实现主备模式解决单点故障。\n- 内部服务器有问题时，将其从可用服务器列表中删除；当其恢复时，再将其加入到可用服务器列表。\n" }, { "path": "doc/Linux/README.md", "content": "# Linux 篇\n\n> * Linux 基础\n> * Linux 工具\n> * Linux 安全\n> * Linux 优化\n> * 脚本编程 (shell)\n> * 常见服务架设\n> * 常用问题处理\n" }, { "path": "doc/Linux/base.md", "content": "## Linux 基础\n\n\n\n* [安装](#安装)\n * [安装准备](#安装准备)\n * [安装 CentOS6.8](#安装-centos68)\n * [系统安装后的配置](#系统安装后的配置)\n* [Bash 基础特性](#bash-基础特性)\n * [命令历史](#命令历史)\n * [命令补全](#命令补全)\n * [路径补全](#路径补全)\n * [命令行展开](#命令行展开)\n * [命令的执行状态结果](#命令的执行状态结果)\n * [命令别名](#命令别名)\n * [通配符 glob](#通配符-glob)\n * [bash 快捷键](#bash-快捷键)\n * [编辑命令](#编辑命令)\n * [重新执行命令](#重新执行命令)\n * [控制命令](#控制命令)\n * [Bang (!) 命令](#bang--命令)\n * [友情提示](#友情提示)\n * [bash 的 io 重定向及管道](#bash-的-io-重定向及管道)\n * [I/O 重定向](#io-重定向)\n* [Linux 常用命令](#linux-常用命令)\n * [系统](#系统)\n * [系统信息](#系统信息)\n * [关机](#关机)\n * [监视和调试](#监视和调试)\n * [公钥私钥](#公钥私钥)\n * [其他](#其他)\n * [资源](#资源)\n * [磁盘空间](#磁盘空间)\n * [文件及文本处理](#文件及文本处理)\n * [文件和目录](#文件和目录)\n * [文件搜索](#文件搜索)\n * [文件的权限](#文件的权限)\n * [文件的特殊属性](#文件的特殊属性)\n * [查看文件内容](#查看文件内容)\n * [文本处理](#文本处理)\n * [字符设置和文件格式](#字符设置和文件格式)\n * [挂载](#挂载)\n * [挂载一个文件系统](#挂载一个文件系统)\n * [光盘](#光盘)\n * [用户管理](#用户管理)\n * [用户和群组](#用户和群组)\n * [包管理](#包管理)\n * [打包和压缩文件](#打包和压缩文件)\n * [RPM 包 \\(Fedora,RedHat and alike\\)](#rpm-包-fedoraredhat-and-alike)\n * [YUM 软件工具 \\(Fedora,RedHat and alike\\)](#yum-软件工具-fedoraredhat-and-alike)\n * [备份](#备份)\n * [磁盘和分区](#磁盘和分区)\n * [文件系统分析](#文件系统分析)\n * [初始化一个文件系统](#初始化一个文件系统)\n * [SWAP 文件系统](#swap-文件系统)\n * [网络](#网络)\n * [网络 \\(LAN / WiFi\\)](#网络-lan--wifi)\n * [route 设置](#route-设置)\n * [基本使用](#基本使用)\n * [在 linux 下设置永久路由的方法](#在-linux-下设置永久路由的方法)\n * [Microsoft windows 网络 \\(samba\\)](#microsoft-windows-网络-samba)\n * [IPTABLES \\(firewall\\)](#iptables-firewall)\n* [Linux 简单管理](#linux-简单管理)\n * [ssh](#ssh)\n * [ssh 简介及基本操作](#ssh-简介及基本操作)\n * [简介](#简介)\n * [密钥](#密钥)\n * [基于口令的安全验证通讯原理](#基于口令的安全验证通讯原理)\n * [StrictHostKeyChecking 和 UserKnownHostsFile](#stricthostkeychecking-和-userknownhostsfile)\n * [基于密匙的安全验证通讯原理](#基于密匙的安全验证通讯原理)\n * [SSH 端口转发](#ssh-端口转发)\n * [SSH 正向连接](#ssh-正向连接)\n * [SSH 反向连接](#ssh-反向连接)\n * [SSH 反向连接自动重连](#ssh-反向连接自动重连)\n * [windows 下 xshell 使用](#windows-下-xshell-使用)\n * [用户管理](#用户管理-1)\n * [Linux 踢出其他正在 SSH 登陆用户](#linux-踢出其他正在-ssh-登陆用户)\n * [使用脚本创建有 sudo 权限的用户](#使用脚本创建有-sudo-权限的用户)\n * [无交互式修改用户密码](#无交互式修改用户密码)\n * [网卡 bond](#网卡-bond)\n * [其他设置](#其他设置)\n * [时区及时间](#时区及时间)\n * [UTC 和 GMT](#utc-和-gmt)\n * [Linux 下调整时区及更新时间](#linux-下调整时区及更新时间)\n * [登录提示信息](#登录提示信息)\n * [修改登录前的提示信息](#修改登录前的提示信息)\n * [修改登录成功后的信息](#修改登录成功后的信息)\n* [CentOS 7 vs CentOS 6 的不同](#centos-7-vs-centos-6-的不同)\n * [运行相关](#运行相关)\n * [网络](#网络-1)\n\n\n\n# 安装\n\nCentOS 6.x\n\n## 安装准备\n 1. 下载安装镜像文件\n http://www.centos.org ->downloads->mirrors\n http://mirrors.aliyun.com/centos/6.8/isos/x86_64/\n http://mirrors.aliyun.com/centos/6.8/isos/i386/\n 主要下载 Centos-6.8-x86_64-bin-DVD1.iso 和 Centos-6.8-x86_64-bin-DVD2.iso\n\n## 安装 CentOS6.8\n\n***选择系统引导方式***\n\n 选择 install or upgrade an existing system\n\n***检查安装光盘介质***\n\n 选择：skip\n\n***选择安装过程语言***\n\n 选择：english\n\n***选择键盘布局***\n\n 选择：U.S.English\n\n***选择合适的物理设备***\n\n 选择：basic storage devices\n\n***初始化硬盘提示***\n\n 选择：yes ,discard and data\n\n***初始化主机名以及网络配置***\n\n （1）. 为系统设置主机名 主机名为：meetbill\n （2）. 配置网卡及连接网络（可选）\n\n***系统时钟及时区***\n\n 选择：Asia/Shanghai\n 取消：system clock uses UTC\n 然后：next\n\n***设置 root 口令***\n\n***磁盘分区类型选择与磁盘分区配置过程***\n\n(1) 选择系统安装磁盘空间类型\n\n 选择：create custom layout\n\n(2) 进入 'create custom layout'分区界面\n\n 可以 create （创建）,update（修改） ,delete（删除）等操作。\n\n(3) 按企业生产标准定制磁盘分区\n\n 选择：standard partition\n 1）. 创建引导分区，/boot 分区\n mount point:/boot\n file system type:ext4\n size:200\n\n 2）. 创建 swap 交换分区\n mount point :\n file system type:swap\n size:1024 （物理内存的 1-2 倍）\n addtion size options : fixed size\n force to be a primary partition\n\n 3). 创建 ( / ) 根分区\n mount point :/\n file system type : ext4\n size : 剩余\n addtion size options : fill to maximum allowable size （根分区是最后一个分区，所以把剩余的空间都分配给根分区）\n force to be a primary partition\n\n 4). 格式化警告\n 选择： format\n\n***系统安装包的选择与配置***\n\n(1) 启动引导设备的配置\n 系统默认使用 GRUB 作为启动加载器，引导程序默认在 MBR 下：\n ```\n install boot loader on /dev/sda ->change device\n 选择 master boot record -/dev/sda\n [选择的是操作系统所在的那个设备，如 /dev/sda]\n\n Boot Loader operation system list\n 列表中选择的是操作系统根目录 / 所在的分区，如 CentOS /dev/sda4\n\n ```\n(2) 系统安装类型选择及自定义额外包组\n 系统默认是 desktop ，但是这里选择 minimal。\n 自定义安装包选择：customsize now\n base system :\n base\n 然后：next\n\n***开始安装 ->安装完成 ->reboot***\n\n## 系统安装后的配置\n\n***更新系统，打补丁到最新***\n\n 修改更新 yum 源：\n cp /etc /yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.ori\n wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirros.163.com/.help/CentOS 6-Base-163.repo\n ll /etc/pki/rpm-gpg/\n rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY*\n yum update -y\n\n ps: 一般在首次安装时执行 yum update -y , 如果是在实际生产环境中，切记使用，以免导致异常。\n\n***安装额外的软件包***\n\n yum install tree telnet dos2unix sysstat lrzsz nc nmap -y\n yum grouplist #查看包组列表\n yum frouplist \"development Tools\"\n\n# Bash 基础特性\n## 命令历史\n(1) 使用命令：history\n\n(2) 环境变量：\n\n a) HISTSIZE：命令历史缓冲区中记录的条数，默认为 1000；\n\n b) HISTFILE：记录当前登录用户在 logout 时历史命令存放文件；\n\n c) HISTFILESIZE：命令历史文件记录历史的条数，默认为 1000；\n(3) 操作命令历史：\n\n a) history –d OFFSET 删除指定行的命令历史；\n\n b) history –c 清空命令历史缓冲区中的命令；\n\n c) history # 显示历史中最近的#条命令；\n\n d) history –a 手动追加当前会话缓冲区中的命令至历史文件中；\n(4) 调用历史中的命令：\n\n a) !# : 重复执行第#条命令；\n\n b) !! : 重复执行上一条（最近一条命令；)\n\n c) !string : 重复执行最近一次以指定字符串开头的命令；\n\n d) 调用上一条命令的最后一个参数：\n\n i. !$\n\n ii. ESC, ．\n\n(5) 控制命令历史的记录方式：\n\n 环境变量：HISTCONTROL\n\n 三个值：\n\n ignoredups：忽略重复的命令；所谓重复，一定是连续且完全相同，包括选项和参数；\n\n ignorespace：忽略所有以空白开头的命令，不记录；\n\n ignoreboth：忽略上述两项，既忽略重复的命令，也忽略空白开头的命令；\n\n- 修改环境变量的方式：\n\n export 变量名 =“VALUE”\n\n 或： VARNAME=“VALUE” export VARNAME\n\n## 命令补全\n\n内部命令：直接通过 shell 补全；\n外部命令：bash 根据 PATH 环境变量定义的路径，自左而右地在每个路径搜寻以给定命令命名的文件，第一次找到即为要执行的命令；\n- Note: 在第一次通过 PATH 搜寻到命令后，会将其存入 hash 缓存中，下次使用不再搜寻 PATH，从 hash 中查找；\n\n```\n[root@sslinux ~]# hash\nhits command\n 1 /usr/sbin/ifconfig\n 1 /usr/bin/vim\n 1 /usr/bin/ls\n\n```\n\nTab 键补全：\n若用户给出的字符在命令搜索路径中有且仅有一条命令与之相匹配，则 Tab 键直接补全；\n\n若用户输入的字符在命令搜索路径中有多条命令与之相匹配，则再次 Tab 键可以将这些命令列出；\n\n## 路径补全\n\n以用户输入的字符串作为路径开头，并在其指定路径的上级目录下搜索以指定字符串开头的文件名；\n\n 如果唯一，则直接补全；\n\n 否则，再次 Tab，列出所有符合条件的路径及文件；\n\n## 命令行展开\n\n1）~ ：展开为用户的主目录；\n~~~shell\n[root@sslinux log]# pwd\n/var/log\n[root@sslinux log]# cd ~\n[root@sslinux ~]# pwd\n/root\n~~~\n2）~USERNAME ： 展开为指定用户的主目录；\n~~~shell\n[root@sslinux ~]# pwd\n/root\n[root@sslinux ~]# cd ~sslinux\n[root@sslinux sslinux]# pwd\n/home/sslinux\n~~~\n\n3） {} ： 可承载一个以逗号分隔的列表，并将其展开为多个路径；\n~~~shell\n[root@localhost test]# ls\n[root@localhost test]# mkdir -pv ./tmp/{a,b}/shell\nmkdir: created directory `./tmp'\nmkdir: created directory `./tmp/a'\nmkdir: created directory `./tmp/a/shell'\nmkdir: created directory `./tmp/b'\nmkdir: created directory `./tmp/b/shell'\n[root@localhost test]# mkdir -pv ./tmp/{tom,johnson}/hi\n[root@localhost test]# tree .\n\n└── tmp\n ├── a\n │ └── shell\n ├── b\n │ └── shell\n ├── johnson\n │ └── hi\n └── tom\n └── hi\n9 directories, 0 files\n~~~\n\n\n## 命令的执行状态结果\n表示命令是否成功执行；\n\nbash 使用特殊变量 $? 保存最近一条命令的执行状态结果；\n\n- 环境变量 $? 的取值：\n\n 0 ： 成功；\n\n 1-255：失败，1,127,255 为系统保留；\n\n- 程序执行有两类结果：\n\n 程序的返回值；程序自身执行的输出结果；\n\n 程序的执行状态结果；$?\n\n~~~shell\n[root@localhost test]# ls /etc/sysconfig/\n\n[root@localhost test]# echo $?\n\n0 #程序的执行状态结果；执行成功；\n\n[root@localhost test]# ls /etc/sysconfig/NNNN\n\nls: cannot access /etc/sysconfig/NNNN: No such file or directory #程序自身的执行结果；\n\n[root@localhost test]# echo $?\n\n2 #执行失败；\n\n~~~\n\n## 命令别名\n- 通过 alias 命令实现：\n\na、alias ： 显示当前 shell 进程所有可用的命令别名；\n\nb、定义别名，格式为： alias NAME='VALUE'\n\n\t定义别名 NAME，其执行相当于执行命令 VALUE，VALUE 中可包含命令、选项以及参数；仅当前会话有效，不建议使用；\n\nc、通过修改配置文件定义命令别名：\n\n 当前用户：~/.bashrc\n 全局用户：/etc/bashrc\n\n- Bash 进程重新读取配置文件：\n~~~shell\n source /path/to/config_file\n\n . /path/to/config_file\n~~~\n- 撤销别名： unalias\n```\n unalias [-a] name [name...]\n```\n- Note:\n\n 对于定义了别名的命令，要使用原命令，可通过、COMMAND 的方式使用；\n\n- Example:\n\n```\n[root@sslinux sslinux]# alias\nalias cp='cp -i'\nalias egrep='egrep --color=auto'\nalias fgrep='fgrep --color=auto'\nalias grep='grep --color=auto'\nalias l.='ls -d .* --color=auto'\nalias ll='ls -l --color=auto'\nalias ls='ls --color=auto'\nalias mv='mv -i'\nalias rm='rm -i'\nalias which='alias | /usr/bin/which --tty-only --read-alias --show-dot --show-tilde'\n[root@sslinux sslinux]# grep alias /root/.bashrc\n### User specific aliases and functions\nalias rm='rm -i'\nalias cp='cp -i'\nalias mv='mv -i'\n```\n\n## 通配符 glob\n\nBash 中用于文件名\"通配\"\n\n- 通配符： *,?,[]\n\n 1) * 任意长度的任意字符；\n\n a * b\n ```\n [root@sslinux sslinux]# ls -ld /etc/au*\n drwxr-x---. 3 root root 41 Sep 3 22:05 /etc/audisp\n drwxr-x---. 3 root root 79 Sep 3 22:09 /etc/audit\n ```\n\n2) ? 任意单个字符；\n\n \t \ta?b\n\n~~~shell\n[root@sslinux sslinux]# ls -ld /etc/*d?t\ndrwxr-x---. 3 root root 79 Sep 3 22:09 /etc/audit\n~~~\n\n3) [] 匹配指定范围内的任意单个字符；\n\n [0-9] [a-z] 不区分大小写；\n [admin] 可以是区间形式的，也可以是离散形式的；\n~~~shell\n[root@sslinux sslinux]# ls -ld /etc/[ab]*\ndrwxr-xr-x. 2 root root 4096 Sep 3 22:05 /etc/alternatives\ndrwxr-xr-x. 2 root root 33 Sep 3 22:04 /etc/avahi\ndrwxr-xr-x. 2 root root 33 Sep 3 22:04 /etc/bash_completion.d\n-rw-r--r--. 1 root root 2835 Oct 29 2014 /etc/bashrc\ndrwxr-xr-x. 2 root root 6 Mar 6 2015 /etc/binfmt.d\n~~~\n\n 4) [^] 匹配指定范围以外的任意单个字符；\n\n```\n [^0-9] : 单个非数字的任意字符；\n```\n- 专用字符结合：（表示一类字符中的单个）\n\n[:digit:] 任意单个数字，相当于 [0-9];\n\n[:lower:] 任意单个小写字母；\n\n[:upper:] 任意单个大写字母；\n\n[:alpha:] 任意单个大小写字母；\n\n[:alnum:] 任意单个数字或字母；\n\n[:space:] 任意空白字符；\n\n[:punct:] 任意单个特殊字符；\n\n- Note：\n\n在使用 [] 应用专用字符集合时，外层也需要嵌套 []。\n\nExample：\n\n```\n# ls -d /etc/*[[:digit:]]*[[:lower:]]\n```\n\n## bash 快捷键\n\n### 编辑命令\n- Ctrl + a ：移到命令行首\n- Ctrl + e ：移到命令行尾\n- Ctrl + f ：按字符前移（右向）\n- Ctrl + b ：按字符后移（左向）\n- Alt + f ：按单词前移（右向）\n- Alt + b ：按单词后移（左向）\n- Ctrl + xx：在命令行首和光标之间移动\n- Ctrl + u ：从光标处删除至命令行首\n- Ctrl + k ：从光标处删除至命令行尾\n- Ctrl + w ：从光标处删除至字首\n- Alt + d ：从光标处删除至字尾\n- Ctrl + d ：删除光标处的字符\n- Ctrl + h ：删除光标前的字符\n- Ctrl + y ：粘贴至光标后\n- Alt + c ：从光标处更改为首字母大写的单词\n- Alt + u ：从光标处更改为全部大写的单词\n- Alt + l ：从光标处更改为全部小写的单词\n- Ctrl + t ：交换光标处和之前的字符\n- Alt + t ：交换光标处和之前的单词\n- Alt + Backspace：与 Ctrl + w 相同类似，分隔符有些差别\n\n### 重新执行命令\n- Ctrl + r：逆向搜索命令历史\n- Ctrl + g：从历史搜索模式退出\n- Ctrl + p：历史中的上一条命令\n- Ctrl + n：历史中的下一条命令\n- Alt + .：使用上一条命令的最后一个参数\n\n### 控制命令\n- Ctrl + l：清屏\n- Ctrl + o：执行当前命令，并选择上一条命令\n- Ctrl + s：阻止屏幕输出\n- Ctrl + q：允许屏幕输出\n- Ctrl + c：终止命令\n- Ctrl + z：挂起命令\n\n### Bang (!) 命令\n- !!：执行上一条命令\n- !blah：执行最近的以 blah 开头的命令，如 !ls\n- !blah:p：仅打印输出，而不执行\n- !$：上一条命令的最后一个参数，与 Alt + . 相同\n- !$:p：打印输出 !$ 的内容\n- !*：上一条命令的所有参数\n- !*:p：打印输出 !* 的内容\n- ^blah：删除上一条命令中的 blah\n- ^blah^foo：将上一条命令中的 blah 替换为 foo\n- ^blah^foo^：将上一条命令中所有的 blah 都替换为 foo\n\n### 友情提示\n\n 以上介绍的大多数 Bash 快捷键仅当在 emacs 编辑模式时有效，\n\n 若你将 Bash 配置为 vi 编辑模式，那将遵循 vi 的按键绑定。\n\n Bash 默认为 emacs 编辑模式。\n\n 如果你的 Bash 不在 emacs 编辑模式，可通过 set-o emacs 设置。\n\n ^S、^Q、^C、^Z 是由终端设备处理的，可用 stty 命令设置。\n\n## bash 的 io 重定向及管道\n打开的文件都有一个 fd：file descriptor（文件描述符）\n\n 标准输入：keyboard，0\n\n 标准输出：monitor，1\n\n 标准错误输出：monitor，2\n\n### I/O 重定向\n\n- 输出重定向：\n\n COMMAND > NEW_POS 覆盖重定向，目标文件中的原有内容会被清除；\n\n COMMAND >> NEW_POS 追加重定向，新内容会被追加到目标文件尾部；\n\n- Note：\n\n 为了在输出重定向时防止覆盖原有文件，建议使用以下设置：\n\n set –C ： 禁止将内容覆盖输出 (>) 至已有文件中，追加输出不受影响；\n\n 此时，若确定要将重定向的内容覆盖原有文件，可使用 >| 强制覆盖；\n\n- Example:\n~~~shell\n[root@localhost test1]# echo \"It's dangerous\" > ./result.txt #输出到文件；\n[root@localhost test1]# cat result.txt\nIt's dangerous\n[root@localhost test1]# set –C #禁止将内容覆盖输出到已有文件；\n[root@localhost test1]# echo \"It's very dangerous\" > ./result.txt\n-bash: ./result.txt: cannot overwrite existing file #提示不能覆盖已存在文件；\n[root@localhost test1]# echo \"It's very dangerous\" >| ./result.txt #强制覆盖\n[root@localhost test1]#\n[root@localhost test1]# set +C #取消禁止覆盖输出到已有文件；\n[root@localhost test1]# echo \"It's very dangerous\" > ./result.txt\n[root@localhost test1]#\n~~~\n\n- 错误输出：\n\n 2> : 覆盖重定向错误输出数据流；\n\n 2>> ：追加重定向错误输出数据流；\n~~~shell\n[root@localhost test1]# lss -l /etc/ 2> ./error.txt\n[root@localhost test1]# cat error.txt\n-bash: lss: command not found\n[root@localhost test1]# cat /etc/passwd.error 2>> ./error.txt\n[root@localhost test1]# cat error.txt\n-bash: lss: command not found\ncat: /etc/passwd.error: No such file or directory\n~~~\n\n将标准输出和标准错误输出各自重定向至不同位置：\n\n COMMAND > /path/to/file.out 2> /path/to/error.out\n\n- Example:\n```\n# cat /etc/passwd > ./file.out 2> ./error.out\n```\n- 合并输出：\n\n 合并标准输出和错误输出为同一个数据流进行重定向；(PS:重定向命令是倒序操作的，如 > file 2>&1 是先执行 2>&1 然后执行 > file)\n\n &> 合并覆盖重定向；\n\n &>> 合并追加重定向；\n\n 格式为：\n\n COMMAND > /path/to/file.out 2> &1\n\n COMMAND >> /path/to/file.out 2>> &1\n\n Example:\n~~~shell\n [root@localhost test1]# ls -l /etc/ > ./file.out 2>&1\n [root@localhost test1]# ls -l /etc/ &> file.out\n [root@localhost test1]# ls -l /etcc/ &> file.out\n [root@localhost test1]# cat file.out\n ls: cannot access /etcc/: No such file or directory\n~~~\n\n- 输入重定向： <\n~~~shell\n HERE Documentation：<<\n\n # cat << EOF\n\n # cat > /path/to/somefile << EOF\n~~~\n\nExample: 输入重定向，输入完成后显示内容到标准输出上；\n~~~shell\n[root@localhost test1]# cat << EOF\n> my name is kalaguiyin.\n> I'm a tibetan.\n> I come from Sichuan Provence.\n> EOF\nmy name is kalaguiyin.\nI'm a tibetan.\nI come from Sichuan Provence.\n~~~\n\nExample：从标准输入读取输入并重定向到文件。\n~~~shell\n[root@localhost test1]# cat > hello.txt << EOF\n> this is a test file.\n> 中华人民共和国。\n> EOF\n[root@localhost test1]# cat hello.txt\nthis is a test file.\n中华人民共和国。\n~~~\n\n- 管道：\n\n COMMAND1 | COMMAND2 | COMMAND3 | …..\n\n 作用：前一个命令的执行结果将作为后一个命令执行的参数；\n\n Note:\n\n 最后一个命令会在当前 shell 进程的子 shell 进程中执行；\n~~~shell\n[root@sslinux]# cat /etc/passwd | sort -t: -k3 -n | cut -d: -f1\nroot\nbin\ndaemon\nadm\nlp\npolkitd\nsslinux\n~~~\n# Linux 常用命令\n\n## 系统\n\n### 系统信息\n| 命令 | 说明 |\n|--------|--------|\n|\\# arch|显示机器的处理器架构|\n|\\# cal 2016|显示 2016 年的日历表|\n|\\# cat /proc/cpuinfo|查看 CPU 信息|\n|\\# cat /proc/interrupts|显示中断|\n|\\# cat /proc/meminfo|校验内存使用|\n|\\# cat /proc/swaps|显示哪些 swap 被使用|\n|\\# cat /proc/version|显示内核版本|\n|\\# cat /proc/net/dev|显示网络适配器及统计|\n|\\# cat /proc/mounts|显示已加载的文件系统|\n|\\# clock \\-w|将时间修改保存到 BIOS|\n|\\# date|显示系统日期|\n|\\# date 072308302016\\.00|设置日期和时间 \\- 月日时分年、. 秒|\n|\\# dmidecode \\-q|显示硬件系统部件 \\- \\(SMBIOS / DMI\\)|\n|\\# hdparm \\-i /dev/hda|罗列一个磁盘的架构特性|\n|\\# hdparm \\-tT /dev/sda|在磁盘上执行测试性读取操作|\n|\\# lspci \\-tv|罗列 PCI 设备|\n|\\# lsusb \\-tv|显示 USB 设备|\n|\\# uname \\-m|显示机器的处理器架构|\n|\\# uname \\-r|显示正在使用的内核版本|\n\n### 关机\n| 命令 | 说明 |\n|--------|--------|\n|\\# init 0|关闭系统|\n|\\# logout|注销|\n|\\# reboot|重启|\n|\\# shutdown \\-h now|关闭系统|\n|\\# shutdown \\-h 16:30 &|按预定时间关闭系统|\n|\\# shutdown \\-c|取消按预定时间关闭系统|\n|\\# shutdown \\-r now|重启|\n\n### 监视和调试\n| 命令 | 说明 |\n|--------|--------|\n|\\# free \\-m|以兆为单位罗列 RAM 状态|\n|\\# kill \\-9 process\\_id|强行关闭进程并结束它|\n|\\# kill \\-1 process\\_id|强制一个进程重载其配置|\n|\\# last reboot|显示重启历史|\n|\\# lsmod|罗列装载的内核模块|\n|\\# lsof \\-p process\\_id|罗列一个由进程打开的文件列表|\n|\\# lsof /home/user1|罗列所给系统路径中所打开的文件的列表|\n|\\# ps \\-eafw|罗列 linux 任务|\n|\\# ps \\-e \\-o pid,args \\-\\-forest|以分级的方式罗列 linux 任务|\n|\\# pstree|以树状图显示程序|\n|\\# smartctl \\-A /dev/hda|通过启用 SMART 监控硬盘设备的可靠性|\n|\\# smartctl \\-i /dev/hda|检查一个硬盘设备的 SMART 是否启用|\n|\\# strace \\-c ls >/dev/null|罗列系统 calls made 并用一个进程接收|\n|\\# strace \\-f \\-e open ls >/dev/null|罗列库调用|\n|\\# tail /var/log/dmesg|显示内核引导过程中的内部事件|\n|\\# tail /var/log/messages|显示系统事件|\n|\\# top|罗列使用 CPU 资源最多的 linux 任务|\n|\\# watch \\-n1 'cat /proc/interrupts'|罗列实时中断|\n\n### 公钥私钥\n| 命令 | 说明 |\n|--------|--------|\n| \\# ssh-keygen -t rsa -C \"邮箱地址\" | 产生公钥私钥对 |\n| \\# ssh-copy-id -i ~/.ssh/id_rsa.pub root@192.168.0.2 | 将本地机器的公钥复制到远程机器的 root 用户的 authorized_keys 文件中 |\n| \\# ssh-keygen -p -f ~/.ssh/id_rsa | 添加或修改 SSH-key 的私钥密码 |\n| \\# ssh-keygen -y -f ~/.ssh/id_rsa > id_rsa.pub | 从私钥中生成公钥 |\n\n### 其他\n| 命令 | 说明 |\n|--------|--------|\n|\\# alias hh='history'|为命令 history\\（历史、) 设置一个别名|\n|\\# gpg \\-c file1|用 GNU Privacy Guard 加密一个文件|\n|\\# gpg file1\\.gpg|用 GNU Privacy Guard 解密一个文件|\n|\\# ldd /usr/bin/ssh|显示 ssh 程序所依赖的共享库|\n|\\# man ping|罗列在线手册页（例如 ping 命令）|\n|\\# mkbootdisk \\-\\-device /dev/fd0 \\`uname \\-r\\`|创建一个引导软盘|\n|\\# wget \\-r www\\.example\\.com|下载一个完整的 web 站点|\n|\\# wget \\-c www\\.example\\.com/file\\.iso|以支持断点续传的方式下载一个文件|\n|\\# echo 'wget \\-c www\\.example\\.com/files\\.iso' | at 09:00|在任何给定的时间开始一次下载|\n|\\# whatis \\.\\.\\.keyword|罗列该程序功能的说明|\n|\\# who \\-a|显示谁正登录在线，并打印出：系统最后引导的时间，关机进程，系统登录进程以及由 init 启动的进程，当前运行级和最后一次系统时钟的变化|\n\n## 资源\n\n### 磁盘空间\n| 命令 | 说明 |\n|--------|--------|\n|\\# df \\-h|显示已经挂载的分区列表|\n|\\# du \\-sh dir1|估算目录 'dir1' 已经使用的磁盘空间|\n|\\# du \\-sk \\* | sort \\-rn|以容量大小为依据依次显示文件和目录的大小|\n|\\# ls \\-lSr | more|以尺寸大小排列文件和目录|\n|\\# rpm \\-q \\-a \\-\\-qf '%10\\{SIZE\\}t%\\{NAME\\}n' | sort \\-k1,1n|以大小为依据依次显示已安装的 rpm 包所使用的空间 \\(centos, redhat, fedora 类系统、)|\n\n\n## 文件及文本处理\n\n### 文件和目录\n| 命令 | 说明 |\n|--------|--------|\n|\\# cd /home|进入 '/home' 目录|\n|\\# cd \\.\\.|返回上一级目录|\n|\\# cd \\.\\./\\.\\.|返回上两级目录|\n|\\# cd|进入个人的主目录|\n|\\# cd ~user1|进入个人的主目录|\n|\\# cd \\-|返回上次所在的目录|\n|\\# cp file1 file2|复制一个文件|\n|\\# cp dir/\\* \\.|复制一个目录下的所有文件到当前工作目录|\n|\\# cp \\-a /tmp/dir1 \\.|复制一个目录到当前工作目录|\n|\\# cp \\-a dir1 dir2|复制一个目录|\n|\\# cp file file1|将 file 复制为 file1|\n|\\# iconv \\-l|列出已知的编码|\n|\\# iconv \\-f fromEncoding \\-t toEncoding inputFile > outputFile|改变字符的编码|\n|\\# find \\. \\-maxdepth 1 \\-name \\*\\.jpg \\-print \\-exec convert|batch resize files in the current directory and send them to a thumbnails directory (requires convert from Imagemagick)|\n|\\# ln \\-s file1 lnk1|创建一个指向文件或目录的软链接|\n|\\# ln file1 lnk1|创建一个指向文件或目录的物理链接|\n|\\# ls|查看目录中的文件|\n|\\# ls \\-F|查看目录中的文件|\n|\\# ls \\-l|显示文件和目录的详细资料|\n|\\# ls \\-a|显示隐藏文件|\n|\\# ls \\*\\[0\\-9\\]\\*|显示包含数字的文件名和目录名|\n|\\# lstree|显示文件和目录由根目录开始的树形结构|\n|\\# mkdir dir1|创建一个叫做 'dir1' 的目录|\n|\\# mkdir dir1 dir2|同时创建两个目录|\n|\\# mkdir \\-p /tmp/dir1/dir2|创建一个目录树|\n|\\# mv dir1 new\\_dir|重命名 / 移动 一个目录|\n|\\# pwd|显示工作路径|\n|\\# rm \\-f file1|删除一个叫做 'file1' 的文件|\n|\\# rm \\-rf dir1|删除一个叫做 'dir1' 的目录并同时删除其内容|\n|\\# rm \\-rf dir1 dir2|同时删除两个目录及它们的内容|\n|\\# rmdir dir1|删除一个叫做 'dir1' 的目录|\n|\\# touch \\-t 1607230000 file1|修改一个文件或目录的时间戳 \\- \\(YYMMDDhhmm\\)|\n|\\# tree|显示文件和目录由根目录开始的树形结构|\n\n### 文件搜索\n| 命令 | 说明 |\n|--------|--------|\n|\\# find / \\-name file1|从 '/' 开始进入根文件系统搜索文件和目录|\n|\\# find / \\-user user1|搜索属于用户 'user1' 的文件和目录|\n|\\# find /home/user1 \\-name \\\\\\*\\.bin|在目录 '/ home/user1' 中搜索带有'\\.bin' 结尾的文件|\n|\\# find /usr/bin \\-type f \\-atime \\+100|搜索在过去 100 天内未被使用过的执行文件|\n|\\# find /usr/bin \\-type f \\-mtime \\-10|搜索在 10 天内被创建或者修改过的文件|\n|\\# find / \\-name \\*\\.rpm \\-exec chmod 755 '\\{\\}' \\\\;|搜索以 '\\.rpm' 结尾的文件并定义其权限|\n|\\# find / \\-xdev \\-name \\\\\\*\\.rpm|搜索以 '\\.rpm' 结尾的文件，忽略光驱、捷盘等可移动设备|\n|\\# locate \\\\\\*\\.ps|寻找以 '\\.ps' 结尾的文件 \\- 先运行 'updatedb' 命令|\n|\\# whereis halt|显示一个二进制文件、源码或 man 的位置|\n|\\# which halt|显示一个二进制文件或可执行文件的完整路径|\n\n### 文件的权限\n| 命令 | 说明 |\n|--------|--------|\n|\\# chgrp group1 file1|改变文件的群组|\n|\\# chmod ugo\\+rwx directory1|设置目录的所有人、(u\\)、群组、(g\\) 以及其他人、(o\\) 以读、(r\\)、写、(w\\) 和执行、(x\\) 的权限|\n|\\# chmod go\\-rwx directory1|删除群组、(g\\) 与其他人、(o\\) 对目录的读写执行权限|\n|\\# chmod u\\+s /bin/file1|设置一个二进制文件的 SUID 位 \\- 运行该文件的用户也被赋予和所有者同样的权限|\n|\\# chmod u\\-s /bin/file1|禁用一个二进制文件的 SUID 位|\n|\\# chmod g\\+s /home/public|设置一个目录的 SGID 位 \\- 类似 SUID，不过这是针对目录的|\n|\\# chmod g\\-s /home/public|禁用一个目录的 SGID 位|\n|\\# chmod o\\+t /home/public|设置一个文件的 STIKY 位 \\- 只允许合法所有人删除文件|\n|\\# chmod o\\-t /home/public|禁用一个目录的 STIKY 位|\n|\\# chown user1 file1|改变一个文件的所有人属性|\n|\\# chown \\-R user1 directory1|改变一个目录的所有人属性并同时改变改目录下所有文件的属性|\n|\\# chown user1:group1 file1|改变一个文件的所有人和群组属性|\n|\\# find / \\-perm \\-u\\+s|罗列一个系统中所有使用了 SUID 控制的文件|\n|\\# ls \\-lh|显示权限|\n|\\# ls /tmp | pr \\-T5 \\-W$COLUMNS|将终端划分成 5 栏显示|\n\n### 文件的特殊属性\n| 命令 | 说明 |\n|--------|--------|\n|\\# chattr \\+a file1|只允许以追加方式读写文件|\n|\\# chattr \\+c file1|允许这个文件能被内核自动压缩 / 解压|\n|\\# chattr \\+d file1|在进行文件系统备份时，dump 程序将忽略这个文件|\n|\\# chattr \\+i file1|设置成不可变的文件，不能被删除、修改、重命名或者链接|\n|\\# chattr \\+s file1|允许一个文件被安全地删除|\n|\\# chattr \\+S file1|一旦应用程序对这个文件执行了写操作，使系统立刻把修改的结果写到磁盘|\n|\\# chattr \\+u file1|若文件被删除，系统会允许你在以后恢复这个被删除的文件|\n|\\# lsattr|显示特殊的属性|\n\n### 查看文件内容\n| 命令 | 说明 |\n|--------|--------|\n|\\# cat file1|从第一个字节开始正向查看文件的内容|\n|\\# head \\-2 file1|查看一个文件的前两行|\n|\\# less file1|类似于 'more' 命令，但是它允许在文件中和正向操作一样的反向操作|\n|\\# more file1|查看一个长文件的内容|\n|\\# tac file1|从最后一行开始反向查看一个文件的内容|\n|\\# tail \\-2 file1|查看一个文件的最后两行|\n|\\# tail \\-f /var/log/messages|实时查看被添加到一个文件中的内容|\n\n### 文本处理\n| 命令 | 说明 |\n|--------|--------|\n|\\# cat example\\.txt | awk 'NR%2==1'|删除 example\\.txt 文件中的所有偶数行|\n|\\# echo a b c | awk '\\{print $1\\}'|查看一行第一栏|\n|\\# echo a b c | awk '\\{print $1,$3\\}'|查看一行的第一和第三栏|\n|\\# cat \\-n file1|标示文件的行数|\n|\\# comm \\-1 file1 file2|比较两个文件的内容只删除 'file1' 所包含的内容|\n|\\# comm \\-2 file1 file2|比较两个文件的内容只删除 'file2' 所包含的内容|\n|\\# comm \\-3 file1 file2|比较两个文件的内容只删除两个文件共有的部分|\n|\\# diff file1 file2|找出两个文件内容的不同处|\n|\\# grep Aug /var/log/messages|在文件 '/var/log/messages'中查找关键词\"Aug\"|\n|\\# grep ^Aug /var/log/messages|在文件 '/var/log/messages'中查找以\"Aug\"开始的词汇|\n|\\# grep \\[0\\-9\\] /var/log/messages|选择 '/var/log/messages' 文件中所有包含数字的行|\n|\\# grep Aug \\-R /var/log/\\*|在目录 '/var/log' 及随后的目录中搜索字符串\"Aug\"|\n|\\# paste file1 file2|合并两个文件或两栏的内容|\n|\\# paste \\-d '\\+' file1 file2|合并两个文件或两栏的内容，中间用\"\\+\"区分|\n|\\# sdiff file1 file2|以对比的方式显示两个文件的不同|\n|\\# sed 's/string1/string2/g' example\\.txt|将 example\\.txt 文件中的 \"string1\" 替换成 \"string2\"|\n|\\# sed '/^$/d' example\\.txt|从 example\\.txt 文件中删除所有空白行|\n|\\# sed '/ \\*|\\#/d; /^$/d' example\\.txt|去除文件 example\\.txt 中的注释与空行|\n|\\# sed \\-e '1d' exampe\\.txt|从文件 example\\.txt 中排除第一行|\n|\\# sed \\-n '/string1/p'|查看只包含词汇 \"string1\"的行|\n|\\# sed \\-e 's/ \\*$//' example\\.txt|删除每一行最后的空白字符|\n|\\# sed \\-e 's/string1//g' example\\.txt|从文档中只删除词汇 \"string1\" 并保留剩余全部|\n|\\# sed \\-n '1,5p' example\\.txt|显示文件 1 至 5 行的内容|\n|\\# sed \\-n '5p;5q' example\\.txt|显示 example\\.txt 文件的第 5 行内容|\n|\\# sed \\-e 's/00\\*/0/g' example\\.txt|用单个零替换多个零|\n|\\# sort file1 file2|排序两个文件的内容|\n|\\# sort file1 file2 | uniq|取出两个文件的并集、（重复的行只保留一份、)|\n|\\# sort file1 file2 | uniq \\-u|删除交集，留下其他的行|\n|\\# sort file1 file2 | uniq \\-d|取出两个文件的交集、（只留下同时存在于两个文件中的文件、)|\n|\\# echo 'word' | tr '\\[:lower:\\]' '\\[:upper:\\]'|合并上下单元格内容|\n\n### 字符设置和文件格式\n| 命令 | 说明 |\n|--------|--------|\n|\\# dos2unix filedos\\.txt fileunix\\.txt|将一个文本文件的格式从 MSDOS 转换成 UNIX|\n|\\# recode \\.\\.HTML < page\\.txt > page\\.html|将一个文本文件转换成 html|\n|\\# recode \\-l | more|显示所有允许的转换格式|\n|\\# unix2dos fileunix\\.txt filedos\\.txt|将一个文本文件的格式从 UNIX 转换成 MSDOS|\n\n## 挂载\n\n### 挂载一个文件系统\n| 命令 | 说明 |\n|--------|--------|\n|\\# fuser \\-km /mnt/hda2|当设备繁忙时强制卸载|\n|\\# mount /dev/hda2 /mnt/hda2|挂载一个叫做 hda2 的盘 \\- 确保目录 '/mnt/hda2' 已经存在|\n|\\# mount /dev/fd0 /mnt/floppy|挂载一个软盘|\n|\\# mount /dev/cdrom /mnt/cdrom|挂载一个 cdrom 或 dvdrom|\n|\\# mount /dev/hdc /mnt/cdrecorder|挂载一个 cdrw 或 dvdrom|\n|\\# mount /dev/hdb /mnt/cdrecorder|挂载一个 cdrw 或 dvdrom|\n|\\# mount \\-o loop file\\.iso /mnt/cdrom|挂载一个文件或 ISO 镜像文件|\n|\\# mount \\-t vfat /dev/hda5 /mnt/hda5|挂载一个 Windows FAT32 文件系统|\n|\\# mount /dev/sda1 /mnt/usbdisk|挂载一个 U 盘或闪存设备|\n|\\# mount \\-t smbfs \\-o username=user,password=pass //WinClient/share /mnt/share|挂载一个 windows 网络共享|\n|\\# umount /dev/hda2|卸载一个叫做 hda2 的盘 \\- 先从挂载点 '/mnt/hda2' 退出|\n|\\# umount \\-n /mnt/hda2|运行卸载操作而不写入 /etc/mtab 文件、- 当文件为只读或当磁盘写满时非常有用|\n\n### 光盘\n| 命令 | 说明 |\n|--------|--------|\n|\\# cd\\-paranoia \\-B|从一个 CD 光盘转录音轨到 wav 文件中|\n|\\# cd\\-paranoia \\-\\-|从一个 CD 光盘转录音轨到 wav 文件中（参数、-3）|\n|\\# cdrecord \\-v gracetime=2 dev=/dev/cdrom \\-eject blank=fast \\-force|清空一个可复写的光盘内容|\n|\\# cdrecord \\-v dev=/dev/cdrom cd\\.iso|刻录一个 ISO 镜像文件|\n|\\# gzip \\-dc cd\\_iso\\.gz | cdrecord dev=/dev/cdrom \\-|刻录一个压缩了的 ISO 镜像文件|\n|\\# cdrecord \\-\\-scanbus|扫描总线以识别 scsi 通道|\n|\\# dd if=/dev/hdc | md5sum|校验一个设备的 md5sum 编码，例如一张 CD|\n|\\# mkisofs /dev/cdrom > cd\\.iso|在磁盘上创建一个光盘的 iso 镜像文件|\n|\\# mkisofs /dev/cdrom | gzip > cd\\_iso\\.gz|在磁盘上创建一个压缩了的光盘 iso 镜像文件|\n|\\# mkisofs \\-J \\-allow\\-leading\\-dots \\-R \\-V|创建一个目录的 iso 镜像文件|\n|\\# mount \\-o loop cd\\.iso /mnt/iso|挂载一个 ISO 镜像文件|\n\n## 用户管理\n\n### 用户和群组\n| 命令 | 说明 |\n|--------|--------|\n|\\# chage \\-E 2016\\-12\\-31 user1|设置用户口令的失效期限|\n|\\# groupadd \\[group\\]|创建一个新用户组|\n|\\# groupdel \\[group\\]|删除一个用户组|\n|\\# groupmod \\-n moon sun|重命名一个用户组|\n|\\# grpck|检查 '/etc/passwd' 的文件格式和语法修正以及存在的群组|\n|\\# newgrp \\- \\[group\\]|登陆进一个新的群组以改变新创建文件的预设群组|\n|\\# passwd|修改口令|\n|\\# passwd user1|修改一个用户的口令 \\（只允许 root 执行、)|\n|\\# pwck|检查 '/etc/passwd' 的文件格式和语法修正以及存在的用户|\n|\\# useradd \\-c \"User Linux\" \\-g admin \\-d /home/user1 \\-s /bin/bash user1|创建一个属于 \"admin\" 用户组的用户|\n|\\# useradd user1|创建一个新用户|\n|\\# userdel \\-r user1|删除一个用户 \\( '\\-r' 排除主目录、)|\n|\\# usermod \\-c \"User FTP\" \\-g system \\-d /ftp/user1 \\-s /bin/nologin user1|修改用户属性|\n\n## 包管理\n\n### 打包和压缩文件\n| 命令 | 说明 |\n|--------|--------|\n|\\# bunzip2 file1\\.bz2|解压一个叫做 'file1\\.bz2'的文件|\n|\\# bzip2 file1|压缩一个叫做 'file1' 的文件|\n|\\# gunzip file1\\.gz|解压一个叫做 'file1\\.gz'的文件|\n|\\# gzip file1|压缩一个叫做 'file1'的文件|\n|\\# gzip \\-9 file1|最大程度压缩|\n|\\# rar a file1\\.rar test\\_file|创建一个叫做 'file1\\.rar' 的包|\n|\\# rar a file1\\.rar file1 file2 dir1|同时压缩 'file1', 'file2' 以及目录 'dir1'|\n|\\# rar x file1\\.rar|解压 rar 包|\n|\\# tar \\-cvf archive\\.tar file1|创建一个非压缩的 tarball|\n|\\# tar \\-cvf archive\\.tar file1 file2 dir1|创建一个包含了 'file1', 'file2' 以及 'dir1'的档案文件|\n|\\# tar \\-tf archive\\.tar|显示一个包中的内容|\n|\\# tar \\-xvf archive\\.tar|释放一个包|\n|\\# tar \\-xvf archive\\.tar \\-C /tmp|将压缩包释放到 /tmp 目录下|\n|\\# tar \\-cvfj archive\\.tar\\.bz2 dir1|创建一个 bzip2 格式的压缩包|\n|\\# tar \\-xvfj archive\\.tar\\.bz2|解压一个 bzip2 格式的压缩包|\n|\\# tar \\-cvfz archive\\.tar\\.gz dir1|创建一个 gzip 格式的压缩包|\n|\\# tar \\-xvfz archive\\.tar\\.gz|解压一个 gzip 格式的压缩包|\n|\\# unrar x file1\\.rar|解压 rar 包|\n|\\# unzip file1\\.zip|解压一个 zip 格式压缩包|\n|\\# zip file1\\.zip file1|创建一个 zip 格式的压缩包|\n|\\# zip \\-r file1\\.zip file1 file2 dir1|将几个文件和目录同时压缩成一个 zip 格式的压缩包|\n\n### RPM 包 \\(Fedora,RedHat and alike\\)\n| 命令 | 说明 |\n|--------|--------|\n|\\# rpm \\-ivh \\[package\\.rpm\\]|安装一个 rpm 包|\n|\\# rpm \\-ivh \\-\\-nodeeps \\[package\\.rpm\\]|安装一个 rpm 包而忽略依赖关系警告|\n|\\# rpm \\-U \\[package\\.rpm\\]|更新一个 rpm 包但不改变其配置文件|\n|\\# rpm \\-F \\[package\\.rpm\\]|更新一个确定已经安装的 rpm 包|\n|\\# rpm \\-e \\[package\\]|删除一个 rpm 包|\n|\\# rpm \\-qa|显示系统中所有已经安装的 rpm 包|\n|\\# rpm \\-qa | grep httpd|显示所有名称中包含 \"httpd\" 字样的 rpm 包|\n|\\# rpm \\-qi \\[package\\]|获取一个已安装包的特殊信息|\n|\\# rpm \\-qg \"System Environment/Daemons\"|显示一个组件的 rpm 包|\n|\\# rpm \\-ql \\[package\\]|显示一个已经安装的 rpm 包提供的文件列表|\n|\\# rpm \\-qc \\[package\\]|显示一个已经安装的 rpm 包提供的配置文件列表|\n|\\# rpm \\-q \\[package\\] \\-\\-whatrequires|显示与一个 rpm 包存在依赖关系的列表|\n|\\# rpm \\-q \\[package\\] \\-\\-whatprovides|显示一个 rpm 包所占的体积|\n|\\# rpm \\-q \\[package\\] \\-\\-scripts|显示在安装 / 删除期间所执行的脚本 l|\n|\\# rpm \\-q \\[package\\] \\-\\-changelog|显示一个 rpm 包的修改历史|\n|\\# rpm \\-qf /etc/httpd/conf/httpd\\.conf|确认所给的文件由哪个 rpm 包所提供|\n|\\# rpm \\-qp \\[package\\.rpm\\] \\-l|显示由一个尚未安装的 rpm 包提供的文件列表|\n|\\# rpm \\-\\-import /media/cdrom/RPM\\-GPG\\-KEY|导入公钥数字证书|\n|\\# rpm \\-\\-checksig \\[package\\.rpm\\]|确认一个 rpm 包的完整性|\n|\\# rpm \\-qa gpg\\-pubkey|确认已安装的所有 rpm 包的完整性|\n|\\# rpm \\-V \\[package\\]|检查文件尺寸、 许可、类型、所有者、群组、MD5 检查以及最后修改时间|\n|\\# rpm \\-Va|检查系统中所有已安装的 rpm 包、- 小心使用|\n|\\# rpm \\-Vp \\[package\\.rpm\\]|确认一个 rpm 包还未安装|\n|\\# rpm \\-ivh /usr/src/redhat/RPMS/\\`arch\\`/\\[package\\.rpm\\]|从一个 rpm 源码安装一个构建好的包|\n|\\# rpm2cpio \\[package\\.rpm\\] | cpio \\-\\-extract \\-\\-make\\-directories \\*bin\\*|从一个 rpm 包运行可执行文件|\n|\\# rpmbuild \\-\\-rebuild \\[package\\.src\\.rpm\\]|从一个 rpm 源码构建一个 rpm 包|\n\n### YUM 软件工具 \\(Fedora,RedHat and alike\\)\n| 命令 | 说明 |\n|--------|--------|\n|\\# yum \\-y install \\[package\\]|下载并安装一个 rpm 包|\n|\\# yum localinstall \\[package\\.rpm\\]|将安装一个 rpm 包，使用你自己的软件仓库为你解决所有依赖关系|\n|\\# yum \\-y update|更新当前系统中所有安装的 rpm 包|\n|\\# yum update \\[package\\]|更新一个 rpm 包|\n|\\# yum remove \\[package\\]|删除一个 rpm 包|\n|\\# yum list|列出当前系统中安装的所有包|\n|\\# yum repolist|显示可用的仓库|\n|\\# yum search \\[package\\]|在 rpm 仓库中搜寻软件包|\n|\\# yum clean \\[package\\]|清理 rpm 缓存删除下载的包|\n|\\# yum clean headers|删除所有头文件|\n|\\# yum clean all|删除所有缓存的包和头文件|\n\n\n\n### 备份\n| 命令 | 说明 |\n|--------|--------|\n|\\# find /var/log \\-name '\\*\\.log' | tar cv \\-\\-files\\-from=\\- | bzip2 > log\\.tar\\.bz2|查找所有以 '\\.log' 结尾的文件并做成一个 bzip 包|\n|\\# find /home/user1 \\-name '\\*\\.txt' | xargs cp \\-av \\-\\-target\\-directory=/home/backup/ \\-\\-parents|从一个目录查找并复制所有以 '\\.txt' 结尾的文件到另一个目录|\n|\\# dd bs=1M if=/dev/hda | gzip | ssh user@ip\\_addr 'dd of=hda\\.gz'|通过 ssh 在远程主机上执行一次备份本地磁盘的操作|\n|\\# dd if=/dev/sda of=/tmp/file1|备份磁盘内容到一个文件|\n|\\# dd if=/dev/hda of=/dev/fd0 bs=512 count=1|做一个将 MBR \\(Master Boot Record\\) 内容复制到软盘的动作|\n|\\# dd if=/dev/fd0 of=/dev/hda bs=512 count=1|从已经保存到软盘的备份中恢复 MBR 内容|\n|\\# dump \\-0aj \\-f /tmp/home0\\.bak /home|制作一个 '/home' 目录的完整备份|\n|\\# dump \\-1aj \\-f /tmp/home0\\.bak /home|制作一个 '/home' 目录的交互式备份|\n|\\# restore \\-if /tmp/home0\\.bak|还原一个交互式备份|\n|\\# rsync \\-rogpav \\-\\-delete /home /tmp|同步两边的目录|\n|\\# rsync \\-rogpav \\-e ssh \\-\\-delete /home ip\\_address:/tmp|通过 SSH 通道 rsync|\n|\\# rsync \\-az \\-e ssh \\-\\-delete ip\\_addr:/home/public /home/local|通过 ssh 和压缩将一个远程目录同步到本地目录|\n|\\# rsync \\-az \\-e ssh \\-\\-delete /home/local ip\\_addr:/home/public|通过 ssh 和压缩将本地目录同步到远程目录|\n|\\# tar \\-Puf backup\\.tar /home/user|执行一次对 '/home/user' 目录的交互式备份操作|\n|\\# \\( cd /tmp/local/ && tar c \\. \\) | ssh \\-C user@ip\\_addr 'cd /home/share/ && tar x \\-p'|通过 ssh 在远程目录中复制一个目录内容|\n|\\# \\( tar c /home \\) | ssh \\-C user@ip\\_addr 'cd /home/backup\\-home && tar x \\-p'|通过 ssh 在远程目录中复制一个本地目录|\n|\\# tar cf \\- \\. | \\(cd /tmp/backup ; tar xf \\- \\)|本地将一个目录复制到另一个地方，保留原有权限及链接|\n\n\n## 磁盘和分区\n\n### 文件系统分析\n| 命令 | 说明 |\n|--------|--------|\n|\\# badblocks \\-v /dev/hda1|检查磁盘 hda1 上的坏磁块|\n|\\# dosfsck /dev/hda1|修复 / 检查 hda1 磁盘上 dos 文件系统的完整性|\n|\\# e2fsck /dev/hda1|修复 / 检查 hda1 磁盘上 ext2 文件系统的完整性|\n|\\# e2fsck \\-j /dev/hda1|修复 / 检查 hda1 磁盘上 ext3 文件系统的完整性|\n|\\# fsck /dev/hda1|修复 / 检查 hda1 磁盘上 linux 文件系统的完整性|\n|\\# fsck\\.ext2 /dev/hda1|修复 / 检查 hda1 磁盘上 ext2 文件系统的完整性|\n|\\# fsck\\.ext3 /dev/hda1|修复 / 检查 hda1 磁盘上 ext3 文件系统的完整性|\n|\\# fsck\\.vfat /dev/hda1|修复 / 检查 hda1 磁盘上 fat 文件系统的完整性|\n|\\# fsck\\.msdos /dev/hda1|修复 / 检查 hda1 磁盘上 dos 文件系统的完整性|\n\n### 初始化一个文件系统\n| 命令 | 说明 |\n|--------|--------|\n|\\# fdformat \\-n /dev/fd0|格式化一个软盘|\n|\\# mke2fs /dev/hda1|在 hda1 分区创建一个 linux ext2 的文件系统|\n|\\# mke2fs \\-j /dev/hda1|在 hda1 分区创建一个 linux ext3\\（日志型、) 的文件系统|\n|\\# mkfs /dev/hda1|在 hda1 分区创建一个文件系统|\n|\\# mkfs \\-t vfat 32 \\-F /dev/hda1|创建一个 FAT32 文件系统|\n|\\# mkswap /dev/hda3|创建一个 swap 文件系统|\n\n### SWAP 文件系统\n| 命令 | 说明 |\n|--------|--------|\n|\\# mkswap /dev/hda3|创建一个 swap 文件系统|\n|\\# swapon /dev/hda3|启用一个新的 swap 文件系统|\n|\\# swapon /dev/hda2 /dev/hdb3|启用两个 swap 分区|\n\n## 网络\n\n### 网络 \\(LAN / WiFi\\)\n| 命令 | 说明 |\n|--------|--------|\n|\\# dhclient eth0|以 dhcp 模式启用 'eth0' 网络设备|\n|\\# ethtool eth0|显示网卡 'eth0' 的流量统计|\n|\\# host www\\.example\\.com|查找主机名以解析名称与 IP 地址及镜像|\n|\\# hostname|显示主机名|\n|\\# ifconfig eth0|显示一个以太网卡的配置|\n|\\# ifconfig eth0 192\\.168\\.1\\.1 netmask 255\\.255\\.255\\.0|控制 IP 地址|\n|\\# ifconfig eth0 promisc|设置 'eth0' 成混杂模式以嗅探数据包 \\(sniffing\\)|\n|\\# ifdown eth0|禁用一个 'eth0' 网络设备|\n|\\# ifup eth0|启用一个 'eth0' 网络设备|\n|\\# ip link show|显示所有网络设备的连接状态|\n|\\# iwconfig eth1|显示一个无线网卡的配置|\n|\\# iwlist scan|显示无线网络|\n|\\# mii\\-tool eth0|显示 'eth0'的连接状态|\n|\\# netstat \\-tup|显示所有启用的网络连接和它们的 PID|\n|\\# netstat \\-tupl|显示系统中所有监听的网络服务和它们的 PID|\n|\\# netstat \\-rn|显示路由表，类似于“route \\-n”命令|\n|\\# nslookup www\\.example\\.com|查找主机名以解析名称与 IP 地址及镜像|\n|\\# route \\-n|显示路由表|\n|\\# route add \\-net 0/0 gw IP\\_Gateway|控制预设网关|\n|\\# route add \\-net 192\\.168\\.0\\.0 netmask 255\\.255\\.0\\.0 gw 192\\.168\\.1\\.1|控制通向网络 '192\\.168\\.0\\.0/16' 的静态路由|\n|\\# route del 0/0 gw IP\\_gateway|删除静态路由|\n|\\# echo \"1\" > /proc/sys/net/ipv4/ip\\_forward|激活 IP 转发|\n|\\# tcpdump tcp port 80|显示所有 HTTP 回环|\n|\\# whois www\\.example\\.com|在 Whois 数据库中查找|\n\n### route 设置\n\n#### 基本使用\n\n添加到主机的路由（就是一个 IP 一个 IP 添加）\n\n```\n route add -host 146.148.149.202 dev eno16777984\n route add -host 146.148.149.202 gw 146.148.149.193\n```\n\n添加到网络的路由（批量）\n\n```\nroute add -net 146.148.149.0 netmask 255.255.255.0 dev eno16777984\nroute add -net 146.148.149.0 netmask 255.255.255.0 gw 146.148.149.193\n```\n\n简洁写法\n\n```\nroute add -net 146.148.150.0/24 dev eno16777984\nroute add -net 146.148.150.0/24 gw 146.148.150.193\n```\n\n添加默认网关\n\n```\nroute add default gw 146.148.149.193\n```\n\n删除主机路由：\n\n```\nroute del -host 146.148.149.202 dev eno16777984\n```\n\n删除网络路由：\n\n```\n route del -net 146.148.149.0 netmask 255.255.255.0\n route del -net 146.148.150.0/24\n```\n\n删除默认路由\n\n```\nroute del default gw 146.148.149.193\n```\n#### 在 linux 下设置永久路由的方法\n\n服务器启动时自动设置路由，第一想到的可能时 `rc.local`\n\n按照 linux 启动的顺序，rc.local 里面的内容是在 linux 所有服务都启动完毕，最后才被执行的，也就是说，这里面的内容是在 NFS 之后才被执行的，那也就是说在 NFS 启动的时候，服务器上的静态路由是没有被添加的，所以 NFS 挂载不能成功。\n\n/etc/sysconfig/static-routes\n```\nany net 192.168.3.0/24 gw 192.168.3.254\nany net 10.250.228.128 netmask 255.255.255.192 gw 10.250.228.129\n```\n使用 static-routes 的方法是最好的。无论重启系统和 service network restart 都会生效\n\nstatic-routes 文件又是什么呢，这个是 network 脚本 (/etc/init.d/network) 调用的，大致的程序如下\n\n```\nif [ -f /etc/sysconfig/static-routes ]; then\n grep \"^any\" /etc/sysconfig/static-routes | while read ignore args ; do\n /sbin/route add -$args\n done\nfi\n```\n从这段脚本可以看到，这个就是添加静态路由的方法，static-routes 的写法是\n\nany net 192.168.0.0/16 gw 网关 ip\n\n\n### Microsoft windows 网络 \\(samba\\)\n| 命令 | 说明 |\n|--------|--------|\n|\\# mount \\-t smbfs \\-o username=user,password=pass //WinClient/share /mnt/share|挂载一个 windows 网络共享|\n|\\# nbtscan ip\\_addr|netbios 名解析|\n|\\# nmblookup \\-A ip\\_addr|netbios 名解析|\n|\\# smbclient \\-L ip\\_addr/hostname|显示一台 windows 主机的远程共享|\n|\\# smbget \\-Rr smb://ip\\_addr/share|像 wget 一样能够通过 smb 从一台 windows 主机上下载文件|\n\n### IPTABLES \\(firewall\\)\n| 命令 | 说明 |\n|--------|--------|\n|\\# iptables \\-t filter \\-L|显示过滤表的所有链路|\n|\\# iptables \\-t nat \\-L|显示 nat 表的所有链路|\n|\\# iptables \\-t filter \\-F|以过滤表为依据清理所有规则|\n|\\# iptables \\-t nat \\-F|以 nat 表为依据清理所有规则|\n|\\# iptables \\-t filter \\-X|删除所有由用户创建的链路|\n|\\# iptables \\-t filter \\-A INPUT \\-p tcp \\-\\-dport telnet \\-j ACCEPT|允许 telnet 接入|\n|\\# iptables \\-t filter \\-A OUTPUT \\-p tcp \\-\\-dport http \\-j DROP|阻止 HTTP 连出|\n|\\# iptables \\-t filter \\-A FORWARD \\-p tcp \\-\\-dport pop3 \\-j ACCEPT|允许转发链路上的 POP3 连接|\n|\\# iptables \\-t filter \\-A INPUT \\-j LOG \\-\\-log\\-prefix|记录所有链路中被查封的包|\n|\\# iptables \\-t nat \\-A POSTROUTING \\-o eth0 \\-j MASQUERADE|设置一个 PAT \\（端口地址转换、) 在 eth0 掩盖发出包|\n|\\# iptables \\-t nat \\-A PREROUTING \\-d 192\\.168\\.0\\.1 \\-p tcp \\-m tcp \\-\\-dport 22 \\-j DNAT \\-\\-to\\-destination 10\\.0\\.0\\.2:22|将发往一个主机地址的包转向到其他主机|\n\n\n# Linux 简单管理\n## ssh\n\n### ssh 简介及基本操作\n\n#### 简介\nSSH，全名 secure shell，其目的是用来从终端与远程机器交互，SSH 设计之处初，遵循了如下原则：\n\n * 机器之间通讯的内容必须经过加密。\n * 加密过程中，通过 public key 加密，private 解密。\n\n#### 密钥\nSSH 通讯的双方各自持有一个公钥私钥对，公钥对对方是可见的，私钥仅持有者可见，你可以通过\"ssh-keygen\"生成自己的公私钥，默认情况下，公私钥的存放路径如下：\n\n * 公钥：$HOME/.ssh/id_rsa.pub\n * 私钥：$HOME/.ssh/id_rsa\n\n#### 基于口令的安全验证通讯原理\n\n 建立通信通道的步骤如下：\n\n```\n 1. 远程主机将公钥发给用户 ---- 远程主机收到用户的登录请求，把自己的公钥发给客户端，客户端检查这个 public key 是否在自己的 $HOME/.ssh/known_hosts 中，如果没有，客户端会提示是否要把这个 public key 加入到 known_hosts 中。\n 2. 用户使用公钥加密密码 ------ 用户使用这个公钥，将登录密码加密后，发送回来\n 3. 远程主机使用私钥加密 ------ 远程主机用自己的私钥，解密登录密码，如果密码正确，就同意用户登录。\n 4. 客户端把 PUBLIC KEY(client), 发送给服务器。\n 5. 至此，到此为止双方彼此拥有了对方的公钥，开始双向加密解密。\n```\n\nPS：当网络中有另一台冒牌服务器冒充远程主机时，客户端的连接请求被服务器 B 拦截，服务器 B 将自己的公钥发送给客户端，客户端就会将密码加密后发送给冒牌服务器，冒牌服务器就可以拿自己的私钥获取到密码，然后为所欲为。因此当第一次链接远程主机时，在上述步骤中，会提示您当前远程主机的”公钥指纹”，以确认远程主机是否是正版的远程主机，如果选择继续后就可以输入密码进行登录了，当远程的主机接受以后，该台服务器的公钥就会保存到 ~/.ssh/known_hosts 文件中。\n\n#### StrictHostKeyChecking 和 UserKnownHostsFile\n\n> * 如何让连接新主机时，不进行公钥确认？\n> * SSH 客户端的 StrictHostKeyChecking 配置指令，可以实现当第一次连接服务器时，自动接受新的公钥。\n> * [例子:] ssh -o StrictHostKeyChecking=no 192.168.0.110\n> * 如何防止远程主机公钥改变导致 SSH 连接失败\n> * 将本地的 known_hosts 指向不同的文件，就不会造成公钥冲突导致的中断了,提示信息由公钥改变中断警告，变成了首次连接的提示。结合自动接收新的公钥\n> * [例子:] ssh -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null 192.168.0.110\n\n### 基于密匙的安全验证通讯原理\n\n这种方式你需要在当前用户家目录下为自己创建一对密匙，并把公匙放在需要登录的服务器上。当你要连接到服务器上时，客户端就会向服务器请求使用密匙进行安全验证。服务器收到请求之后，会在该服务器上你所请求登录的用户的家目录下寻找你的公匙，然后与你发送过来的公匙进行比较。如果两个密匙一致，服务器就用该公匙加密“质询”并把它发送给客户端。客户端收到“质询”之后用自己的私匙解密再把它发送给服务器。与第一种级别相比，第二种级别不需要在网络上传送口令。\n\nPS：简单来说，就是将客户端的公钥放到服务器上，那么客户端就可以免密码登录服务器了，那么客户端的公钥应该放到服务器上哪个地方呢？默认为你要登录的用户的家目录下的 .ssh 目录下的 authorized_keys 文件中（即：~/.ssh/authorized_keys）。\n我们的目标是：用户已经在主机 A 上登录为 a 用户，现在需要以不输入密码的方式以用户 b 登录到主机 B 上。\n\n可以把密钥理解成一把钥匙，公钥理解成这把钥匙对应的锁头，\n把锁头（公钥）放到想要控制的 server 上，锁住 server, 只有拥有钥匙（密钥）的人，\n才能打开锁头，进入 server 并控制\n而对于拥有这把钥匙的人，必需得知道钥匙本身的密码，才能使用这把钥匙（除非这把钥匙没设置密码）, 这样就可以防止钥匙被了配了（私钥被人复制）\n\n当然，这种例子只是方便理解罢了，\n拥有 root 密码的人当然是不会被锁住的，而且不一定只有一把锁（公钥）,\n但如果任何一把锁，被人用其对应的钥匙（私钥）打开了，server 就可以被那个人控制了\n所以说，只要你曾经知道 server 的 root 密码，并将有 root 身份的公钥放到上面，\n就可以用这个公钥对应的私钥\"打开\" server, 再以 root 的身分登录，即使现在 root 密码已经更改！\n\n步骤如下：\n\n 1. 以用户 a 登录到主机 A 上，生成一对公私钥。\n 2. 把主机 A 的公钥复制到主机 B 的 authorized_keys 中，可能需要输入 b@B 的密码。\n\n\t ssh-copy-id -i ~/.ssh/id_dsa.pub b@B\n 3. 在 a@A 上以免密码方式登录到 b@B\n\n \t\tssh b@B\n\ntips:\n\n 假如 B 机器修改端口后，将主机 A 上的公钥复制到 B 机的操作方法是（下面方法中双引号是必须的）：\n\n ssh-copy-id \"-p 端口号 b@B\"\n\n### SSH 端口转发\n\nSSH 还同时提供了一个非常有用的功能，这就是端口转发。它能够将其他 TCP 端口的网络数据通过 SSH 链接来转发，并且自动提供了相应的加密及解密服务。这一过程有时也被叫做“隧道”(tunneling)，这是因为 SSH 为其他 TCP 链接提供了一个安全的通道来进行传输而得名。\n\nSSH 端口转发自然需要 SSH 连接，而 SSH 连接是有方向的，从 SSH Client 到 SSH Server 。\n而我们所要访问的应用也是有方向的，应用连接的方向也是从应用的 Client 端连接到应用的 Server 端。\n比如需要我们要访问 Internet 上的 Web 站点时，Http 应用的方向就是从我们自己这台主机 (Client) 到远处的 Web Server。\n\n> * SSH 连接和应用的连接这两个连接的方向一致，那我们就说它是本地转发。\n> * SSH 连接和应用的连接这两个连接的方向不同，那我们就说它是远程转发。\n\n#### SSH 正向连接\n\n正向连接就是 client 连上 server，然后把 server 能访问的机器地址和端口（当然也包括 server 自己）镜像到 client 的端口上。\n\n```\n何时使用本地 Tunnel？\n\n> * 比如说你在本地访问不了某个网络服务（如 www.google.com)，而有一台机器（如：xx.xx.xx.xx) 可以，那么你就可以通过这台机器的 ssh 服务来转发\n```\n使用方法\n```\nssh -L :: \nssh -L [客户端 IP 或省略]:[客户端端口]:[服务器能访问的 IP]:[服务器能访问的 IP 的端口] [登陆服务器的用户名 @服务器 IP] -p [服务器 ssh 服务端口（默认 22）]\n```\nssh -L 1433:target_server:1433 user@ssh_host\n\n***windows 下使用本地转发 xshell***\n\n```\n(1)ssh 远程连接到 Linux\n(2) 打开代理设置面板，点击：view -> Tunneling Pane, 在弹出的窗口选择 Forwarding Rules\n(3) 在空白处右键：add。\n在弹出的 Forwarding Rule，\nType 选择\"Local(Outgoing)\";\nSource Host 使用默认的 localhost; Listen Port 添上端口 8888;\nDestination Host 使用默认的 localhost；Destination Port 添上 80;\n\nDestination Host 设置为 localhost 为要访问的机器，可以设置为登陆后的机器可以访问到的 IP\n```\n\n#### SSH 反向连接\n\n反向连接就是 client 连上 server，然后把 client 能访问的机器地址和端口（也包括 client 自己）镜像到 server 的端口上。\n\n```\n何时使用反向连接？\n\n比如当你下班回家后就访问不了公司内网的机器了，遇到这种情况可以事先在公司内网的机器上执行远程 Tunnel，连上一台公司外网的机器，等你下班回家后就可以通过公司外网的机器去访问公司内网的机器了。\n```\n使用方法\n```\nssh -R :: \nssh -R [服务器 IP 或省略]:[服务器端口]:[客户端能访问的 IP]:[客户端能访问的 IP 的端口] [登陆服务器的用户名 @服务器 IP] -p [服务器 ssh 服务端口（默认 22）]\n```\n**外网机器 A 要控制 内网机器 B**\n\nA 主机：外网，ip：122.122.122.122，sshd 端口：2222（默认是 22)\n\nB 主机：内网，sshd 端口：2222（默认是 22)\n\n无论是外网主机 A，还是内网主机 B 都需要跑 ssh daemon\n\n***首先在内网机器 B 上执行***\n\n```\n ssh -NfR 1234:localhost:2222 user1@122.122.122.122 -p 2222\n```\n\n这句话的意思是将 A 主机的 1234 端口和 B 主机的 2222 端口绑定，相当于远程端口映射 (Remote Port Forwarding)。\n\n***外网机器 A 会 listen 本地 1234 端口***\n\n```\n---- 外网机器 A sshd 会 listen 本地 1234 端口\n #netstat -tanp | grep sshd\n #Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name\n #tcp 0 0 127.0.0.1:1234 0.0.0.0:* LISTEN 4234/sshd\n\n---- 在外网机器 A 登录内网机器 B（非 root 用户的话，直接 user@localhost 即可）\n #ssh user@localhost -p1234\n```\n#### SSH 反向连接自动重连\n\n上面的反向连接（Reverse Connection）不稳定，可能随时断开，需要内网主机 B 再次向外网 A 发起连接，这时需要个\"朋友\"帮你在内网 B 主机执行这条命令。可以使用 Autossh 或者 while 进行循环。\n\n(1) 在 B 机器上将 B 机器公钥放到外网机器 A 上（实现 B 机器自动登录到 A 机器）\n\n(2) 用 Autossh 或者 while 循环 保持 ssh 反向隧道一直连接，CentOS 需要使用 epel 源下载\n\n在 CentOS6 和 CentOS7 都可以执行下面的命令安装 epel 仓库\n\n**while**\n\n编写脚本写入如下内容\n\n```\n#!/bin/bash\n# 远程机器的 IP 和端口\nremote_ip=122.122.122.122\nremote_port=2222\n\nwhile [[ 1==1 ]]\ndo\n ssh -o ServerAliveInterval=15 -o ServerAliveCountMax=3 -N -R:1234:localhost:22 -p ${remote_port} root@${remote_ip}\n sleep 3\ndone\n```\n执行脚本后，即可以通过登陆 122.122.122.122 机器访问本地 1234 端口进行访问此机器\n\n注;可以将此脚本放在后台中运行，并加到系统自启动程序中\n\n**autossh**\n\n```\n#yum -y install epel-release\n```\n安装号 autossh 后使用如下方法进行反向连接\n```\n#autossh -M 5678 -NfR 1234:localhost:2222 user1@122.122.122.122 -p2222\n```\n比之前的命令添加的一个 -M 5678 参数，负责通过 5678 端口监视连接状态，连接有问题时就会自动重连\n\n### windows 下 xshell 使用\n\n * 私钥，在 Xshell 里也叫用户密钥\n * 公钥，在 Xshell 里也叫主机密钥\n\n 利用 xshell 密钥管理服务器远程登录，\n\n (1)Xshell 自带有用户密钥生成向导：点击菜单栏的工具 ->新建用户密钥生成向导\n (2) 添加公钥 (Pubic Key) 到远程 Linux 服务器\n\n## 用户管理\n\n### Linux 踢出其他正在 SSH 登陆用户\n\n***查看系统在线用户***\n\n```\n[root@Linux ~]#w\n 20:40:18 up 1 day, 23 min, 4 users, load average: 0.00, 0.00, 0.00\nUSER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT\nroot tty1 - Fri09 10:10m 0.34s 0.34s -bash\nroot pts/2 192.168.31.124 10:30 4:39m 0.99s 0.99s -bash\nroot pts/3 192.168.31.124 19:55 0.00s 0.07s 0.00s w\nroot pts/4 192.168.31.124 19:55 4:52 0.16s 0.16s -bash\n```\n***查看当前自己占用终端***\n\n```\n[root@Linux ~]# who am i\nroot pts/4 2016-10-30 19:55 (192.168.31.124)\n```\n***用 pkill 命令剔除对方***\n\n```\n[root@Linux ~]# pkill -kill -t pts/2\n[root@Linux ~]# w\n 20:44:15 up 1 day, 27 min, 3 users, load average: 0.01, 0.03, 0.01\n USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT\n root tty1 - Fri09 10:14m 0.34s 0.34s -bash\n root pts/3 192.168.31.124 19:55 51.00s 1.43s 1.35s vim base.md\n root pts/4 192.168.31.124 19:55 0.00s 0.21s 0.00s w\n```\n如果最后查看还是没有干掉，建议加上 -9 强制杀死。\n[root@Linux ~]# pkill -9 -t pts/2\n\n### 使用脚本创建有 sudo 权限的用户\n\n```\ncat >./create_user.sh <<-'EOF'\n#!/bin/bash\narg=\"ceshi\"\nif id ${arg}\nthen\n echo \"the username is exsit!\"\nelse\n useradd $arg\n echo \"ceshi_password\" | passwd --stdin $arg\n echo \"${arg} ALL=(ALL) NOPASSWD:ALL\" > /etc/sudoers.d/${arg}\nfi\nEOF\n```\n以上脚本会创建用户 `ceshi` 同时用户的密码为 `ceshi_password` ，并且此用户有 sudo 权限\n\n### 无交互式修改用户密码\n\n```\necho \"123456\" | passwd --stdin root\n```\n## 网卡 bond\n\nLinux 多网卡绑定\n\n网卡绑定 mode 共有七种 (0~6) bond0、bond1、bond2、bond3、bond4、bond5、bond6\n\n常用的有三种\n\n> * mode=0：平衡负载模式，有自动备援，但需要”Switch”支援及设定。\n> * mode=1：自动备援模式，其中一条线若断线，其他线路将会自动备援。\n> * mode=6：平衡负载模式，有自动备援，不必”Switch”支援及设定。\n\n需要说明的是如果想做成 mode 0 的负载均衡，仅仅设置这里 options bond0 miimon=100 mode=0 是不够的，与网卡相连的交换机必须做特殊配置（这两个端口应该采取聚合方式），因为做 bonding 的这两块网卡是使用同一个 MAC 地址。从原理分析一下（bond 运行在 mode 0 下）：\n\nmode 0 下 bond 所绑定的网卡的 IP 都被修改成相同的 mac 地址，如果这些网卡都被接在同一个交换机，那么交换机的 arp 表里这个 mac 地址对应的端口就有多 个，那么交换机接受到发往这个 mac 地址的包应该往哪个端口转发呢？正常情况下 mac 地址是全球唯一的，一个 mac 地址对应多个端口肯定使交换机迷惑了。所以 mode0 下的 bond 如果连接到交换机，交换机这几个端口应该采取聚合方式（cisco 称为 ethernetchannel，foundry 称为 portgroup），因为交换机做了聚合后，聚合下的几个端口也被捆绑成一个 mac 地址。我们的解 决办法是，两个网卡接入不同的交换机即可。\n\nmode6 模式下无需配置交换机，因为做 bonding 的这两块网卡是使用不同的 MAC 地址。\n\n## 其他设置\n\n\n### 时区及时间\n\n时区就是时间区域，主要是为了克服时间上的混乱，统一各地时间。地球上共有 24 个时区，东西各 12 个时区（东 12 与西 12 合二为一）。\n\n#### UTC 和 GMT\n\n时区通常写成`+0800`，有时也写成`GMT +0800`，其实这两个是相同的概念。\n\nGMT 是格林尼治标准时间（Greenwich Mean Time）。\n\nUTC 是协调世界时间（Universal Time Coordinated），又叫世界标准时间，其实就是`0000`时区的时间。\n\n#### Linux 下调整时区及更新时间\n\n修改系统时间\n\n```\n$ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime\n```\n\n修改 /etc/sysconfig/clock 文件，修改为：\n\n```\nZONE=\"Asia/Shanghai\"\nUTC=false\nARC=false\n```\n校对时间\n```\n$ntpdate cn.ntp.org.cn\n```\n设置硬件时间和系统时间一致并校准\n```\n$/sbin/hwclock --systohc\n```\n\n***定时同步时间设置***\n\n凌晨 5 点定时同步时间\n\n```\necho \"0 5 * * * /usr/sbin/ntpdate cn.ntp.org.cn\" >> /var/spool/cron/root\n或者\necho \"0 5 * * * /usr/sbin/ntpdate 133.100.11.8\" >> /var/spool/cron/root\n\n```\n### 登录提示信息\n\n#### 修改登录前的提示信息\n\n**(1) 系统级别的设置方法 /etc/issue**\n\n使用此方法时远程 ssh 连接的时候并不会显示\n\n```\n在登录系统输入用户名之前，可以看到上方有 WELCOME...... 之类的信息，这里会显示 LINUX 发行版本名称，内核版本号，日期，机器信息等等信息，\n\n首先打开 /etc/issue 文件，可以看到里面是这样一段\"Welcome to \n\n [CentOS7]\n $ systemctl kill --signal=9 sshd\n\n## 网络\n\n**网络信息**\n\n [CentOS6]\n $ netstat\n $ netstat -I\n $ netstat -n\n\n [CentOS7]\n $ ip -s l\n $ ss\n\n**IP 地址 MAC 地址**\n\n [CentOS6]\n $ ifconfig -a\n\n [CentOS7]\n $ ip address show\n\n**路由**\n\n [CentOS6]\n $ route -n\n $ route -A inet6 -n\n\n [CentOS7]\n $ ip route show\n $ ip -6 route show\n" }, { "path": "doc/Linux/op.md", "content": "# 常用问题处理\n\n\n\n\n* [1 系统配置](#1-系统配置)\n * [1.1 Yum 安装安装包时提示证书过期](#11-yum-安装安装包时提示证书过期)\n * [1.2 系统日志中的时间不准确](#12-系统日志中的时间不准确)\n * [1.3 Linux 系统日志出现 hung_task_timeout_secs 和 blocked for more than 120 seconds](#13--linux-系统日志出现-hung_task_timeout_secs-和-blocked-for-more-than-120-seconds)\n * [问题现象](#问题现象)\n * [问题原因](#问题原因)\n * [处理方法](#处理方法)\n * [内核参数解释](#内核参数解释)\n* [2 磁盘](#2-磁盘)\n * [2.1 lvm 变为 inactive 状态](#21-lvm-变为-inactive-状态)\n\n\n\n## 1 系统配置\n### 1.1 Yum 安装安装包时提示证书过期\n\nyum 安装安装包时提示\"Peer's Certificate has expired\"\n\nhttps 的证书是有开始时间和失效时间的。因此本地时间要在这个证书的有效时间内。不过最好的方式，还是能够把时间进行同步。\n\n```\n# ntpdate pool.ntp.org\n```\n\n### 1.2 系统日志中的时间不准确\n\n重启下 rsyslog 服务\n\n```\n/etc/init.d/rsyslog restart\n\n```\n### 1.3 Linux 系统日志出现 hung_task_timeout_secs 和 blocked for more than 120 seconds\n#### 问题现象\n\nLinux 系统出现系统没有响应。 在 /var/log/message 日志中出现大量的类似如下错误信息：\n```\necho 0 > /proc/sys/kernel/hung_task_timeout_secs disables this message.\nblocked for more than 120 seconds\n```\n同时看监控时发现，服务器异常期间磁盘 io 比较高，cpu load 比较高\n\n#### 问题原因\n默认情况下， Linux 会最多使用 40% 的可用内存作为文件系统缓存。当超过这个阈值后，文件系统会把将缓存中的内存全部写入磁盘， 导致后续的 IO 请求都是同步的。\n将缓存写入磁盘时，有一个默认 120 秒的超时时间。 出现上面的问题的原因是 IO 子系统的处理速度不够快，不能在 120 秒将缓存中的数据全部写入磁盘。\nIO 系统响应缓慢，导致越来越多的请求堆积，最终系统内存全部被占用，导致系统失去响应。\n\n#### 处理方法\n根据应用程序情况，对 vm.dirty_ratio，vm.dirty_background_ratio 两个参数进行调优设置。 例如，推荐如下设置：\n```\n# sysctl -w vm.dirty_ratio=10\n# sysctl -w vm.dirty_background_ratio=5\n# sysctl -p\n```\n 如果系统永久生效，修改 /etc/sysctl.conf 文件。加入如下两行：\n```\n#vi /etc/sysctl.conf\nvm.dirty_background_ratio = 5\nvm.dirty_ratio = 10\n```\n重启系统生效。\n#### 内核参数解释\n\n> * vm.dirty_background_ratio: 这个参数指定了当文件系统缓存脏页数量达到系统内存百分之多少时（如 5%）就会触发 pdflush/flush/kdmflush 等后台回写进程运行，将一定缓存的脏页异步地刷入外存；\n> * vm.dirty_ratio: 而这个参数则指定了当文件系统缓存脏页数量达到系统内存百分之多少时（如 10%），系统不得不开始处理缓存脏页（因为此时脏页数量已经比较多，为了避免数据丢失需要将一定脏页刷入外存）；在此过程中很多应用进程可能会因为系统转而处理文件 IO 而阻塞。\n\n一般情况下，dirty_ratio 的触发条件不会达到，因为每次会先达到 vm.dirty_background_ratio 的条件，然后触发 flush 进程进行异步的回写操作，但是这一过程中应用进程仍然可以进行写操作，如果应用进程写入的量大于 flush 进程刷出的量，就会达到 vm.dirty_ratio 这个参数所设定的坎，此时操作系统会转入同步地处理脏页的过程，阻塞应用进程。\n\n\n## 2 磁盘\n### 2.1 lvm 变为 inactive 状态\n\nlvscan 查看 lvm 状态\n```\n[root@DB01 log]# lvscan\nACTIVE '/dev/OraBack/backupone' [7.00 TB] inherit\nACTIVE '/dev/OraBack/backuptwo' [7.00 TB] inherit\nACTIVE '/dev/OraBack/backupthree' [1.00 TB] inherit\ninactive '/dev/OraBack【vg 名字】/orcl' [3.00 TB] inherit\n```\n激活 VG\n```\n[root@DB01 log]# vgchange -ay OraBack\n4 logical volume(s) in volume group \"OraBack\" now active\n```\nlvscan 查看 lvm 状态\n```\n[root@DB01 log]# lvscan\nACTIVE '/dev/OraBack/backupone' [7.00 TB] inherit\nACTIVE '/dev/OraBack/backuptwo' [7.00 TB] inherit\nACTIVE '/dev/OraBack/backupthree' [1.00 TB] inherit\nACTIVE '/dev/OraBack/orcl' [3.00 TB] inherit\n```\n\n挂载\n\nmount -a\n\n\n" }, { "path": "doc/Linux/optimize.md", "content": "# Linux 优化\n\n\n\n* [说明](#说明)\n * [应用类型](#应用类型)\n * [监测工具](#监测工具)\n * [综合工具之 sar](#综合工具之-sar)\n * [dstat](#dstat)\n* [Linux 性能监测 CPU 篇](#linux-性能监测-cpu-篇)\n * [底线](#底线)\n * [vmstat 命令](#vmstat-命令)\n * [mpstat 命令](#mpstat-命令)\n * [ps 命令](#ps-命令)\n* [Linux 性能监测 内存篇](#linux-性能监测-内存篇)\n * [vmstat 命令](#vmstat-命令-1)\n* [Linux 性能监测 磁盘 IO 篇](#linux-性能监测-磁盘-io-篇)\n * [内存页](#内存页)\n * [缺页中断](#缺页中断)\n * [File Buffer Cache](#file-buffer-cache)\n * [页面类型](#页面类型)\n * [IO's Per Seconds(OIPS)](#ios-per-secondsoips)\n * [顺序 IO 和随机 IO](#顺序-io-和随机-io)\n * [SWAP](#swap)\n * [关掉 swap](#关掉-swap)\n* [Linux 性能监测 网络篇](#linux-性能监测-网络篇)\n * [netperf](#netperf)\n * [iperf](#iperf)\n * [tcpdump 和 tcptrace](#tcpdump-和-tcptrace)\n* [ulimit 关于系统连接数的优化](#ulimit-关于系统连接数的优化)\n * [修改方式](#修改方式)\n\n\n## 说明\n\n系统优化是一项复杂、繁琐、长期的工作，优化前需要监测、采集、测试、评估，优化后也需要测试、采集、评估、监测，而且是一个长期和持续的过程，不是说现在又花了、测试了，以后就可以一劳永逸，而不是说书本上的优化就适合眼下正在运行的系统，不同的系统、不同的硬件、不用的应用优化的重点也不同、优化的方法也不同、优化的参数也不同。\n\n性能监测是系统优化过程中重要的一环，如果没有监测、不清楚性能瓶颈在哪里，怎么优化呢？所以`找到性能瓶颈`是性能监测的目的，也是系统优化的关键。\n\n系统由若干子系统构成，通常修改一个子系统有可能影响到另外一个子系统，甚至会导致整个系统不稳定、崩溃。\n\n所以说优化、监测、测试通常是连在一起的，而且是一个循环而且长期的过程，通常监测的子系统有以下这些：\n\n* CPU\n* Memory\n* IO\n* Network\n\n这些子系统互相依赖，了解这些子系统的特性，监测这些子系统的系能参数以及及时发现可能会出现的瓶颈对系统优化很有帮助\n\n本系列将按照 CPU、内存、磁盘 IO、网络这几个方面分别介绍\n\n### 应用类型\n\n不同的系统用途也不同，要找到性能瓶颈需要知道系统跑的是什么应用、有些什么特点，比如 web server 对系统的要求肯定和 file server 不一样，所以分清不同系统的应用类型很重要。\n\n通常应用可以分为两种类型：\n\n* IO 相关\n * IO 相关的应用通常用来出来大量的数据，需要大量内存和存储，频繁 IO 操作读写数据\n * 而对 CPU 的要求则较少，大部分时间 CPU 都在等待硬盘，比如，数据库服务器、文件服务器等\n* CPU 相关\n * CPU 相关的应用需要使用大量 CPU\n * 比如高并发的 web/mail 服务器、图像 / 视频处理、科学计算等都可视作 CPU 相关的应用\n\n### 监测工具\n\n我们只需要简单的工具就可以对 Linux 的性能进行监控，以下常用的工具：\n\n| 工具 | 简介 | 备注|\n|:-:|---|---|\n| top | 查看进程活动状态以及一些系统状况 | |\n| vmstat | 查看系统状态、硬件和系统信息等 | |\n| iostat | 查看 CPU 负载、硬盘状况 | |\n| sar | 综合工具，查看系统状况 |（厂内默认安装）|\n| mpstat | 查看多处理器状况 | |\n| netstat | 查看网络状况|日常工作中推荐使用 ss 命令以替代 netstat |\n| iptraf | 实时网络状态监测|【推荐】 比如网卡打满时，查看哪个 port 流量比较高 |\n| tcpdump | 抓取网络数据包，详细分析 | |\n| tcptrace | 网络包分析工具 | |\n| netperf | 网络带宽工具 | |\n| dstat | 综合了 vmstat、iostat、ifstat、netstat 等多个信息 |(python) 厂内默认安装|\n\n#### 综合工具之 sar\n\n> 安装及简介\n```\nyum instal -y sysstat\n\nsysstat 工具包中包含两类工具：\n即时查看工具：iostat、mpstat、sar\n累计统计工具：sar\n\n也就是说，sar 具有这两种功能。因此，sar 是 sysstat 中的核心工具。\n\n为了实现 sar 的累计统计，系统必须周期地记录当时的信息，这是通过调用 /usr/lib64/sa/ 中的三个工具实现的：\n\n(1) sa1 ：收集并存储每天系统动态信息到一个二进制的文件中，用作 sadc 的前端程序\n(2) sa2 ：收集每天的系统活跃信息写入总结性的报告，用作 sar 的前端程序\n(3) sadc ：系统动态数据收集工具，收集的数据被写入一个二进制的文件中，它被用作 sar 工具的后端\n\n在 CentOS 系统的默认设置中，以如下的方式使用这三个工具：\n\n在守护进程 /etc/rc.d/init.d/sysstat 中使用 /usr/lib/sa/sadc -F -L - 命令创建当日记录文件，文件为 /var/log/sa/saDD，其中 DD 为当天的日期。当系统重新启动后，会向文件 /var/log/sa/saDD 输出类似 11:37:16 AM LINUX RESTART 这样的行信息。\n在 cron 任务 /etc/cron.d/sysstat 中每隔 10 分钟执行一次 /usr/lib/sa/sa1 1 1 命令，将信息写入文件 /var/log/sa/saDD\n在 cron 任务 /etc/cron.d/sysstat 中每天 23:53 执行一次 /usr/lib/sa/sa2 -A 命令，将当天的汇总信息写入文件 /var/log/sa/saDD\n您可以修改 /etc/cron.d/sysstat 以适合您的需要。\n\n另外，文件 /var/log/sa/saDD 为二进制文件，不能使用 more、less 等文本工具查看，必须用 sar 或 sadf 命令查看。\n \n```\n> 使用\n```\nsar -n DEV 网卡流量\nsar -q 系统负载\nsar -b 磁盘读写\nsar -f /var/log/sa/saxx 历史文件\n\nsar 每十分钟把系统的状态过滤一遍，并生产日志在 ls /var/log/sa\n\nsar -n DEV 1 10 查看网卡流量（没 1s 输出一次，总共输出 10 次，最后会将这十次的采集信息进行统计）\nrxpck/s 接收到的数据包 如果你要接收很多数据包，证明有人给你发送数据包 就是被攻击 几千是正常的，上万就不正常了\ntxpck/s 发送的数据包\n\nrxkB/s 数据量\nrxcmp/S 数据量\n\nsar -n DEV -f /var/log/sa/sa17 查看网卡流量并指定一个文件\nsar -q 1 10 查看系统负载\nsar -q -f /var/log/sa/sa17 查看当月 16 号的数据\n```\n\n> 过期日志自动清理\n```\n保留天数配置：/etc/sysconfig/sysstat\n执行文件 ：/usr/lib64/sa/sa2\n定时任务配置：/etc/cron.d/sysstat\n```\n如果没有定时过期清理，可以检查下定时任务中 \"53 23 * * * root /usr/lib64/sa/sa2 -A\" 是否为注释状态\n\n#### dstat\n\n> 常用命令\n```\n监控 CPU\\MEN\\磁盘IO 使用最多的进程: dstat --top-mem --top-io --top-cpu\n\ndstat -c --top-cpu -d --top-bio --top-latency --disk-util\n```\n\n> * dstat --top-cpu：显示最消耗 CPU 的进程\n> * dstat --top-cuptime：最消耗 CPU 时间的进程，以毫秒为单位\n> * dstat --top-io：显示消耗 io 最多的进程\n> * dstat --top-latency：显示哪个进程有最大的延迟\n> * dstat --top-mem:显示用内存最多的线程\n> * dstat --top-mem  --top-cpu:俩个一起使用也是OK的\n\n\n## Linux 性能监测 CPU 篇\n\n\nCPU 的占用主要取决于什么样的资源在 CPU 上面运行，比如拷贝一个文件通常占用较少的 CPU，因为大部分工作是由 DMA（Direct Memory Access）完成，只是在完成拷贝以后给一个中断让 CPU 知道拷贝已经完成；科学计算通常占用较多的 CPU，大部分计算工作都需要在 CPU 上完成，内存、硬盘等子系统只是做暂时的数据存储工作。\n\n要想监测和理解 CPU 的性能需要知道一些的操作系统基本知识，比如：中断、进程调度、进程上下文切换、可运行队列等。\n\n用一个例子来简单介绍一下这些概念和他们的关系，CPU 很无辜，是个任劳任怨的打工仔，每时每刻都有工作在做（进程、线程）并且自己有一张工作清单（可运行队列），由老板（进程调度）来决定他该干什么，他需要和老板沟通以便得到老板的想法并及时调整自己的工作（上下文切换），部分工作做完以后还需要及时向老板汇报（中断），所以打工仔（CPU）除了做自己该做的工作之外，还有大量时间和精力花在沟通和汇报上。\n\nCPU 也是一种硬件资源，和任何其他设备一样也需要驱动和管理程序才能使用，我们可以把内核的进程调度看作是 CPU 的管理程序，用来管理和分配 CPU 资源，合理安排进程抢占 CPU，并决定哪个进程该使用 CPU、哪个进程该等待。\n\n操作系统内核里的进程调度主要用来调度两类资源：进程（或线程）和中断，进程调度给不同的资源分配了不同的优先级，**优先级最高的是硬件中断，其次是内核（系统）进程，最后是用户进程**。\n\n每个 CPU 都维护这一个可运行队列，用来存放那些可运行的线程。线程要么在睡眠状态（blocked 正在等待 IO）、要么在可运行状态，如果 CPU 当前负载太高而新的请求不断，就会出现进程调度暂时应付不过来的情况，这个时候就不得不把线程暂时放到可运行队列中。\n\n本文是讨论的性能监测，上面淡了一堆都没提到性能，那么这些概念和性能监测有什么关系呢？关系重大！如果你是老板，你如何检查打工仔的效率（性能）呢？我们一般会通过以下这些信息来判断打工仔是否偷懒：\n\n* 打工仔接受和完成多少任务并向老板汇报了（中断）\n* 打工仔和老板沟通、写上每项工作的工作进度（上下文切换）\n* 打工仔的工作列表是不是都有排满（可运行队列）\n* 打工仔工作效率如何，是不是在偷懒（CPU 利用率）\n\n现在把打工仔换成 CPU，我们可以通过查看这些重要参数：**中断**、**上下文切换**、**可运行队列**、**CPU 利用率**来检测 CPU 的性能。\n\n### 底线\n\nLinux 性能监测：介绍提到了性能监测需要知道底线，那么监测 CPU 性能的底线是什么呢？\n\n通常我们期望我们的系统能达到以下目标：\n\n* **CPU 利用率**，如果 CPU 用 100% 的利用率，那么应该达到这样一个平衡：65%-70% User Time，30%-35% System Time，0%-5% Idle Time\n* **上下文切换**，上下文切换应该和 CPU 利用率联系起来看，如果能保持上面的 CPU 利用率平衡，大量的上下文切换是可以接受的\n* **可运行队列**，每个可运行队列不应该由超过 1-3 个线程（每处理器），比如：双处理器系统的可运行队列里不应该超过 6 个线程\n\n### vmstat 命令\n\nvmstat 是个查看系统整体性能的小工具，小巧，即使在很 heavy 的情况下也允许良好，并且可以用时间间隔采集得到连续的性能数据。\n\n参数介绍：\n\n* r，可运行队列的线程数，这些线程都是可运行状态，只不过 CPU 暂时不可用\n* b，被 blocked 的进程数，正在等待 IO 请求\n* in，被处理过的中断数\n* cs，系统上正在做上下文切换的数目\n* us，用户占用 CPU 的百分比\n* sys，内核和中断占用 CPU 的百分比\n* wa，所有可运行的线程被 blocked 以后都在等待 IO，这时候 CPU 空闲的百分比\n* id，CPU 完全空闲的百分比\n\n举两个现实中的例子来分析一下\n\n```\n$ vmstat 1\nprocs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------\n r b swpd free buff cache si so bi bo in cs us sy id wa st\n 4 0 140 2915476 341288 3951700 0 0 0 0 1057 523 19 81 0 0 0\n 4 0 140 2915724 341296 3951700 0 0 0 0 1048 546 19 81 0 0 0\n 4 0 140 2915848 341296 3951700 0 0 0 0 1044 514 18 82 0 0 0\n 4 0 140 2915848 341296 3951700 0 0 0 24 1044 564 20 80 0 0 0\n 4 0 140 2915848 341296 3951700 0 0 0 0 1060 546 18 82 0 0 0\n\n```\n\n从上面的数据可以看出几点：\n\n1. interrupts(in) 非常高，context switch(cs) 比较低，说明这个 CPU 一直在不停的请求资源\n2. user time(us) 一直保持在 80% 以上，而且上下文切换较低 (cs)，说明某个进程可能一直霸占着 CPU\n* run queue(r) 刚好在 4 个\n\n```\n$ vmstat 1\nprocs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------\n r b swpd free buff cache si so bi bo in cs us sy id wa st\n14 0 140 2904316 341912 3952308 0 0 0 460 1106 9593 36 64 1 0 0\n17 0 140 2903492 341912 3951780 0 0 0 0 1037 9614 35 65 1 0 0\n20 0 140 2902016 341912 3952000 0 0 0 0 1046 9739 35 64 1 0 0\n17 0 140 2903904 341912 3951888 0 0 0 76 1044 9879 37 63 0 0 0\n16 0 140 2904580 341912 3952108 0 0 0 0 1055 9808 34 65 1 0 0\n\n```\n\n从上面的数据可以看出几点：\n\n1. context switch(cs) 比 interrupts(in) 要高的多，说明内核不得不来回切换进程\n2. 进一步观察发现 system time(sy) 很高而 user time(us) 很低，而且加上高频度的上下文切换 (cs)，说明正在运行的应用程序调用了大量的系统调用\n3. run queue(r) 在 14 个线程以上，按照这个而是机器的硬件配置 (4 核），应该保持在 12 以内\n\n### mpstat 命令\n\nmpstat 和 vmstat 类似，不同的是 mpstat 可以输出多个处理器的数据，下面的输出显示 CPU1 和 CPU2 基本上没有派上用场，系统有足够的能力处理更多的任务\n\n```\n$ mpstat -P ALL 1\nLinux 2.6.18-164.el5 (vpsee) 11/13/2009\n\n02:24:33 PM CPU %user %nice %sys %iowait %irq %soft %steal %idle intr/s\n02:24:34 PM all 5.26 0.00 4.01 25.06 0.00 0.00 0.00 65.66 1446.00\n02:24:34 PM 0 7.00 0.00 8.00 0.00 0.00 0.00 0.00 85.00 1001.00\n02:24:34 PM 1 13.00 0.00 8.00 0.00 0.00 0.00 0.00 79.00 444.00\n02:24:34 PM 2 0.00 0.00 0.00 100.00 0.00 0.00 0.00 0.00 0.00\n02:24:34 PM 3 0.99 0.00 0.99 0.00 0.00 0.00 0.00 98.02 0.00\n```\n\n### ps 命令\n\n如何查看某个程序、进程占用了多少 CPU 资源呢？下面是 java 在一台 Linux 服务器上的运行情况，当前只有 2 个 java 进程\n\n```\n$ while :; do ps -eo pid,ni,pri,pcpu,psr,comm | grep 'java'; sleep 1; done\n PID NI PRI %CPU PSR COMMAND\n 7252 0 24 3.2 3 java\n 9846 0 24 8.8 0 java\n 7252 0 24 3.2 2 java\n 9846 0 24 8.8 0 java\n 7252 0 24 3.2 2 java\n```\n\n## Linux 性能监测 内存篇\n\n这里讲到的`内存`包括**物理内存**和**虚拟内存**。虚拟内存 (Virtual Memory) 把计算机的内存空间扩展到硬盘，物理内存 (RAM) 和硬盘的一部分空间 (SWAP) 组合在一起作为虚拟内存为计算机提供了一个连续的虚拟内存空间，好处是我们拥有的内存`变多了`，可以运行更多、更大的程序，坏处是把部分硬盘当内存用，整体性能受到影响，硬盘读写速度要比内存慢几个数量级，并且 RAM 和 SWAP 之间的交换增加了系统的负担。\n\n在操作系统里，虚拟内存被分为页，在 x86 系统上每个页大小是 4KB。Linux 内核读写虚拟内存是以“页”为单位操作的，把内存转移到硬盘交换空间 (SWAP) 和从交换空间读取内存的时候都是按页来读写的。\n\n内存和 SWAP 的这种交互过程称为页面交换 (Paging)，值得注意的是 paging 和 swapping 是两个完全不同的概念，国内很多参考书把这两个概念混为一谈，swapping 也翻译为交换，在操作系统里是指把某程序完全交换到硬盘以腾出内存给新程序使用，和 paging 只交换程序的部分（页面）是两个不同的概念。春吹的 swapping 在现代操作系统中已经很难看到了，因为把整个程序交换到硬盘的办法既耗时又费力而且没必要，现代操作系统基本都是 paging 或者 paging/swapping 混合，swapping 最初是在 Unix system V 上实现的。\n\n虚拟内存管理是 Linux 内核里面最复杂的部分，要弄懂这部分内容可能需要一本书的讲解。这里只介绍和性能监测有关的两个内核进程：kswapd 和 pdflush。\n\n**kswapd daemon**用来检查 pages_high 和 pages_low，如果可用内存少于 pages_low，kswapd 就开始扫描并试图释放 32 个页面，并且重复扫描释放的过程知道可用内存大于 pages_high 为止。扫描的时候检查 3 件事：\n\n* 如果页面没有修改，把页放到可用内存列表里\n* 如果页面被文件系统修改，把页面内容写到磁盘上\n* 如果页面被修改了，但不是被文件系统修改的，把页面写到交换空间\n\n**pdflush daemon**用来同步文件相关的内存页面，把内存页面及时同步到硬盘上。比如打开一个文件，文件被导入到内存里，对文件修改并保存后，内核并不马上保存文件到硬盘，由 pdfush 决定什么时候把相应页面写到硬盘，这由一个内核参数 vm.dirty_background_ratio 来控制，比如下面的参数显示脏页面（dirty pages）达到所有内存页面 10% 的时候开始写入硬盘。\n\n```\n# /sbin/sysctl -n vm.dirty_background_ratio\n10\n```\n\n### vmstat 命令\n\n继续 vmstat 一些参数的介绍，上一篇 Linux 性能监测：CPU 介绍了 vmstat 的部分参数，这里介绍另外一部分。以下数据来自一个 256MB RAM，512MB SWAP 的 Xen VPS：\n\n```\n# vmstat 1\nprocs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------\n r b swpd free buff cache si so bi bo in cs us sy id wa st\n 0 3 252696 2432 268 7148 3604 2368 3608 2372 288 288 0 0 21 78 1\n 0 2 253484 2216 228 7104 5368 2976 5372 3036 930 519 0 0 0 100 0\n 0 1 259252 2616 128 6148 19784 18712 19784 18712 3821 1853 0 1 3 95 1\n 1 2 260008 2188 144 6824 11824 2584 12664 2584 1347 1174 14 0 0 86 0\n 2 1 262140 2964 128 5852 24912 17304 24952 17304 4737 2341 86 10 0 0 4\n```\n*memory*\n\n* swpd，已使用的 SWAP 控件大小，KB 为单位\n* free，可用的物理内存大小，KB 为单位\n* buff，物理内存用来缓存读写操作的 buffer 大小，KB 为单位\n* cache，物理内存用来缓存进程地址空间的 cache 大小，KB 为单位\n\n*swap*\n\n* si，数据从 SWAP 读取到 RAM（swap in）的大小，KB 为单位\n* so，数据从 RAM 写到 SWAP（swap in）的大小，KB 为单位\n\n*io*\n\n* bi，磁盘块从文件系统或 SWAP 读取到 RAM（blocks in）的大小，block 为单位\n* bo，磁盘块从 RAM 写到文件系统或 SWAP（blocks out）的大小，block 为单位\n\n上面是一个频繁读写交换区的例子，可以观察到以下几点：\n\n* 物理可用内存 free 基本没有显著变化，swapd 逐步增加，说明最小可用的内存使用保持在 256MB X 10% = 2.56MB 左右，当脏数据达到 10% 的时候 (vm.dirty_background_ratio = 10) 就开始大量使用 swap\n* buff 稳步减少说明系统知道内存不够用了，kwapd 正在从 buff 那里借用部分内存\n* kswapd 持续把脏数据写到 swap 交换区 (so)，并且从 swapd 主键增加看出确实如此。根据上面将的 kswapd 扫描时检查的三件事，如果页面被修改了，但不是被文件系统修改的，把页面写到 swap，所以这里 swapd 持续增加\n\n## Linux 性能监测 磁盘 IO 篇\n\n磁盘通常是计算机最慢的子系统，也是最容易出现性能瓶颈的地方，因为磁盘离 CPU 最远而且 CPU 访问磁盘涉及到机械操作，比如转轴、寻轨等，访问硬盘和访问内存之间的速度差别是以数量级来计算的，就像 1 天和 1 分钟的差别一样，要监测 IO 性能，有必要了解一下基本原理和 Linux 是如何处理硬盘和内存之间的 IO 的。\n\n### 内存页\n\nMemory 介绍中提到了内存和硬盘之间的 IO 是以页为单位来进行的，在 Linux 系统上 1 页的大小为 4K。可以用下面命令查看系统默认的页面大小：\n\n```\n$getconf PAGESIZE\n...\n4096\n...\n```\n\n### 缺页中断\n\nLinux 利用虚拟内存极大的扩展了程序地址空间，是的原来物理内存不能容下的程序也可以通过内存和硬盘之间的不断交换（把暂时不用的内存页交换到硬盘，把需要的内存页从硬盘读到内存）来赢得更多的内存，看起来就像物理内存被扩大一样。\n\n事实上这个过程对程序是完全透明的，程序完全不用理会自己哪一部分、什么时候被交换到内存，一切都在内核的虚拟内存管理来完成。\n\n当程序启动的时候，Linux 内核首先检查 CPU 的缓存和物理内存，如果数据已经在内存里就忽略，如果数据不再内存里就引起一个**缺页中断（Page Fault）**，然后从硬盘读取缺页，并把缺页缓存到物理内存中。\n\n缺页中断可分为主缺页中断（Major Page Fault）和次缺页中断（Minor Page Fault），要从磁盘读取数据而产生的中断是主缺页中断；数据已经读到内存并被缓存起来，从内存缓存区中而不是直接从硬盘中读取数据而产生的中断是次缺页中断。\n\n上面的内存缓存区起到了预读硬盘的作用，内核现在物理内存里寻找缺页，没有的话产生次缺页中断从内存缓存中找，如果还没有发现的话就从硬盘读取。很显然，把多于的内存拿出来做成内存缓存区有助于提高访问速度。\n\n这里还有一个**命中率**的问题，运气好的话如果每次缺页都能从内存缓存区读取的话将会极大提升性能。要提升命中率的一个简单的方法就是增大内存缓存区面积，缓存区越大预存的页面就越多，命中率也会越多。\n\n下面的 time 命令可以用来查看某程序第一次启动的时候产生了多少主缺页中断和次缺页中断：\n\n```\n$ /usr/bin/time -v date\n...\nMajor (requiring I/O) page faults: 1\nMinor (reclaiming a frame) page faults: 260\n...\n```\n\n### File Buffer Cache\n\n从上面的内存缓存区（也叫文件缓存区 File Buffer Cache) 读取页比从硬盘读取页要快的多，所以 Linux 内核希望能尽可能产生次却也中断（从文件缓存区读），并且能尽可能避免主缺页中断（从硬盘读），这样随着次缺页中断的增多，文件缓存区也逐步增大，直到系统只有少量可用物理内存的时候 Linux 才开始释放不用的页。\n\n我们运行 Linux 一段时间后会发现虽然系统上运行的程序不多，但是可用内存总是很少，这样给大家造成了 Linux 对内存管理很低效的假象，事实上 Linux 把哪些暂时不用的物理内存高效的利用起来做预存（内存缓存区）呢。下面打印的是一台 Sun 服务器上的物理内存和文件缓存区的情况：\n\n```\n$ cat /proc/meminfo\nMemTotal: 8182776 kB\nMemFree: 3053808 kB\nBuffers: 342704 kB\nCached: 3972748 kB\n```\n\n这台服务器总共有 8GB 物理内存（MemTotal），3GB 左右可用内存（MemFree），343MB 左右用来做磁盘缓存（Buffers），4GB 左右用来做文件缓存区（Cached），可见 Linux 真的用了很多物理内存做 Cache，而且这个缓存区还可以不断增长。\n\n### 页面类型\n\nLinux 中内存页面有三种类型：\n\n* Read Pages，只读页（或代码页），那些通过主缺页中断从硬盘读取的页面，包括不能修改的静态文件、可执行文件、库文件等。当内核需要它们的时候把它们读到内存中，当内存不足的时候，内核就释放它们到空闲列表，当程序再次需要它们的时候需要通过缺页中断再次读到内存\n* Dirty Pages，脏页，指那些在内存中被修改过的数据页，比如文本文件等。这些文件有 pdflush 负责同步到硬盘，内存不足的时候由 kswapd 和 pdflush 把数据写回硬盘并释放内存\n* Anonymous Pages，匿名页，那些属于某个进程但是又和任何文件无关联，不能被同步到硬盘上，内存不足的时候有 kswapd 负责将它们写到交换分区并释放内存\n\n### IO's Per Seconds(OIPS)\n\n每次磁盘 IO 请求都需要一定的时间，和访问内存比起来这个等待时间简直难以忍受。\n\n在一台 2001 年典型 1GHz PC 上，磁盘随机访问一个 word 需要 8000000 nanosec = 8 millisec，顺序访问一个 word 需要 200nanosec；而从内存访问一个 word 只需要 10 nanoses。（数据来自：Teach Yourself Programming in Ten Years）这个硬盘可以提供 125 次 IOPS（1000 ms / 8 ms）。\n\nIOPS：每秒 IO 的次数。\n\n### 顺序 IO 和随机 IO\n\nIO 分为顺序 IO 和随机 IO 两种，性能监测前需要弄清楚系统偏向顺序 IO 的应用还是随机 IO 的应用。\n\n随机 IO 是指同时顺序请求大量数据，比如数据库执行大量的查询、流媒体服务等，顺序 IO 可以同时很快的移动大量数据。可以这样来评估 IOPS 的性能，用每秒读写 IO 字节数除以每秒读写 IOPS 数，rkB/s 除以 r/s，wkB/s 除以 w/s。下面显示的是连续两秒的 IO 情况，可见每次 IO 写的数据是增加的（45060.00 / 99.00 = 455.15 KB per IO，54272.00 / 112.00 = 484.57 KB per IO）。\n\n相对随机 IO 而言，顺序 IO 更应该重视每次 IO 的吞吐能力（KB per IO）：\n\n```\n$ iostat -kx 1\navg-cpu: %user %nice %system %iowait %steal %idle\n 0.00 0.00 2.50 25.25 0.00 72.25\n\nDevice: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util\nsdb 24.00 19995.00 29.00 99.00 4228.00 45060.00 770.12 45.01 539.65 7.80 99.80\n\navg-cpu: %user %nice %system %iowait %steal %idle\n 0.00 0.00 1.00 30.67 0.00 68.33\n\nDevice: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util\nsdb 3.00 12235.00 3.00 112.00 768.00 54272.00 957.22 144.85 576.44 8.70 100.10\n```\n\n随机 IO 是指随机请求数据，其 IO 速度不依赖于数据的大小和排序，依赖于磁盘的每秒能 IO 的次数，比如 Web 服务、Mial 服务等每次请求的数据都很小，随机 IO 每次同时会有更多的请求数产生，所以磁盘的每秒能 IO 多少次是关键\n\n```\n$ iostat -kx 1\navg-cpu: %user %nice %system %iowait %steal %idle\n 1.75 0.00 0.75 0.25 0.00 97.26\n\nDevice: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util\nsdb 0.00 52.00 0.00 57.00 0.00 436.00 15.30 0.03 0.54 0.23 1.30\n\navg-cpu: %user %nice %system %iowait %steal %idle\n 1.75 0.00 0.75 0.25 0.00 97.24\n\nDevice: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await svctm %util\nsdb 0.00 56.44 0.00 66.34 0.00 491.09 14.81 0.04 0.54 0.19 1.29\n```\n\n按照上面的公式得出：436.00 / 57.00 = 7.65KB per IO， 491.09 / 66.34 = 7.40 KB per IO ，与顺序 IO 比较发现，随机 IO 的 KB per IO 小到可以忽略不计，可见对于随机 IO 而言重要的是每秒能 IOPS 的次数，而不是每次 IO 的吞吐能力（KB per IO）\n\n### SWAP\n\n当系统没有足够物理内存来应付所有请求的时候就会用到 swap 设备，swap 设备可以是一个文件，也可以是磁盘分区。\n\n不过要小心的是，使用 swap 的代价非常大。如果系统没有物理内存可用，就会频繁 swapping，如果 swap 设备和程序正在访问的数据在同一个文件系统上，那会碰到严重的 IO 问题，最终导致整个系统迟缓，甚至崩溃。\n\nswap 设备和内存之间的 swapping 状况是判断 Linux 系统性能的重要参考，我们已经有很多工具可以用来监测 swap 和 swapping 的情况，比如：top、cat/proc/meminfo、vmstat 等：\n\n```\n$ cat /proc/meminfo\nMemTotal: 8182776 kB\nMemFree: 2125476 kB\nBuffers: 347952 kB\nCached: 4892024 kB\nSwapCached: 112 kB\n...\nSwapTotal: 4096564 kB\nSwapFree: 4096424 kB\n...\n```\n#### 关掉 swap\n\n```\n(1) 将 /etc/fstab 文件中所有设置为 swap 的设备关闭\n[root@meetbill ~]# swapoff -a\n\n(2) 设置开机不启动 swap\n将 /etc/fstab 中 swap 行注释掉\n```\n\n## Linux 性能监测 网络篇\n\n网络的监测是所有 Linux 子系统里面最复杂的，有太多的因素在里面，比如：延迟、阻塞、冲突、丢包等，更糟的是与 Linux 主机相连的路由器、交换机、无线信号都会影响到整体网络并且很难判断是因为 Linux 网络子系统的问题还是别的设备的问题，增加了监测和判断的复杂度。\n\n现在我们使用的所有网卡都称为自适应网卡，意思是说能根据网络上的不同网络设备导致的不同网络速度和工作模式进行自动调整。我们可以通过 ethtool 共苦；来查看网卡的配置和工作模式：\n\n```\n# /sbin/ethtool eth0\nSettings for eth0:\nSupported ports: [ TP ]\nSupported link modes: 10baseT/Half 10baseT/Full\n 100baseT/Half 100baseT/Full\n 1000baseT/Half 1000baseT/Full\nSupports auto-negotiation: Yes\nAdvertised link modes: 10baseT/Half 10baseT/Full\n 100baseT/Half 100baseT/Full\n 1000baseT/Half 1000baseT/Full\nAdvertised auto-negotiation: Yes\nSpeed: 100Mb/s\nDuplex: Full\nPort: Twisted Pair\nPHYAD: 1\nTransceiver: internal\nAuto-negotiation: on\nSupports Wake-on: g\nWake-on: g\nCurrent message level: 0x000000ff (255)\nLink detected: yes\n```\n\n上面给出的例子说明网卡有 10baseT，100baseT 和 1000baseT 三种选择，目前正在自适应为 100baseT（Speed：100MB/s）。可以通过 ethtool 工具强制网卡工作在 1000basseT 下：\n\n```\n# /sbin/ethtool -s eth0 speed 1000 duplex full autoneg off\niptraf\n```\n\n两台主机之间有网线（或无线）、路由器、交换机等设备，测试两台主机之间的网络性能的一个办法就是在这两个系统之间互发数据并统计结果，看看吞吐量、延迟、速率如何。\n\niptraf 就是一个很好的查看本机网络吞吐量的好工具，支持文字图形界面，很直观。下面图片显示在 100mbps 速率的网络下这个 Linux 系统的发送传输率有点慢，Outgoing rates 只有 66mbps：\n\n```\n# iptraf -d eth0\n```\n\n### netperf\n\nnetperf 运行在 client/server 模式下，比 iptraf 能更多样化的测试终端的吞吐量。先在服务器端启动 netserver：\n\n```\n# netserver\nStarting netserver at port 12865\nStarting netserver at hostname 0.0.0.0 port 12865 and family AF_UNSPEC\n```\n\n然后在客户端测试服务器，执行一次持续 10 秒的 TCP 测试：\n\n```\n# netperf -H 172.16.38.36 -l 10\nTCP STREAM TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 172.16.38.36 (172.16.38.36) port 0 AF_INET\nRecv Send Send\nSocket Socket Message Elapsed\nSize Size Size Time Throughput\nbytes bytes bytes secs. 10^6bits/sec\n\n 87380 16384 16384 10.32 93.68\n```\n\n从上面输出可以看出，网络吞吐量在 94mbps 左右，对于 100mbps 的网络来说这个性能算的上很不错。\n\n上面的测试是在服务器和客户端位于同一个局域网，并且局域网是有线网的情况，你也可以试试不同结构、不同速率的网络，比如：网络之间中间多个路由器、客户端在 wi-fi、VPN 等情况。\n\nnetperf 还可以通过建立一个 TCP 连接并顺序地发送数据包来测试每秒有多少 TCP 请求和响应。下面的输出显示在 TCP requests 使用 2K 大小，responses 使用 32K 的情况下处理速率为每秒 243：\n\n```\n# netperf -t TCP_RR -H 172.16.38.36 -l 10 -- -r 2048,32768\nTCP REQUEST/RESPONSE TEST from 0.0.0.0 (0.0.0.0) port 0 AF_INET to 172.16.38.36 (172.16.38.36) port 0 AF_INET\nLocal /Remote\nSocket Size Request Resp. Elapsed Trans.\nSend Recv Size Size Time Rate\nbytes Bytes bytes bytes secs. per sec\n\n16384 87380 2048 32768 10.00 243.03\n16384 87380\n```\n同时可以使用 netperf 持续发送数据包，通过 atop 查看网卡流量查看网络状态是否良好\n\n### iperf\n\niperf 和 netperf 运行方式类似，也是 server/client 模式，现在服务器端启动 iperf：\n\n```\n# iperf -s -D\n------------------------------------------------------------\nServer listening on TCP port 5001\nTCP window size: 85.3 KByte (default)\n------------------------------------------------------------\nRunning Iperf Server as a daemon\nThe Iperf daemon process ID : 5695\n```\n\n然后在客户端对服务器进行测试，客户端线连接到服务器端（172.16.38.36），并在 30 秒内每隔 5 秒对服务器和客户端之间的网络进行一次带宽测试和采样：\n\n```\n# iperf -c 172.16.38.36 -t 30 -i 5\n------------------------------------------------------------\nClient connecting to 172.16.38.36, TCP port 5001\nTCP window size: 16.0 KByte (default)\n------------------------------------------------------------\n[ 3] local 172.16.39.100 port 49515 connected with 172.16.38.36 port 5001\n[ ID] Interval Transfer Bandwidth\n[ 3] 0.0- 5.0 sec 58.8 MBytes 98.6 Mbits/sec\n[ ID] Interval Transfer Bandwidth\n[ 3] 5.0-10.0 sec 55.0 MBytes 92.3 Mbits/sec\n[ ID] Interval Transfer Bandwidth\n[ 3] 10.0-15.0 sec 55.1 MBytes 92.4 Mbits/sec\n[ ID] Interval Transfer Bandwidth\n[ 3] 15.0-20.0 sec 55.9 MBytes 93.8 Mbits/sec\n[ ID] Interval Transfer Bandwidth\n[ 3] 20.0-25.0 sec 55.4 MBytes 92.9 Mbits/sec\n[ ID] Interval Transfer Bandwidth\n[ 3] 25.0-30.0 sec 55.3 MBytes 92.8 Mbits/sec\n[ ID] Interval Transfer Bandwidth\n[ 3] 0.0-30.0 sec 335 MBytes 93.7 Mbits/sec\n```\n\n### tcpdump 和 tcptrace\n\ntcpdump 和 tcptrace 提供了一种更细致的分析方法，先用 tcpdump 按要求捕获数据包把结果输出到某一文件，然后再用 tcptrace 分析其文件格式。这个工具组合可以提供一些难以用其他工具发现的信息：\n\n```\n# /usr/sbin/tcpdump -w network.dmp\ntcpdump: listening on eth0, link-type EN10MB (Ethernet), capture size 96 bytes\n511942 packets captured\n511942 packets received by filter\n0 packets dropped by kernel\n\n# tcptrace network.dmp\n1 arg remaining, starting with 'network.dmp'\nOstermann's tcptrace -- version 6.6.7 -- Thu Nov 4, 2004\n\n511677 packets seen, 511487 TCP packets traced\nelapsed wallclock time: 0:00:00.510291, 1002714 pkts/sec analyzed\ntrace file elapsed time: 0:02:35.836372\nTCP connection info:\n 1: zaber:54581 - boulder:111 (a2b) 6> 5< (complete)\n 2: zaber:833 - boulder:32774 (c2d) 6> 5< (complete)\n 3: zaber:pcanywherestat - 172.16.39.5:53086 (e2f) 2> 3<\n 4: zaber:716 - boulder:2049 (g2h) 347> 257<\n 5: 172.16.39.100:58029 - zaber:12865 (i2j) 7> 5< (complete)\n 6: 172.16.39.100:47592 - zaber:36814 (k2l) 255380> 255378< (reset)\n 7: breakpoint:45510 - zaber:7012 (m2n) 9> 5< (complete)\n 8: zaber:35813 - boulder:111 (o2p) 6> 5< (complete)\n 9: zaber:837 - boulder:32774 (q2r) 6> 5< (complete)\n 10: breakpoint:45511 - zaber:7012 (s2t) 9> 5< (complete)\n 11: zaber:59362 - boulder:111 (u2v) 6> 5< (complete)\n 12: zaber:841 - boulder:32774 (w2x) 6> 5< (complete)\n 13: breakpoint:45512 - zaber:7012 (y2z) 9> 5< (complete)\n```\n\ntcptrace 功能很强大，还可以通过过滤和布尔表达式来找出有问题的连接，比如，找出转播大于 100segments 的连接：\n\n```\n# tcptrace -f'rexmit_segs>100' network.dmp\n```\n\n如果发现连接 #10 有问题，可以查看关于这个连接的其他信息：\n\n```\n# tcptrace -o10 network.dmp\n```\n\n下面的命令使用 tcptrace 的 slice 模式，程序自动在当前目录创建了一个 slice.dat 文件，这个文件包含了每隔 15 秒的转播信息：\n\n```\n# tcptrace -xslice network.dmp\n\n# cat slice.dat\ndate segs bytes rexsegs rexbytes new active\n--------------- -------- -------- -------- -------- -------- --------\n16:58:50.244708 85055 4513418 0 0 6 6\n16:59:05.244708 110921 5882896 0 0 0 2\n16:59:20.244708 126107 6697827 0 0 1 3\n16:59:35.244708 151719 8043597 0 0 0 2\n16:59:50.244708 37296 1980557 0 0 0 3\n17:00:05.244708 67 8828 0 0 2 3\n17:00:20.244708 149 22053 0 0 1 2\n17:00:35.244708 30 4080 0 0 0 1\n17:00:50.244708 39 5688 0 0 0 1\n17:01:05.244708 67 8828 0 0 2 3\n17:01:11.081080 37 4121 0 0 1 3\n```\n\n## ulimit 关于系统连接数的优化\n\nlinux 默认值 open files 和 max user processes 为 1024\n\n\\#ulimit -n\n\n1024\n\n\\#ulimit –u\n\n1024\n\n问题描述： 说明 server 只允许同时打开 1024 个文件，处理 1024 个用户进程\n\n使用 ulimit -a 可以查看当前系统的所有限制值，使用 ulimit -n 可以查看当前的最大打开文件数。\n\n新装的 linux 默认只有 1024 ，当作负载较大的服务器时，很容易遇到 error: too many open files 。因此，需要将其改大。\n\n解决方法：\n\n使用 ulimit –n 65535 可即时修改，但重启后就无效了。（注 ulimit -SHn 65535 等效 ulimit -n 65535 ，-S 指 soft ，-H 指 hard)\n\n### 修改方式\n\n有如下三种修改方式：\n\n1. 在 /etc/rc.local 中增加一行 ulimit -SHn 65535\n\n2. 在 /etc/profile 中增加一行 ulimit -SHn 65535\n\n3. 在 /etc/security/limits.conf 最后增加：\n\n ```\n * soft nofile 65535\n * hard nofile 65535\n * soft nproc 65535\n * hard nproc 65535\n ```\n\n具体使用哪种，在 CentOS 中使用第 1 种方式无效果，使用第 3 种方式有效果，而在 Debian 中使用第 2 种有效果\n\n\\# ulimit -n\n\n65535\n\n\\# ulimit -u\n\n65535\n\n备注：ulimit 命令本身就有分软硬设置，加 -H 就是硬，加 -S 就是软默认显示的是软限制\n\nsoft 限制指的是当前系统生效的设置值。 hard 限制值可以被普通用户降低。但是不能增加。 soft 限制不能设置的比 hard 限制更高。 只有 root 用户才能够增加 hard 限制值。\n\n```bash\n#!/bin/bash\n\nfile=/etc/security/limits.conf\n\nif grep '^* soft nofile' $file > /dev/null ;then\n sed -i 's/^* soft nofile.*/* soft nofile 1024000/' $file\nelse\n echo '* soft nofile 1024000' >> $file\nfi\n\nif grep '^* hard nofile' $file > /dev/null ;then\n sed -i 's/^* hard nofile.*/* hard nofile 1024000/' $file\nelse\n echo '* hard nofile 1024000' >> $file\nfi\n\nulimit -SHn 1024000\n```\n" }, { "path": "doc/Linux/safety.md", "content": "## Linux 安全\n\n\n\n* [1 禁止 ping](#1-禁止-ping)\n* [2 禁止密码登陆](#2-禁止密码登陆)\n* [3 ssh 防暴力破解及提高 ssh 安全](#3-ssh-防暴力破解及提高-ssh-安全)\n* [4 运维操作审计](#4-运维操作审计)\n* [5 双因子认证](#5-双因子认证)\n * [5.1 安装及配置篇](#51--安装及配置篇)\n * [5.1.1 环境](#511-环境)\n * [5.1.2 查看系统时间](#512-查看系统时间)\n * [5.1.3 安装 google authenticator](#513-安装-google-authenticator)\n * [5.1.4 为 SSH 服务器用 Google 认证器](#514-为-ssh-服务器用-google-认证器)\n * [5.1.5 生成验证密钥](#515-生成验证密钥)\n * [5.2 使用](#52-使用)\n * [5.2.1 在安卓设备上运行 Google 认证器](#521-在安卓设备上运行-google-认证器)\n * [5.2.2 终端使用二次身份验证登陆](#522-终端使用二次身份验证登陆)\n * [5.3 常见问题及注意点](#53-常见问题及注意点)\n * [5.3.1 登陆失败](#531-登陆失败)\n * [5.3.2 是否可以不同的用户使用不用密钥](#532-是否可以不同的用户使用不用密钥)\n * [5.3.3 是否可以使用 ssh 密钥直接登陆](#533-是否可以使用-ssh-密钥直接登陆)\n * [5.4 原理](#54-原理)\n * [5.4.1 前世今生](#541-前世今生)\n * [5.4.2 TOTP 中的特殊问题](#542-totp-中的特殊问题)\n* [6 iptables 命令](#6-iptables-命令)\n * [6.1 iptables 是什么](#61-iptables-是什么)\n * [6.2 iptables 示例](#62-iptables-示例)\n * [6.2.1 filter 表 INPUT 链](#621-filter-表-input-链)\n * [6.2.2 filter 表 OUTPUT 链](#622-filter-表-output-链)\n * [6.2.3 filter 表的 FORWARD 链](#623-filter-表的-forward-链)\n * [6.3 nat 表](#63-nat-表)\n * [6.3.1 nat 表 PREROUTING 链](#631-nat-表-prerouting-链)\n * [6.3.2 nat 表 POSTROUTING 链](#632-nat-表-postrouting-链)\n * [6.3.3 nat 表做 HA 的实例](#633-nat-表做-ha-的实例)\n * [6.3.4 nat 表为虚拟机做内外网联通](#634-nat-表为虚拟机做内外网联通)\n * [6.4 iptables 管理命令](#64-iptables-管理命令)\n * [6.4.1 查看 iptables 规则](#641-查看-iptables-规则)\n * [6.4.2 清除 iptables 规则](#642-清除-iptables-规则)\n * [6.4.3 保存 iptables 规则](#643-保存-iptables-规则)\n * [6.5 常用操作](#65-常用操作)\n * [6.5.1 使用 ip6tables 禁用 ipv6](#651-使用-ip6tables-禁用-ipv6)\n * [6.5.2 配置 iptables 允许部分端口通行，其他全部阻止](#652-配置-iptables-允许部分端口通行其他全部阻止)\n * [6.5.3 关闭某个端口外部访问](#653-关闭某个端口外部访问)\n\n\n\n## 1 禁止 ping\n\n禁止系统响应任何从外部 / 内部来的 ping 请求攻击者一般首先通过 ping 命令检测此主机或者 IP 是否处于活动状态 ，如果能够 ping 通某个主机或者 IP，那么攻击者就认为此系统处于活动状态，继而进行攻击或破坏。如果没有人能 ping 通机器并收到响应，那么就可以大大增强服务器的安全性，linux 下可以执行如下设置，禁止 ping 请求：\n```\n[root@localhost ~]#echo \"1\"> /proc/sys/net/ipv4/icmp_echo_ignore_all\n```\n默认情况下\"icmp_echo_ignore_all\"的值为\"0\"，表示响应 ping 操作。\n\n可以加上面的一行命令到 /etc/rc.d/rc.local 文件中，以使每次系统重启后自动运行\n\n## 2 禁止密码登陆\n\n## 3 ssh 防暴力破解及提高 ssh 安全\n\n## 4 运维操作审计\n\n[添加运维操作审计工具](https://github.com/meetbill/shell_menu)\n\n## 5 双因子认证\n\n海上生明月，天涯共此时！\n\n### 5.1 安装及配置篇\n\n#### 5.1.1 环境\n\nserver：CentOS 6.5/CentOS 7.3\n\n#### 5.1.2 查看系统时间\n\n使用外网机器时，创建的时候有可能不是北京时间\n\n```\n[root@centos ~]#date\nSun Aug 14 23:18:41 EDT 2011\n[root@centos ~]# rm -rf /etc/localtime\n[root@centos ~]# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime\n```\n#### 5.1.3 安装 google authenticator\n\n安装 EPEL 源并安装 google_authenticator\n\n```\n#yum -y install epel-release\n#yum -y install google-authenticator\n```\n#### 5.1.4 为 SSH 服务器用 Google 认证器\n\n**配置 /etc/pam.d/sshd**\n\n```\n# CentOS 6.5 在\"auth include password-auth\"行前添加如下内容\n# CentOS 7 在\"auth substack password-auth\"行前添加如下内容\nauth required pam_google_authenticator.so\n```\n即先 google 方式认证再 linux 密码认证\n\n**修改 SSH 服务配置 /etc/ssh/sshd_config**\n\nChallengeResponseAuthentication no->yes\n\n```\nsed -i 's#^ChallengeResponseAuthentication no#ChallengeResponseAuthentication yes#' /etc/ssh/sshd_config\n```\n**重启 SSH 服务**\n\n```\n# CentOS6\n#service sshd restart\n\n# CentOS7\n# systemctl restart sshd\n```\n**关掉 selinux**\n\n```\n# setenforce 0\n# 修改 /etc/selinux/config 文件 将 SELINUX=enforcing 改为 SELINUX=disabled\n```\n\n#### 5.1.5 生成验证密钥\n在 Linux 主机上登陆需要认证的用户运行 Google 认证器（我这是使用 root 用户演示的）\n```\n$google-authenticator\n```\n直接一路输入 yes 即可，询问内容如下，想了解的可以看下\n\n```\nDo you want me to update your \"~/.google_authenticator\" file (y/n):y\n应急码的保存路径\n\nDo you want to disallow multiple uses of the same authentication token?\nThis restricts you to one login about every 30s,\nbut it increases your chances to notice or even prevent man-in-the-middle attacks (y/n)\n是否禁止一个口令多用，自然也是答 y\n\nBy default, tokens are good for 30 seconds and in order to compensate for possible time-skew between the client and the server,\nwe allow an extra token before and after the current time. If you experience problems with poor time synchronization, you can increase the window from its default size of 1:30min to about 4min. Do you want to do so (y/n)\n问是否打开时间容错以防止客户端与服务器时间相差太大导致认证失败。\n这个可以根据实际情况来。如果一些 Android 平板电脑不怎么连网的，可以答 y 以防止时间错误导致认证失败。\n\nIf the computer that you are logging into isn't hardened against brute-force login attempts,\nyou can enable rate-limiting for the authentication module.\nBy default, this limits attackers to no more than 3 login attempts every 30s.Do you want to enable rate-limiting (y/n)\n选择是否打开尝试次数限制（防止暴力攻击），自然答 y\n```\n这里需要记住的是\n\n```\n$cat ~/.google_authenticator 手机密钥和应急码保存路径\n密钥\nYour emergency scratch codes are: 一些生成的 5 个应急码，每个应急码只能使用一次\n```\n### 5.2 使用\n\n#### 5.2.1 在安卓设备上运行 Google 认证器\n\n***安装 google 身份验证器***\n\n我的方法是在 UC 中搜索的 google 身份验证器进行的安装\n\n***输入密钥***\n\n选择\"Enter provided key\"选项，使用键盘输入账户名称和验证密钥\n\n#### 5.2.2 终端使用二次身份验证登陆\n\n***windows xshell***\n\n打开 xshell（其他终端类似），选择登陆主机的属性。设置登陆方法为 Keyboard Interactive\n\n登陆时输入用户名后，接着输入手机设备上的数字，然后输入密码\n\n***linux***\n\nlinux 下直接输入\n\n```\n#ssh 用户名 @IP\n```\n连接比较慢时可以修改本机的客户端配置文件 ssh_config，注意，不是 sshd_config\n\nGSSAPIAuthentication yes -->no\n\n```\n#sed -i 's#GSSAPIAuthentication yes#GSSAPIAuthentication no#' /etc/ssh/ssh_config\n\n```\n### 5.3 常见问题及注意点\n\n#### 5.3.1 登陆失败\n\n如果 SELinux 是打开状态，则会登陆失败，日志 /var/log/secret 中会有如下日志\n\n```\nJan 3 23:42:50 hostname sshd(pam_google_authenticator)[1654]: Failed to update secret file \"/home/username/.google_authenticator\"\nJan 3 23:42:50 hostname sshd[1652]: error: PAM: Cannot make/remove an entry for the specified session for username from 192.168.0.5\n```\n#### 5.3.2 是否可以不同的用户使用不用密钥\n\n可以，只需要在不同的用户执行`google-authenticator`即可\n\n#### 5.3.3 是否可以使用 ssh 密钥直接登陆\n\n可以，根据以上方法操作，只限制密码登陆时需要二次认证\n\n### 5.4 原理\n\n 基于时间的一次性密码（Time-based One-time Password，简称 TOTP），只需要在手机上安装密码生成应用程序，就可以生成一个随着时间变化的一次性密码，用于帐户验证，而且这个应用程序不需要连接网络即可工作。仔细看了看这个方案的实现原理，发现挺有意思的。\n\n#### 5.4.1 前世今生\n\n***HOTP***\n\n Google 的两步验证算法源自另一种名为 HMAC-Based One-Time Password 的算法，简称 HOTP。HOTP 的工作原理如下：\n\n 客户端和服务器事先协商好一个密钥 K，用于一次性密码的生成过程，此密钥不被任何第三方所知道。此外，客户端和服务器各有一个计数器 C，并且事先将计数值同步。\n进行验证时，客户端对密钥和计数器的组合 (K,C) 使用 HMAC（Hash-based Message Authentication Code）算法计算一次性密码，公式如下：\n\n> HOTP(K,C) = Truncate(HMAC-SHA-1(K,C))\n\n上面采用了 HMAC-SHA-1，当然也可以使用 HMAC-MD5 等。HMAC 算法得出的值位数比较多，不方便用户输入，因此需要截断（Truncate）成为一组不太长十进制数（例如 6 位）。计算完成之后客户端计数器 C 计数值加 1。用户将这一组十进制数输入并且提交之后，服务器端同样的计算，并且与用户提交的数值比较，如果相同，则验证通过，服务器端将计数值 C 增加 1。如果不相同，则验证失败。\n\n这里的一个比较有趣的问题是，如果验证失败或者客户端不小心多进行了一次生成密码操作，那么服务器和客户端之间的计数器 C 将不再同步，因此需要有一个重新同步（Resynchronization）的机制。\n\n***TOTP***\n\n介绍完了 HOTP，Time-based One-time Password（TOTP）也就容易理解了。TOTP 将 HOTP 中的计数器 C 用当前时间 T 来替代，于是就得到了随着时间变化的一次性密码。非常有趣吧！\n\n一句话概括就是\n\n> 海上升明月，天涯共此时！\n\n#### 5.4.2 TOTP 中的特殊问题\n\n***时间 T 的选取 (30 秒作为时间片）***\n\n首先，时间 T 的值怎么选取？因为时间每时每刻都在变化，如果选择一个变化太快的 T（例如从某一时间点开始的秒数），那么用户来不及输入密码。如果选择一个变化太慢的 T（例如从某一时间点开始的小时数），那么第三方攻击者就有充足的时间去尝试所有可能的一次性密码（试想 6 位数字的一次性密码仅仅有 10^6 种组合），降低了密码的安全性。除此之外，变化太慢的 T 还会导致另一个问题。如果用户需要在短时间内两次登录账户，由于密码是一次性的不可重用，用户必须等到下一个一次性密码被生成时才能登录，这意味着最多需要等待 59 分 59 秒！这显然不可接受。综合以上考虑，\n\nGoogle 选择了 30 秒作为时间片，T 的数值为从 Unix epoch（1970 年 1 月 1 日 00:00:00）来经历的 30 秒的个数。\n\n***网络延时处理***\n\n第二个问题是，由于网络延时，用户输入延迟等因素，可能当服务器端接收到一次性密码时，T 的数值已经改变，这样就会导致服务器计算的一次性密码值与用户输入的不同，验证失败。解决这个问题个一个方法是，服务器计算当前时间片以及前面的 n 个时间片内的一次性密码值，只要其中有一个与用户输入的密码相同，则验证通过。当然，n 不能太大，否则会降低安全性。\n事实上，这个方法还有一个另外的功能。我们知道如果客户端和服务器的时钟有偏差，会造成与上面类似的问题，也就是客户端生成的密码和服务端生成的密码不一致。但是，如果服务器通过计算前 n 个时间片的密码并且成功验证之后，服务器就知道了客户端的时钟偏差。因此，下一次验证时，服务器就可以直接将偏差考虑在内进行计算，而不需要进行 n 次计算。\n\n以上就是 Google 两步验证的工作原理，推荐大家使用，这确实是保护帐户安全的利器。\n\n## 6 iptables 命令\n\n### 6.1 iptables 是什么\niptables 是与 Linux 内核集成的 IP 信息包过滤系统，该系统有利于在 Linux 系统上更好地控制 IP 信息包过滤和防火墙配置。\n\n### 6.2 iptables 示例\n#### 6.2.1 filter 表 INPUT 链\n怎么处理发往本机的包。\n\n```\n# iptables {-A|-D|-I} INPUT rule-specification\n# iptables -A INPUT -s 10.1.2.11 -p tcp --dport 80 -j DROP\n# iptables -A INPUT -s 10.1.2.11 -p tcp --dport 80 -j REJECT --reject-with tcp-reset\n# iptables -A INPUT -s 10.1.2.11 -p tcp --dport 80 -j ACCEPT\n```\n\n以上表示将从源地址 10.1.2.11 访问本机 80 端口的包丢弃（以 tcp-reset 方式拒绝和接受）。\n\n> * -s 表示源地址（--src,--source），其后面可以是一个 IP 地址（10.1.2.11）、一个 IP 网段（10.0.0.0/8）、几个 IP 或网段（192.168.1.11/32,10.0.0.0/8，添加完成之后其实是两条规则）。\n> * -d 表示目的地址（--dst,--destination），其后面可以是一个 IP 地址（10.1.2.11）、一个 IP 网段（10.0.0.0/8）、几个 IP 或网段（10.1.2.11/32,10.1.3.0/24，添加完成之后其实是两条规则）。\n> * -p 表示协议类型（--protocol），后面可以是 tcp, udp, udplite, icmp, esp, ah, sctp, all，其中 all 表示所有的协议。\n> * --sport 表示源端口（--source-port），后面可以是一个端口（80）、一系列端口（80:90，从 80 到 90 之间的所有端口），一般在 OUTPUT 链使用。\n> * --dport 表示目的端口（--destination-port），后面可以是一个端口（80）、一系列端口（80:90，从 80 到 90 之间的所有端口）。\n> * -j 表示 iptables 规则的目标（--jump），即一个符合目标的数据包来了之后怎么去处理它。常用的有 ACCEPT, DROP, REJECT, REDIRECT, LOG, DNAT, SNAT。\n> * (“就好象骗子给你打电话，ACCEPT 是接收，drop 就是直接拒收，reject 的话，相当于你还给骗子回个电话。”)\n\n```\n# iptables -A INPUT -p tcp --dport 80 -j DROP\n# iptables -A INPUT -p tcp --dport 80:90 -j DROP\n# iptables -A INPUT -m multiport -p tcp --dports 80,8080 -j DROP\n```\n\n以上表示将所有访问本机 80 端口（80 和 90 之间的所有端口，80 和 8080 端口）的包丢弃。\n\n> * -m 匹配更多规则（--match），可以指定更多的 iptables 匹配扩展。可以是 tcp, udp, multiport, cpu, time, ttl 等，即你可以指定一个或多个端口，或者本机的一个 CPU 核心，或者某个时间段内的包。\n\n#### 6.2.2 filter 表 OUTPUT 链\n怎么处理本机向外发的包。\n\n```\n# iptables -A OUTPUT -p tcp --sport 80 -j DROP\n```\n\n以上这条规则意思是不允许访问本机 80 端口的包出去。即你可以向本机 80 端口发送请求包，但是本机回应给你的包会被该条规则丢弃。\n\nINPUT 链与 OUTPUT 链用法一样，但是表示的意思不同。\n\n#### 6.2.3 filter 表的 FORWARD 链\nFor packets being routed through the box（不知道怎么解释）。\n\n其用法与 INPUT 链和 OUTPUT 链类似。\n\n### 6.3 nat 表\nnat 表有三条链，分别是 PREROUTING, OUTPUT, POSTROUTING。\n\n#### 6.3.1 nat 表 PREROUTING 链\n修改发往本机的包。\n\n```\n# iptables -t nat -A PREROUTING -p tcp -d 202.102.152.23 --dport 80 -j DNAT --to-destination 10.67.15.23:8080\n# iptables -t nat -A PREROUTING -p tcp -d 202.102.152.23 -j DNAT --to-destination 10.67.15.23\n```\n\n以上这两条规则的意思是将发往 IP 地址 202.102.152.23 和端口 80 的包的目的地址修改为 10.67.15.23，目的端口修改为 8080。将发往 202.102.152.23 的其他非 80 端口的包目的地址修改为 10.67.15.23。第二条规则中的 -p tcp 是可选的，也可以指定其他协议。\n\n其实类似这样的规则一般在路由器上做，路由器上有个公网 IP（202.102.152.23），其中有个用户的内网 IP（10.67.15.23）想提供外网的 web 服务，而路由器又不想将公网 IP 地址绑定到用户机器上，因此就出来了以上的蛋疼规则。\n\n#### 6.3.2 nat 表 POSTROUTING 链\n修改本机向外发的包。\n\n```\n# iptables -t nat -A POSTROUTING -p tcp -s 10.67.15.23 --sport 8080 -j SNAT --to-source 202.102.152.23:80\n# iptables -t nat -A POSTROUTING -p tcp -s 10.67.15.23 -j SNAT --to-source 202.102.152.23\n```\n\n以上两条规则的意思是将从 IP 地址 10.67.15.23 和端口 8080 发出的包的源地址修改为 202.102.152.23，源端口修改为 80。将从 10.67.15.23 发出的非 80 端口的包的源地址修改为 202.102.152.23。\n\n这两条正好与以上两条 PREROUTING 共同完成了内网用户想提供外网服务的功能。\n\n其中的 --to-destination 和 --to-source 都可以缩写成 --to，在 DNAT 和 SNAT 中会分别被理解成 --to-destination 和 --to-source。\n\n注： 之所以将内网服务的端口和外网服务的端口写的不一致是因为二者其实真的可以不一致。另外，是否将 PREROUTNG 中的 -d 改为域名就可以使用一个公网 IP 为不同用户提供服务了呢？这个需要哥哥我稍后验证。\n\n#### 6.3.3 nat 表做 HA 的实例\n有两台服务器和三个 IP 地址，分别是 10.1.2.21, 10.1.2.22, 10.1.5.11。假设他们提供的是相同的 WEB 服务，现在想让他们做 HA，而 10.1.5.11 是他们的 VIP。\n\n* 10.1.2.21 这台的 NAT 规则如下：\n\n```\n# iptables -t nat -A PREROUTING -p tcp -d 10.1.2.11 --dport 80 -j DNAT --to-destination 10.1.2.21:80\n# iptables -t nat -A POSTROUTING -p tcp -s 10.1.2.21 --sport 80 -j SNAT --to-source 10.1.2.11:80\n```\n\n* 10.1.2.22 这台的 NAT 规则如下：\n\n```\n# iptables -t nat -A PREROUTING -p tcp -d 10.1.2.11 --dport 80 -j DNAT --to-destination 10.1.2.22:80\n# iptables -t nat -A POSTROUTING -p tcp -s 10.1.2.22 --sport 80 -j SNAT --to-source 10.1.2.11:80\n```\n\n默认可以认为 VIP 在 10.1.2.21 上挂着，那么当这台机器发生故障不能提供服务时，我们可以及时将 VIP 挂到 10.1.2.22 上，这样就可以保证服务不中断了。当然我们可以写一个简单的 SHELL 脚本来完成 VIP 的检测及挂载，方法非常简单。\n\n注： LVS 的实现中貌似有这么一项，还没有深入去研究 LVS。\n\n#### 6.3.4 nat 表为虚拟机做内外网联通\n\n宿主机内网 IP 是 10.67.15.183(eth1)，外网 IP 是 202.102.152.183(eth0)，内网网关是 10.67.15.1，其上面的虚拟机 IP 是 10.67.15.250(eth1)。\n\n目前虚拟机只能连接内网，其路由信息如下：\n\n```\n# ip r s\n10.67.15.0/24 dev eth1 proto kernel scope link src 10.67.15.250\n169.254.0.0/16 dev eth1 scope link metric 1003\n192.168.0.0/16 via 10.67.15.1 dev eth1\n172.16.0.0/12 via 10.67.15.1 dev eth1\n10.0.0.0/8 via 10.67.15.1 dev eth1\ndefault via 10.67.15.1 dev eth1\n```\n\n若要以 NAT 方式实现该虚拟机即能连接公网又能连接内网，则该虚拟机路由需要改成以下：\n\n```\n# ip r s\n10.67.15.0/24 dev eth1 proto kernel scope link src 10.67.15.250\n169.254.0.0/16 dev eth1 scope link metric 1003\n192.168.0.0/16 via 10.67.15.1 dev eth1\n172.16.0.0/12 via 10.67.15.1 dev eth1\n10.0.0.0/8 via 10.67.15.1 dev eth1\ndefault via 10.67.15.183 dev eth1\n```\n虚拟机连接内网的网关地址也可以写成宿主机内网 IP 地址。\n\n宿主机上面添加如下 NAT 规则：\n\n```\n# iptables -t nat -A POSTROUTING -s 10.67.15.250/32 -d 10.0.0.0/8 -j SNAT --to-source 10.67.15.250\n# iptables -t nat -A POSTROUTING -s 10.67.15.250/32 -d 172.16.0.0/12 -j SNAT --to-source 10.67.15.250\n# iptables -t nat -A POSTROUTING -s 10.67.15.250/32 -d 192.168.0.0/16 -j SNAT --to-source 10.67.15.250\n# iptables -t nat -A POSTROUTING -s 10.67.15.250/32 -j SNAT --to-source 202.102.152.183\n```\n\n以上四条规则的意思是将从源地址 10.67.15.250 发往内网机器上的数据包的源地址改为 10.67.15.250。将从源地址 10.67.15.250 发往公网机器上的数据包的源地址修改为 202.102.152.183。\n\n### 6.4 iptables 管理命令\n#### 6.4.1 查看 iptables 规则\n\n```\n# iptables -nL\n# iptables -n -L\n# iptables --numeric --list\n# iptables -S\n# iptables --list-rules\n# iptables -t nat -nL\n# iptables-save\n```\n> * -n 代表 --numeric，意思是 IP 和端口都以数字形式打印出来。否则会将 127.0.0.1:80 输出成 localhost:http。端口与服务的对应关系可以在 /etc/services 中查看。\n> * -L 代表 --list，列出 iptables 规则，默认列出 filter 链中的规则，可以用 -t 来指定列出哪个表中的规则。\n> * -t 代表 --tables，指定一个表。\n> * -S 代表 --list-rules，以原命令格式列出规则。\n\niptables-save 命令是以原命令格式列出所有规则，可以 -t 指定某个表。\n\n#### 6.4.2 清除 iptables 规则\n\n```\n# iptables -F\n# iptables --flush\n# iptables -F OUTPUT\n# iptables -t nat -F\n# iptables -t nat -F PREROUTING\n```\n\n> * -F 代表 --flush，清除规则，其后面可以跟着链名，默认是将指定表里所有的链规则都清除。\n> * （警告：如果已经配置过默认规则为 deny 的环境，即 iptables -P INPUT DROP ，直接命令行执行 iptables -F 将使系统的所有网络访问中断，此坑已踩过）\n\n#### 6.4.3 保存 iptables 规则\n\n```\n# /etc/init.d/iptables save\n```\n\n该命令会将 iptables 规则保存到 /etc/sysconfig/iptables 文件里面，如果 iptable 有开机启动的话，开机时会自动将这些规则添加到机器上。\n\n### 6.5 常用操作\niptables 命令中的很多选项前面都可以加\"!\"，意思是“非”。如\"! -s 10.0.0.0/8\"表示除这个网段以外的源地址，\"! --dport 80\"表示除 80 以外的其他端口。\n\n#### 6.5.1 使用 ip6tables 禁用 ipv6\n\n目前 ipv6 不禁用会存在安全隐患，那我们就可以通过 ip6tables 禁用 ipv6，我们只要在 ip6tables 的 filter 表上的出入口以及转发做限定就行了。\n\n```\n[root@meetbill ~]# vim /etc/sysconfig/ip6tables\n*filter\n:INPUT ACCEPT [0:0]\n:FORWARD ACCEPT [0:0]\n:OUTPUT ACCEPT [0:0]\n\n# 添加这 3 条规则\n\n-A INPUT -j REJECT --reject-with icmp6-adm-prohibited\n-A FORWARD -j REJECT --reject-with icmp6-adm-prohibited\n-A OUTPUT -j REJECT --reject-with icmp6-adm-prohibited\nCOMMIT\n[root@meetbill ~]# /etc/init.d/ip6tables restart\n```\n可以通过 ifconfig 查看 ipv6 的地址\n```\n[root@meetbill ~]# ping6 -I eth0 fe80::20c:29ff:febc:8aab\n\n```\n#### 6.5.2 配置 iptables 允许部分端口通行，其他全部阻止\n\n将下列内容放到脚本中，然后执行脚本即可，此脚本可以重复执行\n```\n#!/bin/bash\niptables -F /* 清除所有规则 */\niptables -A INPUT -p tcp --dport 22 -j ACCEPT /*允许包从 22 端口进入*/\niptables -A OUTPUT -p tcp --sport 22 -m state --state ESTABLISHED -j ACCEPT /*允许从 22 端口进入的包返回*/\niptables -A INPUT -s 127.0.0.1 -d 127.0.0.1 -j ACCEPT /*允许本机访问本机*/\niptables -A OUTPUT -s 127.0.0.1 -d 127.0.0.1 -j ACCEPT\niptables -A INPUT -p tcp -s 0/0 --dport 80 -j ACCEPT /*允许所有 IP 访问 80 端口*/\niptables -A OUTPUT -p tcp --sport 80 -m state --state ESTABLISHED -j ACCEPT\niptables -P INPUT DROP\niptables -P FORWARD DROP\niptables -P OUTPUT DROP\n#iptables-save > /etc/sysconfig/iptables /*保存配置*/\niptables -L /* 显示 iptables 列表 */\n```\n（警告：如果已经配置过默认规则为 deny 的环境，即 iptables -P INPUT DROP ，直接命令行执行 iptables -F 将使系统的所有网络访问中断，此坑已踩过）\n\n如何清除配置尼（-P 为默认规则）\n```\n#!/bin/bash\niptables -P INPUT ACCEPT\niptables -P FORWARD ACCEPT\niptables -P OUTPUT ACCEPT\niptables -F\n#iptables-save > /etc/sysconfig/iptables\niptables -L\n```\n#### 6.5.3 关闭某个端口外部访问\n\n场景: 设置 butterfly 服务外部机器无法访问，本机可正常访问\n\n> 封禁命令\n```\n#iptables -A INPUT -s 127.0.0.1 -d 127.0.0.1 -j ACCEPT\n#iptables -A INPUT -p tcp --dport 8585 -j DROP\n```\n> iptables -L INPUT --line-numbers\n```\nChain INPUT (policy ACCEPT)\nnum target prot opt source destination\n1 ACCEPT all -- localhost localhost\n2 DROP tcp -- anywhere anywhere tcp dpt:8585\n```\n\n> 解封命令\n```\niptables -D INPUT 2 （注意，这个 2 是行号，是iptables -L INPUT --line-numbers 所打印出来的行号）\niptables -D INPUT 1\n```\n" }, { "path": "doc/Linux/service.md", "content": "# 常见服务架设\n\n\n\n* [NTP](#ntp)\n * [简介](#简介)\n * [ntpd](#ntpd)\n * [NTP Server 安装配置](#ntp-server-安装配置)\n * [配置选项说明](#配置选项说明)\n * [相关命令](#相关命令)\n * [chrony](#chrony)\n * [chrony server](#chrony-server)\n * [chrony client](#chrony-client)\n* [Cron](#cron)\n * [Cron 基础](#cron-基础)\n * [什么是 cron, crond, crontab](#什么是-cron-crond-crontab)\n * [crontab 选项](#crontab-选项)\n * [crontab 格式](#crontab-格式)\n * [使用举例](#使用举例)\n* [rsync](#rsync)\n * [rsync 基本介绍](#rsync-基本介绍)\n * [rsync 工作场景](#rsync-工作场景)\n * [使用方法](#使用方法)\n * [rsync 选项](#rsync-选项)\n * [常用选项](#常用选项)\n * [一些命令](#一些命令)\n * [常用命令](#常用命令)\n * [ssh 端口非默认 22 同步](#ssh-端口非默认-22-同步)\n * [ssh 自动接受公钥和修改 known_hosts 文件](#ssh-自动接受公钥和修改-known_hosts-文件)\n * [inotify+rsync 实现实时文件同步](#inotifyrsync-实现实时文件同步)\n * [存储数据异地灾备](#存储数据异地灾备)\n * [需求背景](#需求背景)\n * [架构](#架构)\n * [脚本内容](#脚本内容)\n * [原理](#原理)\n * [常见问题](#常见问题)\n * [对大磁盘进行 inotify 监听时出错](#对大磁盘进行-inotify-监听时出错)\n* [telnet-server](#telnet-server)\n * [安装使用](#安装使用)\n * [测试](#测试)\n* [ftp](#ftp)\n * [ftp 简介](#ftp-简介)\n * [安装配置](#安装配置)\n * [设置 FTP 虚拟账号密码](#设置-ftp-虚拟账号密码)\n * [修改 proftpd 配置文件（早期系统镜像的默认 FTP 配置路径为 /etc/proftpd.conf）](#修改-proftpd-配置文件早期系统镜像的默认-ftp-配置路径为-etcproftpdconf)\n * [获取 ftpasswd 用于设置虚拟账号](#获取-ftpasswd-用于设置虚拟账号)\n * [设置账号密码](#设置账号密码)\n * [删除 ftpasswd](#删除-ftpasswd)\n * [重启 FTP 服务（如启动失败，proftpd -t -d5 检查配置文件出错点）](#重启-ftp-服务如启动失败proftpd--t--d5-检查配置文件出错点)\n * [wget 使用](#wget-使用)\n\n\n# NTP\n## 简介\n\nNetwork Time Protocol-NTP 是用来使计算机时间同步化的一种协议，它可以使计算机对其服务器或时钟源（如石英钟，GPS 等等）做同步化，它可以提供高精准度的时间校正（LAN 上与标准间差小于 1 毫秒，WAN 上几十毫秒），且可使用加密确认的方式来防止恶毒的协议攻击。默认使用 `UDP 123 端口`\n\nNTP 提供准确时间，首先需要一个准确的 UTC 时间来源，NTP 获得 UTC 的时间来源可以从原子钟、天文台、卫星，也可从 Internet 上获取。时间服务器按照 NTP 服务器的等级传播，根据离外部 UTC 源的远近将所有服务器归入不用的层 (Stratum) 中。Stratum-1 在顶层由外部 UTC 接入，stratum-1 的时间服务器为整个系统的基础，Stratum 的总数限制在 15 以内。下图为 NTP 层次图：\n\n![Screenshot](../../images/linux_service/Network_Time_Protocol_servers_and_clients.png)\n\n## ntpd\n### NTP Server 安装配置\n\n关于 NTP 服务器的安装，根据不同版本安装方法也不同。REDHAT 系统则可以使用 yum 安装，Ubuntu 系列可以使用 `apt-get` 安装，这里不做具体的介绍，主要详细介绍配置文件的信息。\n\n对于 CentOS 过滤注释和空行后，NTP 配置文件内容如下\n\n```\n# grep -vE '^#|^$' /etc/ntp.conf\ndriftfile /var/lib/ntp/drift\n\n# 默认对所有 client 拒绝所有的操作\nrestrict default kod nomodify notrap nopeer noquery\nrestrict -6 default kod nomodify notrap nopeer noquery\n\n# 允许本机地址的一切操作\nrestrict 127.0.0.1\nrestrict -6 ::1\n\n# 允许其他机器连接\nrestrict default kod nomodify\n\nserver 0.centos.pool.ntp.org\nserver 1.centos.pool.ntp.org\nserver 2.centos.pool.ntp.org\nincludefile /etc/ntp/crypto/pw\nkeys /etc/ntp/keys\n```\n\n### 配置选项说明\n\n* `driftfile` 选项， 用来保存系统时钟频率偏差。 ntpd 程序使用它来自动地补偿时钟的自然漂移， 从而使时钟即使在切断了外来时源的情况下， 仍能保持相当的准确度。`无需更改`\n* `restrict` 语法为：restrict IP mask 掩码 参数\n * IP 规定了允许或不允许访问的地址（此处若为 default，即为 0.0.0.0 所有 ip），配合掩码可以对某一网段进行限制。\n * `ignore`: 关闭所有 NTP 服务\n * `nomodiy`: 客户端不能修改服务端的时间，但可以作为客户端的校正服务器\n * `notrust`: 拒绝没有通过认证的客户端\n * `kod`: kod 技术科阻止 \"Kiss of Death\" 包（一种 DOS 攻击）对服务器的破坏\n * `nopeer`: 不与其它同一层的 NTP 服务器进行同步\n * `noquery`: 不提供时间查询，即用户端不能使用 ntpq，ntpc 等命令来查询 ntp 服务器\n * `notrap`: 不提供 trap 远端事件登陆的功能\n* `server [IP|FQDN|prefer]`指该服务器上层 NTP Server，使用 prefer 的优先级最高，没有使用 prefer 则按照配置文件顺序由高到低，默认情况下至少 15min 和上层 NTP 服务器进行时间校对\n* `fudge`: 可以指定本地 NTP Server 层，如 `fudge 127.0.0.1 stratum 9`\n* `broadcast 网段 子网掩码`: 指定 NTP 进行时间广播的网段，如`broadcast 192.168.1.255`\n* `logfile`: 可以指定 NTP Server 日志文件\n\n**bill 提醒**\n```\nrestrict 用于权限控制，server 用于设定上级时间服务器\n主要是这两个参数\n```\n\n几个与 NTP 相关的配置文件：` /usr/share/zoneinfo/`、`/etc/sysconfig/clock`、`/etc/localtime`\n\n* `/usr/share/zoneinfo/`: 存放时区文件目录\n* `/etc/sysconfig/clock`: 指定当前系统时区信息\n* `/etc/localtime`: 相应的时区文件\n\n如果需要修改当前时区，则可以从 /usr/share/zoneinfo/ 目录拷贝相应时区文件覆盖 /etc/localtime 并修改 /etc/sysconfig/clock 即可\n\n```\ncp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime\nsed -i 's:ZONE=.*:ZONE=\"Asia/Shanghai\":g' /etc/sysconfig/clock\n```\n\n### 相关命令\n\n`ntpstat` 查看同步状态\n\n```\n# ntpstat\nsynchronised to NTP server (192.168.0.18) at stratum 4\n time correct to within 88 ms \t# 表面时间校正 88ms\n polling server every 1024 s\t\t# 每隔 1024s 更新一次\n```\n\n`ntpq` 列出上层状态\n\n```\n# ntpq -np\n remote refid st t when poll reach delay offset jitter\n==============================================================\n* NTPD(IP) IP 3 u 101 1024 377 14.268 0.998 0.143\n```\n\n输出说明：\n\n* `remote`: NTP Server\n* `refid` : 参考的上层 ntp 地址\n* `st` : 层次\n* `when` : 上次更新时间距离现在时常\n* `poll` : 下次更新时间\n* `reach` : 更新次数\n* `delay` : 延迟\n* `offset`: 时间补偿结果\n* `jitter`: 与 BIOS 硬件时间差异\n\n`ntpdate` 同步当前时间：`ntpdate NTP 服务器地址`\n\n## chrony\n\n使用安装命令安装 chrony 包即可\n\n### chrony server\n\n配置文件：/etc/chrony.conf\n\n对于 chrony server 来说，主要配置两项，上游的 ntp 服务器和对下游的权限\n\n> * 上游的 ntp 服务器\n> * 有固定的 ntp 服务器或者可连互联网\n> * 配置 `server 0.centos.pool.ntp.org iburst` 即可\n> * 无外网环境使用本地的时间进行往下游同步\n> * 配置 `local stratum 10`\n> * 对下游的权限\n> * `allow 10.0.0.0/24` 对 10.0.0 网段开放\n> * `allow 0/0` 对所有 IP 开放\n\n**bill 提醒**\n```\n(1) 无外网环境时，如果没有设置 local stratum 0，下游服务器显示的状态是不可达状态\n(2) 不加 allow 记录时，默认拒绝所有连接\n(3) chrony 端口为 udp 123\n```\n启动并设置开机自启\n```\n# systemctl enable chronyd.service\n# systemctl start chronyd.service\n```\n### chrony client\n\n对于 client 来说，只需要配置上游的服务器\n\n配置文件：/etc/chrony.conf\n\n添加 `server 上游服务器 IP/ 主机名 iburst`即可\n\n启动并设置开机自启\n```\n# systemctl enable chronyd.service\n# systemctl start chronyd.service\n```\n\n**查看同步状态**\n\n```\n#chronyc sources -v\n```\n上面命令会输出上游服务器的连接状态\n> * `* 正常`\n> * `? 不可达`\n\n# Cron\n## Cron 基础\n\n### 什么是 cron, crond, crontab\n\n> **cron** is the general name for the service that runs scheduled actions. **crond** is the name of the daemon that runs in the background and reads **crontab** files.\n\n简单理解：cron 是服务，crond 是守护进程， crontab 的 crond 的配置文件。\n\n### crontab 选项\n\n+ `crontab -e` : Edit your crontab file, or create one if it doesn't already exist. # 推荐使用命令新增计划任务 -- 语法检查\n+ `crontab -l` : Display your crontab file.\n+ `crontab -r` : Remove your crontab file. # 慎用\n+ `crontab -u user` : Used in conjunction with other options, this option allows you to modify or view the crontab file of user. When available, only administrators can use this option.\n\n### crontab 格式\n\n minute(s) hour(s) day(s) month(s) weekday(s) command(s)\n\n```\n# Use the hash sign to prefix a comment\n# +—————- minute (0 – 59)\n# | +————- hour (0 – 23)\n# | | +———- day of month (1 – 31)\n# | | | +——- month (1 – 12)\n# | | | | +—- day of week (0 – 7) (Sunday=0 or 7)\n# | | | | |\n# * * * * * command to be executed\n```\n\n## 使用举例\n\n使用命令 `crontab -e` 编辑 crontab 文件。\n\n(1) 在每天的 7 点同步服务器时间\n\n 0 7 * * * ntpdate 192.168.1.112\n\n\n(2) 每两个小时执行一次\n\n 0 */2 * * * echo \"2 minutes later\" >> /tmp/output.txt\n\n(3) 每周五早上十点写周报\n\n 0 10 * * * 5 /home/jerryzhang/update_weekly.py\n\n(4) 每天 6, 12, 18 点执行一次命令\n\n 0 6,12,18 * * * /bin/echo hello\n\n(5) 每天 13, 14, 15, 16, 17 点执行一次命令\n\n 0 13-17 * * * /bin/echo hello\n\n__注：__\n\n* 程序执行完毕，系统会给对应用户发送邮件，显示该程序执行内容，如果不想收到，可以重定向内容 `> /dev/null 2>&1`\n* 如果执行语句中有 `%` 号，需要使用反斜杠 '\\' 转义\n\n# rsync\n\n## rsync 基本介绍\n\n`rsync` 是类 unix 系统下的数据镜像备份工具，从软件的命名上就可以看出来了—— remote sync。它的特性如下：\n\n\n* 1、可以镜像保存整个目录树和文件系统\n* 2、可以很容易做到保持原来文件的权限、时间、软硬链接等等\n* 3、无须特殊权限即可安装\n* 4、优化的流程，文件传输效率高\n* 5、可以使用 rsh、ssh 等方式来传输文件，当然也可以通过直接的 socket 连接\n* 6、支持匿名传输\n\n在使用 rsync 进行远程同步时，可以使用两种方式：__远程 Shell 方式__（用户验证由 ssh 负责）和 __C/S 方式__（即客户连接远程 rsync 服务器，用户验证由 rsync 服务器负责）。\n\n无论本地同步目录还是远程同步数据，首次运行时将会把全部文件拷贝一次，以后再运行时将只拷贝有变化的文件（对于新文件）或文件的变化部分（对于原有文件）。\n\n## rsync 工作场景\n\n> * 两台服务器之间数据同步。\n> * 把所有客户服务器数据同步到备份服务器，生产场景集群架构服务器备份方案。\n> * rsync 结合 inotify 的功能做实时的数据同步。\n\n## 使用方法\n\nrsync 可以使用 ssh 和 C/S 方式进行传输文件，以下使用 ssh 方式\n\n```\nrsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST # 执行“推”操作\nor rsync [OPTION]... [USER@]HOST:SRC [DEST] # 执行“拉”操作\n```\n### rsync 选项\n\n```\nUsage: rsync [OPTION]... SRC [SRC]... DEST\n or rsync [OPTION]... SRC [SRC]... [USER@]HOST:DEST\n or rsync [OPTION]... SRC [SRC]... [USER@]HOST::DEST\n or rsync [OPTION]... SRC [SRC]... rsync://[USER@]HOST[:PORT]/DEST\n or rsync [OPTION]... [USER@]HOST:SRC [DEST]\n or rsync [OPTION]... [USER@]HOST::SRC [DEST]\n or rsync [OPTION]... rsync://[USER@]HOST[:PORT]/SRC [DEST]\nThe ':' usages connect via remote shell, while '::' & 'rsync://' usages connect\nto an rsync daemon, and require SRC or DEST to start with a module name.\n```\n\n__注：__ 在指定复制源时，路径是否有最后的 “/” 有不同的含义，例如：\n\n* /data ：表示将整个 /data 目录复制到目标目录\n* /data/ ：表示将 /data/ 目录中的所有内容复制到目标目录\n\n### 常用选项\n\n* `-v` : Verbose (try -vv for more detailed information) # 详细模式显示\n* `-e` \"ssh options\" : specify the ssh as remote shell # 指定 ssh 作为远程 shell\n* `-a` : archive mode # 归档模式，表示以递归方式传输文件，并保持所有文件属性，等于 -rlptgoD\n * `-r`(--recursive) : 目录递归\n * `-l`(--links) ：保留软链接\n * `-p`(--perms) ：保留文件权限\n * `-t`(--times) ：保留文件时间信息\n * `-g`(--group) ：保留属组信息\n * `-o`(--owner) ：保留文件属主信息\n * `-D`(--devices) ：保留设备文件信息\n* `-z` : 压缩文件\n* `-h` : 以可读方式输出\n* `-H` : 复制硬链接\n* `-X` : 保留扩展属性\n* `-A` : 保留 ACL 属性\n* `-n` : 只测试输出而不正真执行命令，推荐使用，特别防止 `--delete` 误删除！\n* `--stats` : 输出文件传输的状态\n* `--progress` : 输出文件传输的进度\n* `––exclude=PATTERN` : 指定排除一个不需要传输的文件匹配模式\n* `––exclude-from=FILE` : 从 FILE 中读取排除规则\n* `––include=PATTERN` : 指定需要传输的文件匹配模式\n* `––include-from=FILE` : 从 FILE 中读取包含规则\n* `--numeric-ids` : 不映射 uid/gid 到 user/group 的名字\n* `-S, --sparse` : 对稀疏文件进行特殊处理以节省 DST 的空间（有空洞文件时使用）\n* `--delete` : 删除 DST 中 SRC 没有的文件，也就是所谓的镜像 [mirror] 备份\n* `-P` 等同于 `--partial` 保留那些因故没有完全传输的文件，以是加快随后的再次传输\n\n\n## 一些命令\n\n### 常用命令\n\n```\n#rsync -avzP --delete [SRC] [DEST]\n```\n\n__注：__ 日常传输时参数记不清楚时，只需要加 `-a` 参数即可，如果有稀疏文件，则添加 `-S` 选项可以提升传输性能。\n\n```\n[tips]\n稀疏文件（Sparse File）\n\n在 UNIX 文件操作中，文件位移量可以大于文件的当前长度，在这种情况下，对该文件的下一次写将延长该文件，并在文件中构成一个空洞。位于文件中但没有写过的字节都被设为 0。\n\n稀疏文件与其他普通文件基本相同，区别在于文件中的部分数据是全 0，且这部分数据不占用磁盘空间。\n下面是稀疏文件的创建与查看方法\n[root@Linux ceshi]# dd if=/dev/zero of=sparse-file bs=1 count=1 seek=1024k\n[root@Linux ceshi]# ls -l sparse-file\n-rw-r--r-- 1 root root 1048577 6 月 19 10:20 sparse-file\n[root@Linux ceshi]# du -sh sparse-file\n4.0K sparse-file\n[root@Linux ceshi]# cat sparse-file >> meetbill_file\n[root@Linux ceshi]# du -sh meetbill_file\n1.1M meetbill_file\n[root@Linux ceshi]# ll\n总用量 1032\n-rw-r--r-- 1 root root 1048577 6 月 19 10:21 meetbill_file\n-rw-r--r-- 1 root root 1048577 6 月 19 10:20 sparse-file\n[root@Linux ceshi]# ll -h\n总用量 1.1M\n-rw-r--r-- 1 root root 1.1M 6 月 19 10:21 meetbill_file\n-rw-r--r-- 1 root root 1.1M 6 月 19 10:20 sparse-file\n```\n\n### ssh 端口非默认 22 同步\n\n使用 ssh 方式传输时如果连接服务器 ssh 端口非标准，则需要通过 `-e` 选项指定：\n\n```\n#rsync -avzP --delete -e \"ssh -p 22222\" [USER@]HOST:SRC [DEST]\n```\n### ssh 自动接受公钥和修改 known_hosts 文件\n\n```\n#rsync -a -e \"ssh -oUserKnownHostsFile=/dev/null -oStrictHostKeyChecking=no\" [USER@]HOST:SRC [DEST]\n```\n\n## inotify+rsync 实现实时文件同步\n\n### 存储数据异地灾备\n\n#### 需求背景\n\n服务器文件需要实时同步，即使是轮询，也存在同步延迟，inotify 的出现让真正的实时成为了现实\n我们可以用 inotify 去监控文件系统的事件变化，一旦有我们期望的事件发生，就使用 rsync 进行冗余同步\n\n#### 架构\n\n\n| 用途 | IP |\n| ------------- |:-------------:|\n| 服务端 A| 192.168.199.101 |\n| 服务器 B（备份服务器） | 192.168.199.102|\n\n```\n +--------+ +-------------------+\n |服务器 A |--------->|服务器 B（备份服务器）|\n +--------+ +-------------------+\n\n inotify+rsync rsync\n\n```\n\n#### 脚本内容\n\n所有配置只需要在服务器 A 上配置即可\n\n(1) 安装 `inotify-tools`(yum -y install inotify-tools)\n\n(2) 配置服务器 A 使用秘钥登录服务器 B\n\n(3) 在服务器 A 上编写脚本，主要配置服务器 B 的机器 IP，登录用户，以及服务器器 A 的存储目录和存储数据异地灾备目录\n\n将此文件保存到 /opt/inotify_rsync.sh\n\n``` bash\n #!/bin/bash\n host=192.168.199.102\n user=root\n # 服务器存储目录\n src='/tmp/src1/'\n # 存储数据异地灾备目录\n dest='/tmp/dest1'\n\n inotifywait -mrq -e modify,attrib,moved_to,moved_from,move,move_self,create,delete,delete_self --timefmt='%d/%m/%y %H:%M' --format='%T %w%f %e' $src | while read chgeFile\n do\n rsync -avPz --delete $src $user@$host:$dest &>>./rsync.log\n done\n```\n\n下载脚本\n\n```\n#curl -o inotify_rsync.sh https://raw.githubusercontent.com/meetbill/op_practice_code/master/Linux/service/inotify_rsync.sh\n```\n\n(3) 启动异地灾备程序\n\n```\n #nohup /bin/bash /opt/inotify_rsync.sh & // 后台不挂断地运行命令\n #echo \"nohup /bin/bash /opt/inotify_rsync.sh &\" >> /etc/rc.local // 设置 linux 服务器启动自动启动 nohup\n```\n\n#### 原理\n\n1. 使用 inotifywait 监控文件系统时间变化\n2. while 通过管道符接受内容，传给 read 命令\n3. read 读取到内容，则执行 rsync 程序\n\n### 常见问题\n\n#### 对大磁盘进行 inotify 监听时出错\n```\nFailed to watch /mnt/;upper limit on inotify watches reached!\nPlease increase the amount of inotify watches allowed per user via `/proc/sys/fs/inotify/max_user_watches’.`\n```\ncat 一下这个文件，默认值是 8192，echo 8192000 > /proc/sys/fs/inotify/max_user_watches 即可~\n\n# telnet-server\n\n## 安装使用\n\n```\n#curl -o telnet-server.tar.gz https://raw.githubusercontent.com/meetbill/op_practice_code/master/Linux/service/telnet-server.tar.gz\n#tar -zxvf telnet-server.tar.gz\n#cd telnet-server*\n#sh start.sh\n```\n执行程序后有三项，执行第一项可以进行安装并启动 telnet-server，第二项会关闭 telnet-server 并将开机自动启动关闭\n\n## 测试\n\n需要测试 telnet 是否成功开启\n```\n#telnet localhost\n```\n输入用户名密码能登录成功。同时需要测试下其他机器远程 telnet 是否成功，如果不成功，那么很有可能是防火墙的问题\n\n```\n#iptables -I INPUT -p tcp --dport 23 -jACCEPT\n#service iptables save\n#service iptables restart\n```\n# ftp\n\n## ftp 简介\n\nftp 工作会启动两个通道：控制通道 ， 数据通道。在 ftp 协议中，控制连接均是由客户端发起的，而数据连接有两种模式：port 模式（主动模式）和 pasv 模式（被动模式）\n\n* **PORT 模式：**\n在客户端需要接收数据时，ftp_client （大于 1024 的随机端口） —> PORT 命令 —> ftp_server (21) 发送 PORT 命令，这个 PORT 命令包含了客户端是用什么端口来接收数据（大于 1024 的随机端口），在传送数据时， ftp_server 将通过自己的 TCP 20 端口和 PORT 中包含的端口建立新的连接来传送数据。\n\n* **PASV 模式：**\n传送数据时，ftp_client —> PASV 命令 —> ftp_server(21) 发送 PASV 命令时，ftp_server 自动打开一个 1024--5000 之间的随机端口并且通知 ftp_client 在这个端口上传送数据，然后客户端向指定的端口发出请求连接，建立一条数据链路进行数据传输。\n\n\n如果想对访问 FTP 的帐户给予更多的权限，可以用本地帐户来实现。但是，本地帐户默认情况下是可以登陆 Linux 系统的，这样对 Linux 系统来说是一个安全隐患。那么怎么能在灵活的赋予 FTP 用户权限的前提下，保证 FTP 服务器乃至整个 Linux 系统的安全呢？使用虚拟用户就是一种解决办法\n\n安装包\n> * vsftpd\n> * db4*\n\n## 安装配置\n\n```\n[root@meetbill ~]#curl -o ftptool.sh https://raw.githubusercontent.com/meetbill/op_practice_code/master/Linux/service/ftptool.sh\n[root@meetbill ~]#chmod +x ftptool.sh\n[root@meetbill ~]#./ftptool.sh install_server\n[root@meetbill ~]#./ftptool.sh add_user\n[root@meetbill ~]#./ftptool.sh start\n```\n\n## 设置 FTP 虚拟账号密码\n\n### 修改 proftpd 配置文件（早期系统镜像的默认 FTP 配置路径为 /etc/proftpd.conf）\n\n```\n注释 … 之间相关配置\n\n … 之外新增如下配置\nAuthOrder mod_auth_file.c\n\nAuthUserFile /etc/proftpd.passwd\n\nRequireValidShell off\n```\n\n\n### 获取 ftpasswd 用于设置虚拟账号\n\n拉取 proftpd 源码包中的 ftpasswd 文件\n```\ncd /usr/sbin;wget https://github.com/downloads/proftpd/proftpd.github.com/proftpd-1.3.4b.tar.gz -O proftpd-1.3.4b.tar.gz; tar -zxvf proftpd-1.3.4b.tar.gz; mv ./proftpd-1.3.4b/contrib/ftpasswd .;rm -rf proftpd-1.3.4b*\n```\n### 设置账号密码\n```\nftpasswd --file=/etc/proftpd.passwd --home=xxx --shell=/bin/false --name=xxx --uid=99 --gid=99 --passwd\n```\n配置说明\n\n> * --home=xxx 指定 ftp 用户登录后的根目录（eg. --home=/home）\n> * --name=xxx 指定 ftp 用户名\n> * --uid=99 --gid=99 指定账号关联对应系统用户和组\n> * wget 获取文件路径以–home 指定路径为基础进行拼接（eg. --home=/home; wget ftp://…/home/work => wget ftp://…/work ）\n\n> demo\n```\nid meetbill\nuid=500(meetbill) gid=501(meetbill) groups=501(meetbill)\n\nftpasswd --file=/etc/proftpd.passwd --home=/home/meetbill/ --shell=/bin/false --name=meetbill --uid=500 --gid=501 --passwd\n这里会输入两次密码\n```\n\n### 删除 ftpasswd\n```\ncd /usr/sbin; rm -f ftpasswd\n```\n### 重启 FTP 服务（如启动失败，proftpd -t -d5 检查配置文件出错点）\n```\nservice proftpd restart\n```\n\n### wget 使用\n```\nwget --ftp-user=meetbill --ftp-password=xxxxxxxxx ftp://xxxx/test_dif/test_file -O test_file\n\ntest_dif/test_file 在物理机上的绝对路径为 /home/meetbill/test_dif/test_file\n```\n" }, { "path": "doc/Linux/shell.md", "content": "# Shell 基础及实例\n\n\n\n* [1 shell 编程环境](#1-shell-编程环境)\n * [1.1 编程基础知识](#11-编程基础知识)\n * [1.1.1 程序编程风格](#111-程序编程风格)\n * [1.1.2 程序的执行方式](#112-程序的执行方式)\n * [1.1.3 shell 脚本](#113-shell-脚本)\n * [1.1.4 运行脚本的两种方式](#114-运行脚本的两种方式)\n * [1.2 Bash 编程](#12-bash-编程)\n * [1.3 逻辑运算](#13-逻辑运算)\n* [2 bash 变量类型](#2-bash-变量类型)\n * [2.1 强弱类型语言的区别](#21-强弱类型语言的区别)\n * [2.2 Bash 中的变量](#22-bash-中的变量)\n * [2.2.1 本地变量](#221-本地变量)\n * [2.2.2 环境变量](#222-环境变量)\n * [2.2.3 只读变量](#223-只读变量)\n * [2.2.4 位置变量](#224-位置变量)\n * [2.3 变量特殊用法](#23-变量特殊用法)\n * [2.3.1 将多行结果赋值给变量](#231-将多行结果赋值给变量)\n * [2.3.2 去除行结果后的特殊字符](#232-去除行结果后的特殊字符)\n* [3 bash 的配置文件](#3-bash-的配置文件)\n* [4 bash 中的算术运算符](#4-bash-中的算术运算符)\n* [5 条件测试](#5-条件测试)\n * [Bash 的测试类型](#bash-的测试类型)\n * [文件测试](#文件测试)\n* [6 bash 脚本编程之用户交互](#6-bash-脚本编程之用户交互)\n* [7 流程控制](#7-流程控制)\n * [if 语句](#if-语句)\n * [for 循环](#for-循环)\n * [for 循环基础](#for-循环基础)\n * [for 循环的特殊格式](#for-循环的特殊格式)\n * [while 循环](#while-循环)\n * [while 基础](#while-基础)\n * [创建死循环](#创建死循环)\n * [while 循环遍历文件的每一行](#while-循环遍历文件的每一行)\n * [while 与 for 的区别](#while-与-for-的区别)\n * [行读取](#行读取)\n * [ssh 命令操作](#ssh-命令操作)\n * [case 语句](#case-语句)\n* [8 函数](#8-函数)\n * [函数基础](#函数基础)\n * [Example 编写一个服务启动关闭脚本](#example-编写一个服务启动关闭脚本)\n * [函数返回值](#函数返回值)\n * [Example 求 N 的阶乘](#example-求-n-的阶乘)\n* [9 数组](#9-数组)\n * [数组](#数组)\n * [定义](#定义)\n * [引用数组中的元素](#引用数组中的元素)\n* [10 bash 的字符串处理工具](#10-bash-的字符串处理工具)\n * [字符串切片](#字符串切片)\n * [基于模式取子串](#基于模式取子串)\n * [查找替换](#查找替换)\n * [查找并删除](#查找并删除)\n * [字符大小写转换](#字符大小写转换)\n * [变量赋值](#变量赋值)\n* [11 Bash 命令自动补全](#11-bash-命令自动补全)\n * [11.1 内置补全命令](#111-内置补全命令)\n * [11.2 编写脚本](#112-编写脚本)\n * [11.2.1 支持主选项](#1121-支持主选项)\n * [11.2.2 支持子选项](#1122-支持子选项)\n * [11.2.3 安装补全脚本](#1123-安装补全脚本)\n* [12 常用实例](#12-常用实例)\n * [12.1 推荐添加内容](#121-推荐添加内容)\n * [12.2 脚本的配置文件](#122-脚本的配置文件)\n * [12.3 ssh 登录相关](#123-ssh-登录相关)\n * [12.4 ping 文件列表中所有主机](#124-ping-文件列表中所有主机)\n * [12.5 shell 模板变量替换](#125-shell-模板变量替换)\n * [应用场景](#应用场景)\n * [使用方式](#使用方式)\n* [13 日常使用库](#13-日常使用库)\n\n\n\n## 1 shell 编程环境\n### 1.1 编程基础知识\n#### 1.1.1 程序编程风格\n\n> * 过程式：以指令为中心，数据服务于指令；\n> * 对象式：以数据为中心，指令服务于数据；\n\nshell 程序，提供了编程能力，解释执行，shell 就是一解释器；\n\n#### 1.1.2 程序的执行方式\n 过程式编程的三种结构；\n> * 顺序执行\n> * 循环执行\n> * 选择执行\n\n#### 1.1.3 shell 脚本\n首行特定格式：\n`#!/bin/bash`\n\n#### 1.1.4 运行脚本的两种方式\n\n> * a、 给予执行权限，通过具体的文件路径指定文件执行；\n> * b、 直接运行解释器，将脚本作为解释器程序的参数运行；\n\nExample\n```\n [root@localhost test1]# vim test.sh\n [root@localhost test1]# bash test.sh\n hello,girl\n [root@localhost test1]# chmod +x test.sh\n [root@localhost test1]# ./test.sh\n hello,girl\n```\n\n### 1.2 Bash 编程\n\n> * bash 是弱类型编程，变量默认为字符型；\n> * 把所有要存储的数据统统当做字符进行存储；\n> * 变量不需要事先声明，可以在调用时直接赋值使用，参与运算会自动进行隐式类型转换；\n> * 不支持浮点数；\n\n### 1.3 逻辑运算\n\n> * 与：&& 同为 1 则为 1，否则为 0；\n> * 或：|| 同为 0 则为 0，否则为 1；\n> * 非：取反，!0 为 1，!1 为 0；\n> * 短路与运算：双目运算符前面的结果为 0，则结果一定为 0，后面的不执行；\n> * 短路或运算：双目运算符前面的结果为 1，则结果一定为 1，后面的不执行；\n\n## 2 bash 变量类型\n\n变量类型决定了变量的数据存储格式、存储空间大小以及变量能参与的运算种类；\n\n### 2.1 强弱类型语言的区别\n\n> * 强类型：定义变量时必须执行类型、参与运算必须符合类型要求；调用未声明变量会产生错误；\n> * 弱类型：无需指定类型，默认均为字符型；参与运算会自动进行隐式类型转换；变量无需事先定义即可直接调用；\n\n### 2.2 Bash 中的变量\n\n 根据变量的生效范围等标准划分：\n\n> * 本地变量：生效范围为当前 shell 进程；对当前 shell 之外的其他 shell 进程，包括当前 shell 的子 shell 进程均无效；\n> * 环境变量：生效范围为当前 shell 进程及其子进程；\n> * 局部变量：生效范围为当前 shell 进程中某代码片断（通常指函数）\n> * 位置变量：`$1, $2, ...` 来表示，用于让脚本在脚本代码中调用通过命令行传递给它的参数；\n> * 特殊变量：`$?, $0, $*, $@, $#`\n> * `$$`: 代表所在命令的 PID（不常用）\n> * `$!`: 代表最后执行的后台命令的 PID（不常用）\n> * `$?`: 上一条命令的执行状态结果\n> * `$0`: 命令本身\n> * `$*`: 传递给脚本的所有参数，以一对双引号给出参数列表\n> * `$@`: 传递给脚本的所有参数，将各个参数分别加双引号返回\n> * `$#` : 传递给脚本的参数的个数；\n\n#### 2.2.1 本地变量\n变量赋值：name='VALUE'\n```\na) 在赋值时，VALUE 可以使用以下引用：\n\n【1】可以是直接字符串；name=\"username\"\n【2】变量引用：name=“$username”\n【3】命令引用：name=`COMMAND`,name=$(COMMAND)\n```\n变量引用：`${name}`, 花括号可省略：`$name`\n\n引号引用：\n\n> * `\" \"`： 弱引用，其中的变量引用会被替换为变量值；\n> * `' '`： 强引用，其中的变量不会被替换为变量值，而保持原字符串；\n\n查看所有已定义的变量： #set\n\n销毁变量： # unset name\n\n#### 2.2.2 环境变量\n```\n变量声明、赋值：\n export name=VALUE\n declare -x name=VALUE\n变量引用：\n $name\n ${name}\n显示所有环境变量：\n export\n env\n printenv\n销毁环境变量：\n unset name\n```\nBash 中内建的环境变量：\n> * PATH，SHELL，UID，HISTSIZE, HOME, PWD, OLD, HISTFILE, PS1\n\n#### 2.2.3 只读变量\n相当于常量，变量值不可变，不能再进行赋值运算；\n\n声明只读变量的格式：\n```\nreadonly name\ndeclare –r name\n```\n#### 2.2.4 位置变量\n在脚本代码中调用通过命令行传递给脚本的参数；\n```\n$1,$2,…. : 对应调用第 1、第 2 等参数；\n$0: 命令本身；\n$*: 传递给脚本的所有参数；\n$@: 传递给脚本的所有参数；\n$#: 传递给脚本的参数的个数；\n```\n### 2.3 变量特殊用法\n#### 2.3.1 将多行结果赋值给变量\n\n将多行结果赋值给变量时使用变量时需要注意\n\n如：ls_data=$(ls -l)\n\n> * 在 Mac 上直接输出 echo ${ls_data} 即正常结果\n> * 在 CentOS 上操作时\n> * echo ${ls_data} 时为不换行内容，整体只有一行\n> * echo \"${ls_data}\" 时内容输出正常\n\n比如要获取 redis 的 info 信息时，不加双引号输出时，输出的内容仅仅为多行结果的最后一行，加双引号输出时可以正常输出\n\n#### 2.3.2 去除行结果后的特殊字符\n\n如要去掉 `^M`\n\n`echo ${variable}|tr -d '\\r'`\n\n## 3 bash 的配置文件\n\n> * 全局配置：\n> * /etc/profile\n> * /etc/profile.d/*.sh\n> * /etc/bashrc\n> * 用户配置：\n> * ~/.bash_profile\n> * ~/.bashrc\n\n## 4 bash 中的算术运算符\n`+，-，*，/，%，**`\n\n实现算术运算的方式：\n\n (1) let var= 算术表达式\n (2) var=$『算术表达式』\n (3) var=$(（算术表达式）)\n (4) var=$(expr arg1 arg2 arg3...)\n乘法符号在有些场景中需要转义；\n\n- bash 内建随机数生成器：$RANDOM\n\n- 增强型赋值：\n +=，-=，*=，/=，%=\n\n let varOPERvalue：\n\n 例如：letcount+=1\n- 自增，自减：\n\n let var+=1\n\n let var++\n\n let var-=1\n\n let var--\n\n## 5 条件测试\n判断某需求是否满足，需要有测试机制来实现；\n\n- Note：专用的测试表达式需要由测试命令辅助完成测试过程；\n\n- 测试命令：\n\n test EXPRESSION\n\n[ EXPRESSION ]\n\n[[ EXPRESSION ]]\n\n Note: EXPRESSION 前后必须有空白字符，否则报错；\n\n### Bash 的测试类型\n\n- 数值测试：\n\n -gt : 是否大于； >\n\n -ge：是否大于等于； >=\n\n -eq：是否等于 ==\n\n -ne：是否不能于 !=\n\n -lt ：是否小于 <\n\n -le ：是否小于等于； <=\n\n- 字符串测试：\n\n\n> * `==` : 是否等于；\n> * `>` : 是否大于；\n> * `<` : 是否小于；\n> * `!=` : 是否不等于；\n> * `=~` : 左侧字符串是否能够被右侧的 PATTERN 所匹配；\n\n - Note：此表达式一般用于 [[ ]] 中；\n\n -z “STRING” : 测试字符串是否为空，空则为真，不空则为假；\n\n -n “STRING” ：测试字符串是否不空，不空则为真，空则为假；\n\nNote：在字符串比较时用到的操作数都应该使用引号；\n\n### 文件测试\n\n- (a) 存在性测试：\n\n -a FILE\n\n -e FILE：文件存在性测试，存在为真，否则为假；\n\n- (b) 存在性及类别测试\n\n -b FILE ：是否存在且为块设备文件；\n\n -c FILE ：是否存在且为字符设备文件；\n\n -d FILE ：是否存在且为目录文件；\n\n -f FILE ：是否存在且为普通文件；\n\n -h FILE 或 –L FILE：是否存在且为符号链接文件；\n\n -p FILE：是否存在且为命名管道文件；\n\n -S FILE ：是否存在且为套接字文件；\n\n- (c) 文件权限测试：\n\n -r FILE：是否存在且可读\n\n -w FILE: 是否存在且可写\n\n -x FILE: 是否存在且可执行\n\n- (d) 文件特殊权限测试：\n\n -g FILE：是否存在且拥有 sgid 权限；\n\n -u FILE：是否存在且拥有 suid 权限；\n\n -k FILE：是否存在且拥有 sticky 权限；\n\n- (e) 文件大小测试：\n\n -s FILE：是否存在且非空；\n\n- (f) 文件是否打开：\n\n -t fd：fd 表示文件描述符是否已经打开且与某终端相关\n\n -N FILE：文件自从上一次被读取之后是否被修改过；\n\n -O FILE：当前有效用户是否为文件属主；\n\n -G FILE：当前有效用户是否为文件属组；\n\n- (g) 双目测试：\n\n FILE1 –ef FILE2 ： FILE1 与 FILE2 是否指向同一个设备上的相同 inode；\n\n FILE1 –nt FILE2 ：FILE 是否新于 FILE2；\n\n FILE1 –ot FILE2 ：FILE1 是否旧于 FILE2；\n\n- (h) 组合测试条件：\n\n 完成逻辑运算：\n\n 第一种方式：\n\n COMMAND1 && COMMAND2\n\n COMMAND1 || COMMAND2\n\n !COMMAND\n\n eg：[ -e FILE ] && [ -r FILE ] 文件是否存在且是否有读权限；\n\n\n 第二种方式：\n\n EXPRESSION1 –a EXPRESSION2\n\n EXPRESSION1 –o EXPRESSION2\n\n !EXPRESSION\n\n 必须使用测试命令进行；\n\n- Example\n```\n# [ -z \"$hostName\" -o \"$hostName\"==\"localhost.localdomain\" ] && hostname hostname_w\n# -z 判断 hostName 是否为空，-o 表示或者，即：hostName 为空或者值为 localhot.localdomain 的时候，使用 hostname 命令修改主机名；\n```\n\n- Example\n\n```\n[root@bill ~]# [ -f /bin/cat -a -x /bin/cat ] && cat /etc/fstab\n#判断文件 /bin/cat 是否存在且是否有可执行权限，&& 是短路与，如果前面执行结果为真则使用 cat 命令#查看文件；\n#\n# /etc/fstab\n# Created by anaconda on Fri Jul 3 03:08:29 2015\n#\n# Accessible filesystems, by reference, are maintained under '/dev/disk'\n# See man pages fstab(5), findfs(8), mount(8) and/or blkid(8) for more info\n#\n/dev/mapper/centos-root / xfs defaults 0 0\nUUID=3d04d82b-c52b-4184-8d64-1826db6e2eac /boot xfs defaults 0 0\n/dev/mapper/centos-home /home xfs defaults 0 0\n/dev/mapper/centos-swap swap swap defaults 0 0\n```\n- 快速查找选项定义的方法：\n\n man bash --> /^[[:space:]]*-f\n\n```\n# [ -f /bin/cat -a -x /bin/cat ] && cat /etc/fstab\n#如果文件存在且有执行权限，就用它查看文件内容；\n```\n\n## 6 bash 脚本编程之用户交互\n\n- read 命令：\n\n read [option]… [name….]\n\n -p “prompt” 提示符；\n\n -t TIMEOUT 用户输入超时时间；\n\n- 检测脚本中的语法错误：\n\n bash –n /path/to/some_script\n\n- 调试执行，查看执行流程：\n\n bash –x /path/to/some_script\n\n- Example\n\n```\n#!/bin/bash\n#\n#Description: Test read command's grammer.\nread -t 50 -p \"Enter a disk special file:\" diskfile #将用户输入的内容赋值给 diskfile 变量\n[ -z \"$diskfile\" ] && echo \"Fool\" && exit 1\n#判断 diskfile 的值是否为空，如果为空则输出，并退出；\nif fdisk -l | grep \"^Disk $diskfile\" &> /dev/null;then\n fdisk -l $diskfile\nelse\n echo \"Wrong disk special file.\"\n exit 2\nfi\n```\n\n## 7 流程控制\n\n### if 语句\n\n```\nif 语句：\n CONDITION：\n bash 命令：\n```\n\n 用命令的执行状态结果：\n\n 成功：true，即执行状态结果值为 0 时；\n\n 失败：false，即执行状态结果为 1-255 时；\n\n 成功或失败的定义：取决于用到的命令；\n\n\n- 单分支 if：\n```\n if CONDITION；then\n if-true（条件为真时的执行语句集合）\n fi\n```\n- Example\n```\n#!/bin/bash\n#if 单分支语句测试；\nif [ $UID -eq 0 ];then\n echo \"It's amdinistrator.\"\nfi\n```\n\n- 双分支 if：\n```\n if CONDITION;then\n if-true\n else\n if-false\n fi\n```\n- Example\n\n```\n#!/bin/bash\n#\n#if 双分支语句测试；\nif [ $UID -eq 0 ];then\n echo \"It's administrator.\"\nelse\n echo \"It's Comman User.\"\nfi\n```\n\n- 多分支 if：\n```\n if CONDITION1；then\n if-true\n elif CONDITION2;then\n if-true\n elif CONDITION3;then\n if-true\n ….\n else\n all-false\n fi\n```\n逐条件进行判断，第一次遇为“真”条件时，执行其分支，而后结束；\n\n- Exmaple: 用户键入文件路径，脚本来判断文件类型；\n\n```\n#!/bin/bash\n#\n#if 语句多分支语句；\nread -t 20 -p \"Enter a file path:\" filename\n\nif [ -z \"$filename\" ];then #判断变量是否为空；\n echo \"Usage:Enter a file path.\"\n exit 2\nfi\n\nif [ ! -e $filename ];then #判断用户输入的文件是否存在；\n echo \"No such file.\"\n exit 3\nfi\n\nif [ -f $filename ];then #判断是否为普通文件；\n echo \"A common file.\"\nelif [ -d $filename ];then #判断是否为目录；\n echo \"A directory\"\nelif [ -L $filename ];then #判断是否为链接文件；\n echo \"A symbolic file.\"\nelse\n echo \"Other type.\"\nfi\n```\n\n### for 循环\n\n#### for 循环基础\n\n循环体：要执行的代码，可能要执行 n 遍；\n\n 循环需具备进入循环的条件和退出循环的条件；\n\n- for 循环：\n```\n for 变量名 in 列表；do\n 循环体\n done\n```\n\n- 执行机制：\n\n 依次将列表中的元素赋值给“变量”；每次赋值后即执行一次循环体；直到列表中的元素耗尽，循环结束；\n\n** Example 添加 10 个用户，用户名为：user1-user10：密码同用户名**\n\n```\n#!/bin/bash\n#\n#for 循环，使用列表；\n#添加 10 个用户，user1-user10\n\nif [ ! $UID -eq 0 ];then #判断执行脚本的是否为 root 用户，若不是则直接退出；\n\techo \"Only root can use this script.\"\n\texit 1\nfi\n\nfor i in {1..10};do\n\tif id user$i &> /dev/null;then\t#判断用户是否已经存在；\n\t\techo \"user$i exists\"\n\telse\n\t\tuseradd user$i\n\t\tif [ $? -eq 0 ];then #判断前一条命令是否执行成功；\n\t\t\techo \"user$i\" | passwd --stdin user$i &> /dev/null\n\t\t\t#passwd 命令从标准输入获得命令，即管道前命令的执行结果；\n\t\tfi\n\tfi\ndone\n\n```\n\n- 列表生成方式：\n\n (1) 直接给出列表 for i in {bill johnson rechard}\n\n (2) 整数列表\n\n (a) {start..end}\n\n (b) $(seq [start [step]] end)\n\n (3) 返回列表的命令\n\n $(COMMAND) --> 如：$(ls /var)\n\n (4) glob\n\n /etc/rc.d/rc3.d/K*\n\n (5) 变量引用\n\n $@ , $* -->所有向脚本传递的参数；\n\n**Example 判断某路径下所有文件的类型**\n\n```\n#!/bin/bash\n#\n#for 循环使用命令返回列表；\n\nfor file in $(ls /var);do #使用命令生成列表；\n if [ -f /var/$file ];then\n echo \"Common file.\"\n elif [ -L /var/$file ];then\n echo \"Symbolic file.\"\n elif [ -d /var/$file ];then\n echo \"Directory.\"\n else\n echo \"Other type\"\n fi\ndone\n```\n\n**Example 使用 for 循环统计关于 tcp 端口监听状态**\n\n```\n#!/bin/bash\n#\n#使用 for 循环过滤 netstat 命令中关于 tcp 的信息；\ndeclare -i estab=0\ndeclare -i listen=0\ndeclare -i other=0\n\nfor state in $( netstat -tan | grep \"^tcp\\>\" | awk '{print $NF}');do\n\n if [ \"$state\" == 'ESTABLISHED' ];then\n let estab++\n elif [ \"$state\" == 'LISTEN' ];then\n let listen++\n else\n let other++\n fi\ndone\n\necho \"ESTABLISHED:$estab\"\necho \"LISTEN:$listen\"\necho \"Unknow:$other\"\n```\n\n#### for 循环的特殊格式\n```\n\tfor (（控制变量初始化；条件判断表达式；控制变量的修正表达式）)；do\n\t\t循环体\n\tdone\n```\n此种格式和 C 语言等的格式是一样一样的，只是多了一对括号；\n\n控制变量初始化：仅在运行到循环代码段时执行一次；\n\n控制变量的修正表达式：每轮循环结束会先进行控制变量修正运算，而后再在条件判断；\n\n**Example 求 100 以内所有正整数之和**\n\n```\n#!/bin/bash\n#\n#for 循环，类似 C 语言格式，求 100 以内正整数之和；\n\ndeclare -i sum=0\n\nfor ((i=1;i<=100;i++));do\n\tlet sum+=$i\ndone\n\necho \"Sum:$sum.\"\n\n```\n\n### while 循环\n#### while 基础\n语法：\n```\n while CONDITION；do\n 循环体\n done\n```\n```\nCONDITION：循环控制条件；进入循环之前，先做一次判断；\n每一次循环之后会再次做判断；条件为“true”，则执行一次循环；\n直到条件测试状态为“false”终止循环；\n\n因此：CONDTION 一般应该有循环控制变量；\n而此变量的值会在循环体不断地被修正，直到最终条件为 false，结束循环。\n```\n\n**Example 用 while 求 100 以内所有正整数之和**\n\n```\n#!/bin/bash\n#使用 while 求 100 以内正整数之和；\ndeclare -i sum=0\ndeclare -i i=1\nwhile [ $i -le 100 ];do\n let sum+=$i\n let i++\ndone\necho $i\necho \"Summary:$sum.\"\n```\n**Example 用 while 添加 10 个用户**\n\n```\n#!/bin/bash\n#\n#使用 while 循环添加 10 个用户\ndeclare -i i=1\ndeclare -i users=0\n\nwhile [ $i -le 10 ];do\n if ! id user$i &> /dev/null;then\n useradd user$i\n echo \"Add user: user$i\"\n let users++\n fi\n let i++\ndone\necho \"Add $users users.\"\n\n```\n\n\n**Example 利用 RANDOM 生成 10 个随机数字，输出这 10 个数字，并显示其中的最大者和最小者**\n\n```\n#!/bin/bash\n#\n#利用 RANDOM 生成 10 个随机数，输出，并求最大值和最小值；\ndeclare -i max=0\ndeclare -i min=0\ndeclare -i i=1\n\nwhile [ $i -le 9 ];do\n\trand=$RANDOM\n\techo $rand\n\n\tif [ $i -eq 1 ];then\n\t\tmax=$rand\n\t\tmin=$rand\n\tfi\n\n\tif [ $rand -gt $max ];then\n\t\tmax=$rand\n\tfi\n\tif [ $rand -lt $min ];then\n\t\tmin=$rand\n\tfi\n\tlet i++\ndone\n\necho \"MAX:$max.\"\necho \"MIN:$min.\"\n\n```\n#### 创建死循环\n\n```\nwhile true;do\n\t循环体\ndone\n```\n\n```\nuntil false；do\n\t循环体\ndone\n\n```\n\n**Example 每隔 3 秒钟到系统上获取已经登录的用户信息；如果用户输入的用户名登录了，则记录于日志中，并退出**\n\n```\n#!/bin/bash\n#\n#用 while 造成死循环，在系统上每隔 3 秒判断一次用户输入的用户名是否登录；\nread -p \"Enter a user name:\" username\n\nwhile true;do\n\tif who | grep \"^$username\" &> /dev/null;then\n\t\tbreak\n\tfi\n\tsleep 3\ndone\n\necho \"$username logggen on.\" >> /tmp/user.log\n\n```\n\n#### while 循环遍历文件的每一行\n```\n\twhile read line;do\n\t\t循环体\n\tdone < /PATH/FROM/SOMEFILE\n```\n依次读取 /PATH/FROM/SOMEFILE 文件中的每一行，且将该行赋值给变量 line；\n\n另一种也很常见的用法【推荐】：\n```\ncommand | while read line\ndo\n\t...\ndone\n```\n**Example 依次读取 /etc/passwd 文件中的每一行，找出其 ID 号为偶数的所有用户，显示其用户名、ID 号及默认 shell**\n\n```\n#!/bin/bash\n#while 循环的特殊用法 读取指定文件的每一行并赋值给变量\n\nwhile read line;do\n\tif [ $[`echo $line | cut -d: -f3` % 2] -eq 0 ];then\n\t\techo -e -n \"username:`echo $line | cut -d: -f1`\\t\"\n\t\techo -e -n \"uid: `echo $line | cut -d: -f3`\\t\"\n\t\techo \"SHELL:`echo $line | cut -d: -f7`\"\n\tfi\ndone < /etc/passwd\n\n```\n#### while 与 for 的区别\n\n##### 行读取\n\n> * while 循环\n> * 以行读取文件\n> * for 循环\n> * 以空格和回车符分割读取文件，也就是碰到空格和回车，都会执行循环体，所以需要以行读取的话，就要把文件行中的空格转换成其他字符。\n\n##### ssh 命令操作\n\n> * for 循环\n> * for line in $(cat $file) 在循环体中进行 ssh 命令操作可以依次执行\n> * while 循环\n> * 循环体内有 ssh、scp、sshpass 的时候会执行一次循环就退出的情况，解决该问题方法有如下两种\n> * a、使用`ssh -n \"command\"` ；\n> * b、将 while 循环内加入 null 重定向，如 `ssh \"cmd\" < /dev/null` 将 ssh 的输入重定向输入。\n\n### case 语句\n```\ncase 变量引用 in\nPAT1)\n\t\t分支 1\n\t\t；\nPAT2）\n\t\t分支 2\n\t\t；\n….\n*)\n\t\t默认分支\n\t\t；\nesac\n```\n\ncase 支持 glob 风格的通配符：\n\n *: 任意长度任意字符；\n ?: 任意单个字符；\n []：指定范围内的任意单个字符；\n\t a|b: a 或 b\n\n** Example 使用 case 语句改写前一个练习 **\n\n```\n#!/bin/bash\n#\ncat << EOF\ncpu) show cpu information;\nmem) show memory information;\ndisk) show disk information;\nquit) quit\n============================\nEOF\nread -p \"Enter a option: \" option\nwhile [ \"$option\" != 'cpu' -a \"$option\" != 'mem' -a \"$option\" != 'disk' -a \"$option\" != 'quit' ]; do\n read -p \"Wrong option, Enter again: \" option\ndone\n\ncase \"$option\" in\ncpu)\n\tlscpu\n\t;;\nmem)\n\tcat /proc/meminfo\n\t;;\ndisk)\n\tfdisk -l\n\t;;\n*)\n\techo \"Quit...\"\n\texit 0\n\t;;\nesac\n\n```\n\n\n## 8 函数\n### 函数基础\n\t函数的作用：\n\t过程式编程：为实现代码重用\n\t \t模块化编程\n\t \t结构化编程；\n\n- 语法一：\n```\nfunction f_name {\n\t…函数体…..\n}\n```\n\n- 语法二：\n```\nf_name() {\n\t…函数….\n}\n```\n\n- 函数调用：函数只有被调用才会执行：\n\n\t调用：给定函数名\n\n\t\t函数名出现的地方，会被自动替换为函数代码；\n\n- 函数的生命周期：被调用时创建，返回时终止；\n\n\treturn 命令返回自定义状态结果；\n\n\t\t0：成功\n\n\t\t1-255：失败\n\n**Example 通过函数，创建 10 个用户**\n\n```\n#!/bin/bash\n#\n#通过调用函数添加 10 个用户\n\nfunction adduser {\n\tif id $username &> /dev/null;then\n\t\techo \"$username exists.\"\n\t\treturn 1\n\telse\n\t\tuseradd $username\n\t\t[ $? -eq 0 ] && echo \"Add $username finished.\" && return 0\n\tfi\n}\n\nfor i in {1..10};do\n\tusername=myuser$i\n\tadduser\ndone\n\n```\n\n#### Example 编写一个服务启动关闭脚本\n\n```\n#!/bin/bash\n# chkconfig: - 88 12\n# description: test service script\nprog=$(basename $0)\nlockfile=/var/lock/subsys/$prog\nstart() {\n\tif [ -e $lockfile ];then\n\t\techo \"$prog is already running.\"\n\t\treturn 0\n\telse\n\t\ttouch $lockfile\n\t\t[ $? -eq 0 ] && echo \"Starting $prog finished.\"\n\tfi\n}\nstop() {\n\tif [ -e $lockfile ];then\n\t\trm -f $lockfile && echo \"Stop $prog ok.\"\n\telse\n\t\techo \"$prog is stopped yet.\"\n\tfi\n}\nstatus() {\n\tif [ -e $lockfile ];then\n\t\techo \"$prog is running.\"\n\telse\n\t\techo \"$prog is stopped.\"\n\tfi\n}\nusage() {\n\techo \"Usage:$prog {start | stop | restart | status}\"\n}\nif [ $# -lt 1 ];then\n\tusage\n\texit 1\nfi\n\ncase $1 in\nstart)\n\tstart\n\t;;\nstop)\n\tstop\n\t;;\nrestart)\n\tstop\n\tstart\n\t;;\nstatus)\n\tstatus\n\t;;\n*)\n\tusage\nesac\n```\n### 函数返回值\n函数的执行结果返回值：\n\n\t(1)\t使用 echo 或 print 命令进行输出；\n\n\t(2)\t函数体中调用命令的执行结果；\n\n函数的退出状态码：\n\n\t(1)\t默认取决于函数体中执行的最后一条命令的退出状态码；\n\n\t(2)\t自定义退出状态码；\n\n\t\t使用 return 关键字；\n\n函数可以接受参数：\n\n\t\t传递参数给函数：调用函数时，在函数名后面以空白分隔给定参数列表即可；\n\n例如：“testfunc arg1 arg2 …”\n\n\t在函数体当中，可使用 $1,$2,…. 调用这些参数；还可以使用 $@,$*,$#等特殊变量；\n\n```\n#!/bin/bash\n#\n#使用带参数的函数添加 10 个用户\n\nfunction adduser {\t\t\t#一个可接受参数的函数\n\tif [ $# -lt 1 ];then\n\t\treturn 2 # 2: no arguments\n\tfi\n\n\tif id $1 &> /dev/null;then\n\t\techo \"$1 exists.\"\n\t\treturn 1;\n\telse\n\t\tuseradd $1\n\t\t[ $? -eq 0 ] && echo \"Add $1 finished.\" && return 0\n\tfi\n}\n\nwhile true;do\t\t#死循环，直到输入的值为 quit 是退出；\n\tread -t 20 -p \"Please input your username(quit to cancel):\" username\n\tif [ $username == \"quit\" ];then\n\t\techo \"Quit.\"\n\t\texit 0\n\telse\n\t\tadduser $username\n\tfi\ndone\n```\n\n- 变量作用域：\n\n\t本地变量：当前 shell 进程，为了执行脚本会启动专用的 shell 进程；因此，本地变量的作用范围是当前 shell 脚本程序文件；\n\n\t局部变量：函数的生命周期：函数结束时变量被自动销毁；\n\n\t\t如果函数中有局部变量，其名称同本地变量无关；\n\n在函数中定义局部变量的方法：\n\n\t\tlocal NAME=VALUE\n\n函数递归：函数直接或间接调用自身；\n\n#### Example 求 N 的阶乘\n```\nN！=N（N-1）(N-2)….1\n\tN(N-1)!=N(N-1)(N-2)!\n```\n```\n#!/bin/bash\n#\n#利用函数递归求 N 的阶乘\n\nfact() {\n\tif [ $1 -eq 0 -o $1 -eq 1 ];then\n\t\techo 1\n\telse\n\t\techo $[$1*$(fact $[$1-1])]\n\tfi\n}\nfact 5\n\n```\n\n## 9 数组\n### 数组\n\n> * 变量：存储单个元素的内存空间；\n> * 数组：存储多个元素的连续的内存空间；\n> * 索引：编号从 0 开始，属于数值索引；\n> * 注意：索引页可支持使用自定义的格式，而不仅仅是数值格式；bash 的数组支持稀疏格式；\n\n#### 定义\n\n在 Shell 中，用括号来表示数组，数组元素用“空格”符号分割开。定义数组的一般形式为：\n```\narray_name=(value1 ... valuen)\n```\n例如：\n```\narray_name=(value0 value1 value2 value3)\n```\n或者\n```\narray_name=(\nvalue0\nvalue1\nvalue2\nvalue3\n)\n```\n还可以单独定义数组的各个分量：\n```\narray_name[0]=value0\narray_name[1]=value1\narray_name[2]=value2\n\n```\n\n**Example 生成 10 个随机数保存于数组中，并找出其最大值和最小值**\n\n```\n#!/bin/bash\n#\n#生成 10 个随机数保存于数组中；\n\ndeclare -a rand\ndeclare -i max=0\ndeclare -i min=0\n\nfor i in {0..9};do\n\trand[$i]=$RANDOM\n\tif [ $i -eq 1 ];then\n\t\tmax=${rand[$i]}\n\t\tmin=${rand[$i]}\n\tfi\n\techo ${rand[$i]}\n\t[ ${rand[$i]} -gt $max ] && max=${rand[$i]}\n\t[ ${rand[$i]} -lt $min ] && min=${rand[$i]}\ndone\n\necho \"Max:$max\"\necho \"Min:$min\"\n\n```\n\n**Example 定义一个数组，数组中的元素是 /var/log 目录下所有以.log 结尾的文件；要统计其下标为偶数的文件中的行数之和**\n\n```\n#!/bin/bash\n#\n#定义一个数组，数组中的元素是 /var/log 目录下所有以.log 结尾的文件；\n#要统计其下标为偶数的文件中的行数之和；\n\ndeclare -a files\nfiles=(/var/log/*.log)\ndeclare -i lines=0\n\nfor i in $(seq 0 $[${#files[*]}-1]);do\n\tif [ $[$i%2] -eq 0 ];then\n\t\tlet lines+=$(wc -l ${files[$i]} | cut -d' ' -f1)\n\tfi\ndone\n\necho \"Lines:$lines.\"\n\n```\n\n### 引用数组中的元素\n\n- 所有元素：${ARRAY[@]} , ${ARRAY[*]}\n\n- 数组切片：${ARRAY[@]:offset:number}\n\n\t\toffset: 要跳过的元素个数；\n\n\t\tnumber：要取出的元素个数，取偏移量之后的所有元素：${ARRAY[@]:offset};\n\n- 向数组中追加元素：ARRAY[${ARRAY[*]}]\n\n- 删除数组中的某元素：unset ARRAY[INDEX]\n\n- 关联数组：\n\tdeclare –A ARRAY_NAME\n\tARRAY_NAME=([index_name1]=’val1’ [index_name2]=’val2’ ….)\n\n```\n[root@bill scripts]# declare -a array\n[root@bill scripts]# #声明一个数组，不是必要的\n[root@bill scripts]# array=(0 1 2)\n[root@bill scripts]# array=([0]=0 [1]=1 [2]=v2)\n[root@bill scripts]# array[0]=5\n[root@bill scripts]# echo $array\n5\n```\n\n```\n[root@bill scripts]# #以空白作为分隔符拆分字符串为数组\n[root@bill scripts]# str=\"1 2 3\"\n[root@bill scripts]# array=($str)\n[root@bill scripts]# echo $array\n1\n```\n\n```\n[root@bill scripts]# #使用其他分隔符拆分字符串为数组，需指定 IFS\n[root@bill scripts]# IFS=: array=($PATH)\n[root@bill scripts]# echo $array\n/usr/local/sbin\n\n```\n\n- 引用数组元素：\n\t$array ${array} ${array[0]} #第 0 个元素\n\n\t${array[n]} #第 n 个元素（n 从 0 开始计算）\n\n- 引用整个数组：\n\t${array[*]} ${array[@]} 这两种方式等同，会把数组展开。\n\n\t${array[*]} 表示把数组拼接在一起的整个字符串，如果作为参数传递，会把整个字符串作为一个参数。\n\n\t${array[@]} 如果作为参数传递，表示把数组中每个元素作为一个参数，数组有多少个元素，就会展开成多少个参数。\n\n- 计算数组元素长度；\n\n\t${#array[*]}\n\n\t${#array[@]}\n\n\t\t不是 ${#array}，\n\n\t\t因为它等同于 ${#array[0]}\n\n- 遍历数组：\n\tfor i in \"${array[@]}\";do\n\t\techo $i;\n\tdone\n\n## 10 bash 的字符串处理工具\n\n### 字符串切片\n- ${var:offset:number}\n\n\t取字符串最右侧的几个字符：${var: -lengh}\n\n\tNote：冒号后面必须有一空白字符；\n\n### 基于模式取子串\n- ${var#*word}：其中 word 可以是指定的任意字符；\n\n\t功能：自左而右，查找 var 变量所存储的字符串中，第一次出现的 word, 删除字符串开头至第一次出现 word 字符之间的所有字符；\n\n- ${var##*word}：其中 word 可以是指定的任意字符；\n\n\t功能：自左而右，查找 var 变量所存储的字符串中出现的 word，删除字符串开头至最后一次由 word 指定的字符之间的所有内容；\n\n**bash 基于模式取子串**\n\n```\n[root@bill scripts]# file=\"/var/log/messages\"\n[root@bill scripts]# echo ${file#*/}\nvar/log/messages\n[root@bill scripts]# echo ${file##*/}\nmessages\n\n```\n\n- ${var%word*}：其中 word 可以是指定的任意字符；\n\n\t功能：自右而左，查找 var 变量所存储的字符串中，第一次出现的 word, 删除字符串最后一个字符向左至第一次出现 word 字符之间的所有字符；\n\n- ${var%%word*}：其中 word 可以是指定的任意字符；\n\n\t功能：自右而左，查找 var 变量所存储的字符串中出现的 word,，只不过删除字符串最右侧的字符向左至最后一次出现 word 字符之间的所有字符；\n```\n[root@bill scripts]# file=\"/var/log/messages\" #从右至左，匹配‘/ ’\n[root@bill scripts]# echo ${file%/*}\n/var/log\n[root@bill scripts]# echo ${file%%/*} # 双 % 匹配并删除后为空；\n[root@bill scripts]#\n```\n\n**Exampleurl=http://www.google.com:80, 分别取出协议和端口**\n\n```\n[root@bill scripts]# url=http://www.google.com:80\n[root@bill scripts]# echo ${url##*:} #取端口号\n80\n[root@bill scripts]# echo ${url%%:*} #取协议\nhttp\n[root@bill scripts]#\n```\n\n### 查找替换\n\t${var/pattern/substi}：查找 var 所表示的字符串中，第一次被 pattern 所匹配到的字符串，以 substi 替换之；\n\n\t${var//pattern/substi}: 查找 var 所表示的字符串中，所有能被 pattern 所匹配到的字符串，以 substi 替换之；\n\n\t${var/#pattern/substi}：查找 var 所表示的字符串中，行首被 pattern 所匹配到的字符串，以 substi 替换之；\n\n\t${var/%pattern/substi}：查找 var 所表示的字符串中，行尾被 pattern 所匹配到的字符串，以 substi 替换之；\n\n```\n[root@bill scripts]# var=$(head -n 1 /etc/passwd)\n[root@bill scripts]# echo $var\nroot x 0 0 root /root /bin/bash\n[root@bill scripts]# echo ${var/root/ROOT} #替换第一次匹配到的 root 为 ROOT\nROOT x 0 0 root /root /bin/bash\n[root@bill scripts]# echo ${var//root/ROOT} #替换所有匹配到的 root 为 ROOT\nROOT x 0 0 ROOT /ROOT /bin/bash\n\n```\n```\n[root@bill scripts]# useradd bash -s /bin/bash\n[root@bill scripts]# cat /etc/passwd | grep \"^bash.*bash$\"\nbash:x:1029:1029::/home/bash:/bin/bash\n[root@bill scripts]# line=$(cat /etc/passwd | grep \"^bash.*bash$\")\n[root@bill scripts]# echo $line\nbash x 1029 1029 /home/bash /bin/bash\n[root@bill scripts]# echo ${line/#bash/BASH}\t#替换行首的 bash 为 BASH\nBASH x 1029 1029 /home/bash /bin/bash\n[root@bill scripts]# echo ${line/%bash/BASH}\t#替换行尾的 bash 为 BASH\nbash x 1029 1029 /home/bash /bin/BASH\n```\n\n### 查找并删除\n\t${var/pattern}：查找 var 所表示的字符串中，删除第一次被 pattern 所匹配到的字符串\n\n\t${var//pattern}：查找 var 所表示的字符串中，删除所有被 pattern 所匹配到的字符串；\n\n\t${var/#pattern}：查找 var 所表示的字符串中，删除行首被 pattern 所匹配到的字符串；\n\n\t${var/%pattern}：查找 var 所表示的字符串中，删除行尾被 pattern 所匹配到的字符串；\n\n- Example\n```\n[root@bill scripts]# line=$(tail -n 1 /etc/passwd)\n[root@bill scripts]# echo $line\nbash x 1029 1029 /home/bash /bin/bash\n[root@bill scripts]# echo ${line/bash} #查找并删除第一次匹配到的 bash\n x 1029 1029 /home/bash /bin/bash\n[root@bill scripts]# echo ${line//bash}\t#查找并删除所有匹配到的 bash\n x 1029 1029 /home/ /bin/\n[root@bill scripts]# echo ${line/#bash}\t#查找并删除匹配到的行首的 bash\n x 1029 1029 /home/bash /bin/bash\n[root@bill scripts]# echo ${line/%bash} #查找并删除匹配到的行尾 bash\nbash x 1029 1029 /home/bash /bin/\n\n```\n\n### 字符大小写转换\n\t${var^^}：把 var 中的所有小写字母转换为大写；\n\n\t${var,,}：把 var 中的所有大写字母转换为小写；\n\n- Example\n\n```\n[root@bill scripts]# line=$(tail -n 1 /etc/fstab)\t\t#将文件最后一行的值赋值给变量\n[root@bill scripts]# echo ${line^^}\t\t#全部转换为大写后输出\n/DEV/MAPPER/CENTOS-SWAP SWAP SWAP DEFAULTS 0 0\n[root@bill scripts]# line=`echo ${line^^}`\t#将转换为大写后的值在赋值给变量；\n[root@bill scripts]# echo $line\t\t\t#确认目前变量的值全为大写字母；\n/DEV/MAPPER/CENTOS-SWAP SWAP SWAP DEFAULTS 0 0\n[root@bill scripts]# echo ${line,,}\t\t#全部转换为大写后输出；\n/dev/mapper/centos-swap swap swap defaults 0 0\n\n```\n\n### 变量赋值\n\n\t${var:-value}：如果 var 为空或未设置，那么返回 value；否则，则返回 var 的值；\n\n\t${var:=value}：如果 var 为空或未设置，那么返回 value，并将 value 赋值给 var；否则，则返回 var 的值；\n\n- Example\n\n```\n[root@bill scripts]# echo $test\t\t#变量值为空；\n\n[root@bill scripts]# echo ${test:-helloworld}\t# :- 仅返回设定值，不修改；\nhelloworld\n[root@bill scripts]# echo $test #变量的值依然为空；\n\n[root@bill scripts]# echo ${test:=helloworld} # := 返回设定值，并赋值给变量；\nhelloworld\n[root@bill scripts]# echo $test\t\t\t# 变量值已修改；\nhelloworld\n```\n## 11 Bash 命令自动补全\n\n### 11.1 内置补全命令\n\nBash 内置有两个补全命令，分别是 compgen 和 complete。compgen 命令根据不同的参数，生成匹配单词的候选补全列表，例如：\n```\n$ compgen -W 'hi hello how world' h\nhi\nhello\nhow\n```\ncompgen 最常用的选项是 -W，通过 -W 参数指定空格分隔的单词列表。h 即我们在命令行当前键入的单词，执行完后会输出候选的匹配列表，这里是以 h 开头的所有单词。\n\ncomplete 命令的参数有点类似 compgen，不过它的作用是说明命令如何进行补全，例如同样使用 -W 参数指定候选的单词列表：\n```\n$ complete -W 'word1 word2 word3 hello' foo\n$ foo w\n$ foo word\nword1 word2 word3\n```\n我们还可以通过 -F 参数指定一个补全函数：\n```\n$ complete -F _foo foo\n```\n现在键入 foo 命令后，会调用_foo 函数来生成补全的列表，完成补全的功能，这一点正是补全脚本实现的关键所在，我们会在后面介绍。\n\n补全相关的内置变量\n\n除了上面的两个补全命令外，Bash 还有几个内置的变量用来辅助补全功能，这里主要介绍其中三个：\n\n> * COMP_WORDS: 类型为数组，存放当前命令行中输入的所有单词；\n> * COMP_CWORD: 类型为整数，当前光标下输入的单词位于 COMP_WORDS 数组中的索引；\n> * COMPREPLY: 类型为数组，候选的补全结果；\n> * COMP_WORDBREAKS: 类型为字符串，表示单词之间的分隔符；\n> * COMP_LINE: 类型为字符串，表示当前的命令行输入；\n\n例如我们定义这样一个补全函数_foo：\n```\n$ function _foo()\n{\n echo -e \"\\n\"\n declare -p COMP_WORDS\n declare -p COMP_CWORD\n declare -p COMP_LINE\n declare -p COMP_WORDBREAKS\n}\n$ complete -F _foo foo\n```\n假设我们在命令行下输入以下内容，再按下 Tab 键补全：\n```\n$ foo b\n\ndeclare -a COMP_WORDS='([0]=\"foo\" [1]=\"b\")'\ndeclare -- COMP_CWORD=\"1\"\ndeclare -- COMP_LINE=\"foo b\"\ndeclare -- COMP_WORDBREAKS=\"\n\\\"'><=;|&(:\"\n```\n对着上面的结果，我想应该比较容易理解这几个变量。当然正如我们之前据说，Bash-completion 包并非是必须的，补全功能是 Bash 自带的。\n\n### 11.2 编写脚本\n\n补全脚本分成两个部分：编写一个补全函数和使用 complete 命令应用补全函数。后者的难度几乎忽略不计，重点在如何写好补全函数。难点在，似乎网上很少与此相关的文档，但是事实上，Bash-completion 自带的补全脚本是最好的起点，可以挑几个简单的改改基本上就可以使用了。\n\n一般补全函数（假设这里依然为_foo) 都会定义以下两个变量：\n```\nlocal cur prev\n```\n其中 cur 表示当前光标下的单词，而 prev 则对应上一个单词：\n```\ncur=\"${COMP_WORDS[COMP_CWORD]}\"\nprev=\"${COMP_WORDS[COMP_CWORD-1]}\"\n```\n#### 11.2.1 支持主选项\n\n初始化相应的变量后，我们需要定义补全行为，即输入什么的情况下补全什么内容，例如当输入 - 开头的选项的时候，我们将所有的选项作为候选的补全结果：\n```\nlocal opts=\"-h --help -f --file -o --output\"\n\nif [[ ${cur} == -* ]] ; then\n COMPREPLY=( $(compgen -W \"${opts}\" -- ${cur}) )\n return 0\nfi\n```\n不过再给 COMPREPLY 赋值之前，最好将它重置清空，避免被其它补全函数干扰。\n\n现在完整的补全函数是这样的：\n```\nfunction _foo() {\n local cur prev opts\n\n COMPREPLY=()\n\n cur=\"${COMP_WORDS[COMP_CWORD]}\"\n prev=\"${COMP_WORDS[COMP_CWORD-1]}\"\n opts=\"-h --help -f --file -o --output\"\n\n if [[ ${cur} == -* ]] ; then\n COMPREPLY=( $(compgen -W \"${opts}\" -- ${cur}) )\n return 0\n fi\n}\n```\n现在在命令行下就可以对 foo 命令进行参数补全了：\n```\n$ complete -F _foo foo\n$ foo -\n-f --file -h --help -o --output\n```\n\n#### 11.2.2 支持子选项\n当然，似乎我们这里的例子没有用到 prev 变量。用好 prev 变量可以让补全的结果更加完整，例如当输入 --file 之后，我们希望补全特殊的文件（假设以.sh 结尾的文件）：\n```\n case \"${prev}\" in\n -f|--file)\n COMPREPLY=( $(compgen -o filenames -W \"`ls *.sh`\" -- ${cur}) )\n ;;\n esac\n```\n现在再执行 foo 命令，--file 参数的值也可以补全了：\n```\n$ foo --file\na.sh b.sh c.sh\n```\n#### 11.2.3 安装补全脚本\n\n如果安装了 Bash-completion 包，可以将补全脚本放在 /etc/bash_completion.d 目录下，或者放到~/.bash_completion 文件中。\n如果没有安装 Bash-completion 包，可以把补全脚本放到~/.bashrc 或者其它能被 shell 加载的初始化文件中。\n## 12 常用实例\n### 12.1 推荐添加内容\n\n```\nset -u # 确保变量都被初始化\nset -e # 确保捕获所有非 0 状态\nset -o pipefail # 结合 -e 可以捕获管道后的异常状态\n```\n### 12.2 脚本的配置文件\n-\t(1) 定义文本文件，每行定义\"name=value\"\n-\t(2) 在脚本中 source 此文件即可\n\n```\n[root@bill scripts]# touch /tmp/config.test #创建配置文件；\n[root@bill scripts]# echo \"name=bill\" >> /tmp/config.test #在配置文件中定义变量；\n[root@bill scripts]# vim script_configureFile.sh\t\t#编写脚本，导入配置文件；如内容所示；\n[root@bill scripts]# bash script_configureFile.sh \t#脚本执行结果；\nbill\n[root@bill scripts]# cat script_configureFile.sh\n#!/bin/bash\n#\nsource /tmp/config.test\t\t#导入配置文件，脚本自身并未定义变量；\n\necho $name\t\t\t\t#引用的是配置文件中的变量 name\n```\n### 12.3 ssh 登录相关\n\n> * 可以使用 sshpass 进行直接传入密码\n> * 一定要加 -o StrictHostKeyChecking=no 否则如果是第一次访问对应的机器，会执行无效\n```\nssh_option=\"-o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null -o NumberOfPasswordPrompts=0 -o ConnectTimeout=3 -o ConnectionAttempts=3\"\nexport WSSH=\"./tools/sshpass -p ${PASSWD} ssh ${ssh_option}\"\nexport WSCP=\"./tools/sshpass -p ${PASSWD} scp ${ssh_option}\"\n```\n> * StrictHostKeyChecking=no        自动信任主机并添加到known_hosts文件\n> * UserKnownHostsFile=/dev/null 跳过检查 ~/.ssh/known_hosts 中的公钥操作，比如因为远端机器重装导致无法登录问题\n> * NumberOfPasswordPrompts=0 规避没有信任关系挂死的问题，当对应的机器需要输入密码时，会直接返回异常（异常返回码为 255），而不是阻塞在输入密码页面\n> * ConnectTimeout=3             连接超时时间，3秒\n> * ConnectionAttempts=3            连接失败后重试次数，3次\n\n### 12.4 ping 文件列表中所有主机\n```\n#!/bin/bash\nfile=$1\n\n[[ -z $file ]] && exit 0\ncat $file| while read line;do\n ping=`ping -c 1 $line|grep loss|awk '{print $6}'|awk -F \"%\" '{print $1}'`\n if [ $ping -eq 100 ];then\n echo ping $i fail\n else\n echo ping $i ok\n fi\ndone\n```\n### 12.5 shell 模板变量替换\n\n#### 应用场景\n\n双引号是 json 的标准，如果一个服务的配置文件是 json 的，使用特定的配置（模板）生成对应的配置文件时。要是使用 shell，这样也可以做到：\n\n#### 使用方式\n\n模板文件\n```\n{\n \"test_ip\" : ${test_ip},\n \"test_port\" : ${test_port},\n}\n```\n脚本\n```\ntest_host=\"127.0.0.1\"\ntest_port=9099\n\ncontent=$(cat ./config_tpl)\ncontent_new=$(eval \"cat <\n\n* [1 编程相关](#1-编程相关)\n * [1.1 vim IDE 工具](#11-vim-ide-工具)\n * [1.2 Git 分布式管理系统](#12-git-分布式管理系统)\n * [1.2.1 Git 基础](#121-git-基础)\n * [1.2.2 知识点](#122-知识点)\n * [1.2.3 其他操作](#123-其他操作)\n * [**解决 GitHub commit 次数过多.git 文件过大**](#解决-github-commit-次数过多git-文件过大)\n * [**HTTP request failed**](#http-request-failed)\n * [设置 Wiki 只能自己编写，其他人员只读](#设置-wiki-只能自己编写其他人员只读)\n * [修改最后一次 commit 操作](#修改最后一次-commit-操作)\n * [1.2.4 Git tips](#124-git-tips)\n* [2 运维相关](#2-运维相关)\n * [2.1 sed](#21-sed)\n * [2.2 awk](#22-awk)\n * [2.2.1 基础知识](#221-基础知识)\n * [2.2.2 脚本](#222-脚本)\n * [2.2.3 运算与编程](#223-运算与编程)\n * [2.2.4 AWK 中输出外部变量](#224-awk-中输出外部变量)\n * [2.2.5 AWK if](#225-awk-if)\n * [2.2.6 AWK 打印第 N 列后面的所有列](#226-awk-打印第-n-列后面的所有列)\n * [2.3 find](#23-find)\n * [2.3.1 linux 文件查找指定时间段的文件](#231-linux-文件查找指定时间段的文件)\n * [2.4 grep](#24-grep)\n * [2.4.1 grep 时出现错误 Binary file (standard input) matches](#241-grep-时出现错误-binary-file-standard-input-matches)\n * [2.5 sshpass 命令行使用密码来进行远程操作](#25-sshpass-命令行使用密码来进行远程操作)\n* [3 系统相关](#3-系统相关)\n * [3.1 screen](#31-screen)\n * [3.1.1 screen 使用](#311-screen-使用)\n * [3.1.2 开启 screen 状态栏](#312-开启-screen-状态栏)\n * [3.2 dmesg](#32-dmesg)\n * [3.3 日志切割之 Logrotate](#33-日志切割之-logrotate)\n * [3.3.1 通用服务日志清理工具](#331-通用服务日志清理工具)\n * [3.4 lsof](#34-lsof)\n * [3.4.1 如何使用 lsof?](#341-如何使用-lsof)\n * [3.4.2 lsof -p](#342-lsof--p)\n* [4 网络相关](#4-网络相关)\n * [4.1 curl](#41-curl)\n * [4.1.1 HTTP 请求](#411-http-请求)\n * [4.1.2 curl 基础](#412-curl-基础)\n * [4.1.3 curl 深入](#413-curl-深入)\n * [4.2 tcpdump](#42-tcpdump)\n * [4.2.1 tcp 三次握手和四次挥手](#421-tcp-三次握手和四次挥手)\n * [4.2.2 tcpdump 使用](#422-tcpdump-使用)\n * [4.3 nc](#43-nc)\n * [4.3.1 语法](#431-语法)\n * [4.3.2 TCP 端口扫描](#432-tcp-端口扫描)\n * [4.3.3 扫描 UDP 端口](#433-扫描-udp-端口)\n* [5 日志相关操作](#5-日志相关操作)\n * [5.1 截取某段时间内的日志](#51-截取某段时间内的日志)\n * [5.2 处理日志文件中上下关联的两行](#52-处理日志文件中上下关联的两行)\n* [6 应用服务相关](#6-应用服务相关)\n * [6.1 排查 java CPU 性能问题](#61-排查-java-cpu-性能问题)\n * [6.1.1 用法](#611-用法)\n * [6.1.2 示例](#612-示例)\n* [7 日常工具](#7-日常工具)\n * [7.1 mget](#71-mget)\n\n\n\n# 1 编程相关\n## 1.1 vim IDE 工具\n\n* [VIM 一键 IDE](https://github.com/meetbill/Vim)\n\n## 1.2 Git 分布式管理系统\n\n### 1.2.1 Git 基础\n\n**环境配置**\n\n+ `git config --global user.name your_name` : 设置你的用户名，提交会显示\n+ `git config --global user.email your_email` : 设置你的邮箱\n+ `git config core.quotepath false` : 解决中文文件名显示为数字问题\n\n**基本操作**\n\n+ `git init` : 初始化一个 git 仓库\n+ `git add ` : 添加一个文件到 git 仓库中\n+ `git commit -m \"commit message\"`: 提交到本地\n+ `git push [remote-name] [branch-name]` : 把本地的提交记录推送到远端分支\n+ `git pull`: 更新仓库 `git pull` = `git fetch` + `git merge`\n+ `git checkout -- ` : 还原未暂存 (staged) 的文件\n+ `git reset HEAD ...` : 取消暂存，那么还原一个暂存文件，应该是先 `reset` 后 `checkout`\n+ `git stash` : 隐藏本地提交记录，恢复的时候 `git stash pop`。这样可以在本地和远程有冲突的情况下，更新其他文件\n\n**分支**\n\n+ `git branch ` : 基于当前 commit 新建一个分支，但是不切换到新分支\n+ `git branch -r` : 查看远程的所有分支（常用）\n+ `git checkout -b ` : 新建并切换分支\n+ `git checkout ` : 切换分支（常用）\n+ `git branch -d ` : 删除分支\n+ `git push origin ` : 推送本地分支\n+ `git checkout -b origin/` : 基于某个远程分支新建一个分支开发\n+ `git checkout --track origin/` : 跟踪远程分支（创建跟踪远程分支，Git 在 `git push` 的时候不需要指定 `origin` 和 `branch-name` ，其实当我们 `clone` 一个 repo 到本地的时候，`master` 分支就是 origin/master 的跟踪分支，所以提交的时候直接 `git push`)。\n+ `git push origin :` : 删除远程分支\n\n实践 --- 主分支 Master/ 开发分支 Develop\n```\n主分支只用来分布重大版本，日常开发应该在另一条分支上完成。我们把开发用的分支，叫做 Develop。\n\n# Git 创建 Develop 分支\ngit checkout -b develop master\n\n# 将 Develop 分支发布到 Master 分支\n\n# 切换到 Master 分支\ngit checkout master\n\n# 对 Develop 分支进行合并\ngit merge --no-ff develop\n上一条命令的 --no-ff 参数是什么意思。默认情况下，Git 执行\"快进式合并\"（fast-farward merge），会直接将 Master 分支指向 Develop 分支。\n\n# 删除本地分支\ngit branch -d develop\n```\n\n**标签**\n\n+ `git tag -a -m ` : 创建一个标签（用 -a 指定标签名，-m 指定说明文字） 如 `git tag -a v1.0 -m \"version 1.0 released mitaka\"`\n+ `git tag` : 显示已有的标签\n+ `git show tagname`: 显示某个标签的详细信息\n+ `git push origin v1.0` push 到远端仓库 如`git push -u ${PWD##*/} master v1.0`\n+ `git checkout -b ` : 基于某个 tag 创建一个新的分支\n\n**Git shortcuts/aliases**\n\n git config --global alias.co checkout\n git config --global alias.br branch\n git config --global alias.ci commit\n git config --global alias.st status\n\n### 1.2.2 知识点\n\n基本命令让你快速的上手使用 Git，知识点能让你更好的理解 Git。\n\n**文件的几种状态**\n\n+ untracked: 未被跟踪的，没有纳入 Git 版本控制，使用 `git add ` 纳入版本控制\n+ unmodified: 未修改的，已经纳入版本控制，但是没有修改过的文件\n+ modified: 对纳入版本控制的文件做了修改，git 将标记为 modified\n+ staged: 暂存的文件，简单理解：暂存文件就是 add 之后，commit 之前的文件状态\n\n理解这几种文件状态对于理解 Git 是非常关键的（至少可以看懂一些错误提示了）。\n\n**快照和差异**\n\n详细可看：[Pro Git: Git 基础](http://iissnan.com/progit/html/zh/ch1_3.html) 中有讲到 *直接记录快照，而非差异比较*，这里只讲我个人的理解。\n\nGit 关心的是文件数据整体的变化，其他版本管理系统（以 svn 为例）关心的某个具体文件的*差异*。这个差异是好理解的，也就是两个版本具体文件的不同点，比如某一行的某个字符发生了改变。\n\nGit 不保存文件提交前后的差异，不变的文件不会发生任何改变，对于变化的文件，前后两次提交则保存两个文件。举个例子：\n\nSVN:\n\n1. 新建 3 个文件 a, b, c，做第一次提交 -> `version1 : file_a file_b file_c`\n2. 修改文件 b， 做第二次提交（真正提交的是 修改后的文件 b 和修改前的 `file_b` 的 diff) -> `version2: diff_b_2_1`\n3. 当我要 checkout version2 的时候，实际上得到的是 `file_a file_b+diff_b_2_1 file_c`\n\nGit:\n\n1. 新建 3 个文件 a, b, c，做第一次提交 -> `version1 : file_a file_b file_c`\n2. 修改文件 b （得到`file_b1`), 做第二次提交 -> `version2: file_a file_b1 file_c`\n3. 当我要用 version2 的时候，实际上得到的是 `file_a file_b1 file_c`\n\n上面的 `file_a file_b1 file_c` 就是 version2 的 *快照*。\n\n**Git 数据结构**\n\nGit 的核心数是很简单的，就是一个链表（或者一棵树更准确一些？无所谓了），一旦你理解了它的基本数据结构，再去看 Git，相信你有不同的感受。继续用上面的例子（所有的物理文件都对应一个 SHA-1 的值）\n\n当我们做第一次提交时，数据结构是这样的：\n\n\n sha1_2_file_map:\n 28415f07ca9281d0ed86cdc766629fb4ea35ea38 => file_a\n ed5cfa40b80da97b56698466d03ab126c5eec5a9 => file_b\n 1b5ca12a6cf11a9b89dbeee2e5431a1a98ea5e39 => file_c\n\n commit_26b985d269d3a617af4064489199c3e0d4791bb5:\n base_info:\n Auther: \"JerryZhang(chinajiezhang@gmail.com)\"\n Date: \"Tue Jul 15 19:19:22 2014 +0800\"\n commit_content: \"第一次提交\"\n file_list:\n [1]: 28415f07ca9281d0ed86cdc766629fb4ea35ea38\n [2]: ed5cfa40b80da97b56698466d03ab126c5eec5a9\n [3]: 1b5ca12a6cf11a9b89dbeee2e5431a1a98ea5e39\n pre_commit: null\n next_commit: null\n\n当修改了 `file_b`, 再提交一次时，数据结构应该是这样的：\n\n sha1_2_file_map:\n 28415f07ca9281d0ed86cdc766629fb4ea35ea38 => file_a\n ed5cfa40b80da97b56698466d03ab126c5eec5a9 => file_b\n 1b5ca12a6cf11a9b89dbeee2e5431a1a98ea5e39 => file_c\n 39015ba6f80eb9e7fdad3602ef2b1af0521eba89 => file_b1\n\n commit_26b985d269d3a617af4064489199c3e0d4791bb5:\n base_info:\n Auther: \"JerryZhang(chinajiezhang@gmail.com)\"\n Date: \"Tue Jul 15 19:19:22 2014 +0800\"\n commit_content: \"第一次提交\"\n file_list:\n [1]: 28415f07ca9281d0ed86cdc766629fb4ea35ea38\n [2]: ed5cfa40b80da97b56698466d03ab126c5eec5a9\n [3]: 1b5ca12a6cf11a9b89dbeee2e5431a1a98ea5e39\n pre_commit: commit_a08a57561b5c30b9c0bf33829349e14fad1f5cff\n next_commit: null\n\n commit_a08a57561b5c30b9c0bf33829349e14fad1f5cff:\n base_info:\n Auther: \"JerryZhang(chinajiezhang@gmail.com)\"\n Date: \"Tue Jul 15 22:19:22 2014 +0800\"\n commit_content: \"更新文件 b\"\n file_list:\n [1]: 28415f07ca9281d0ed86cdc766629fb4ea35ea38\n [2]: 39015ba6f80eb9e7fdad3602ef2b1af0521eba89\n [3]: 1b5ca12a6cf11a9b89dbeee2e5431a1a98ea5e39\n pre_commit: null\n next_commit: commit_26b985d269d3a617af4064489199c3e0d4791bb5\n\n当提交完第二次的时候，执行 `git log`，实际上就是从 `commit_a08a57561b5c30b9c0bf33829349e14fad1f5cff` 开始遍历然后打印 `base_info` 而已。\n\n实际的 git 实际肯定要比上面的结构 (（的信息）的）要复杂的多，但是它的核心思想应该是就是，每一次提交就是一个新的结点。通过这个结点，我可以找到所有的快照文件。再思考一下，什么是分支？什么是 Tags，其实他们可能只是某次提交的引用而已（一个 `tag_head_node` 指向了某一次提交的 node)。再思考怎么回退一个版本呢？指针偏移！依次类推，上面的基本命令都可以得到一个合理的解释。\n\n**理解 git fetch 和 git pull 的差异**\n\n上面我们说过 `git pull` 等价于 `git fetch` 和 `git merge` 两条命令。当我们 `clone` 一个 repo 到本地时，就有了本地分支和远端分支的概念（假定我们只有一个主分支），本地分支是 `master`，远端分支是 `origin/master`。通过上面我们对 Git 数据结构的理解，`master` 和 `origin/master` 可以想成是指向最新 commit 结点的两个指针。刚 `clone` 下来的 repo，`master` 和 `origin/master` 指针指向同一个结点，我们在本地提交一次，`origin` 结点就更新一次，此时 `master` 和 `orgin/master` 就不再相同了。很有可能别人已经 commit 改 repo 很多次了，并且进行了提交。那么我们的本地的 `origin/master` 就不再是远程服务器上的最新的位置了。 `git fetch` 干的就是从服务器上同步服务器上最新的 `origin/master` 和一些服务器上新的记录 / 文件到本地。而 `git merge` 就是合并操作了（解决文件冲突）。`git push` 是把本地的 `origin/master` 和 `master` 指向相同的位置，并且推送到远程的服务器。\n\n### 1.2.3 其他操作\n\n#### **解决 GitHub commit 次数过多.git 文件过大**\n\n完全重建版本库\n\n```\n# rm -rf .git\n# git init\n# git add .\n# git commit -a -m \"[Update] 合并之前所有 commit\"\n# git remote add origin \n# git push -f -u origin master\n```\n#### **HTTP request failed**\n\n使用 git clone 失败\n\n```\n[root@localhost ~]# git clone https://github.com/meetbill/Vim.git\nInitialized empty Git repository in /root/Vim/.git/\nerror: while accessing https://github.com/meetbill/Vim.git/info/refs\n\nfatal: HTTP request failed\n```\n解决方法\n```\n#git config --global http.sslVerify false\n\n```\n#### 设置 Wiki 只能自己编写，其他人员只读\n\n在项目中的设置中勾选`Restrict editing to collaborators only`\n\n#### 修改最后一次 commit 操作\n\n有时候我们提交完了才发现漏掉了几个文件没有加，或者提交信息写错了。想要撤消刚才的提交操作，可以使用 --amend 选项重新提交：\n```\n$ git commit -a -m 'initial commit'\n$ git add forgotten_file\n$ git commit --amend -m 'new commit'\n```\n\n### 1.2.4 Git tips\n\n> 命令简化\n```\ncd git_repo（替换为项目名字）\ngit remote add ${PWD##*/} git@github.com:meetbill/${PWD##*/}.git\ngit push -u ${PWD##*/} master\n```\n> 提升 git 使用体验\n\n> * [git 命令自动补全](https://github.com/meetbill/op_practice_code/tree/master/Linux/tools/git/git-completion)\n> * [命令行显示 git 信息](https://github.com/meetbill/op_practice_code/tree/master/Linux/tools/git/git-ps1)\n\n> 忽略特殊文件\n```\n.gitignore 写得有问题，需要找出来到底哪个规则写错了，可以用 git check-ignore 命令检查：\n\n$ git check-ignore -v App.class\n.gitignore:3:*.class\tApp.class\n\n.gitignore 的第 3 行规则忽略了该文件，于是我们就可以知道应该修订哪个规则。\n```\n\n\n# 2 运维相关\n## 2.1 sed\n\n## 2.2 awk\nAWK 是贝尔实验室 1977 年搞出来的文本处理工具。\n\n之所以叫 AWK 是因为其取了三位创始人 Alfred Aho，Peter Weinberger, 和 Brian Kernighan 的 Family Name 的首字符\n\n### 2.2.1 基础知识\n**分隔符**\n\n默认情况下， awk 使用空格当作分隔符。分割后的字符串可以使用 $1, $2 等访问。\n\n上面提到过，我们可以使用 -F 来指定分隔符。\nfs 如果是一个字符，可以直接跟在 -F 后面，比如使用冒号当作分隔符就是 -F: .\n如果分隔符比较复杂，就需要使用正则表达式来表示这个分隔符了。\n正则表达式需要使用引号引起来。\n比如使用‘ab’ 当作分隔符，就是 -F 'ab' 了。\n使用 a 或 b 作为分隔符，就是 -F '\\[ab]' 了。\n关于正则表达式这里不多说了。\n\n**内建变量**\n\n```text\n$0\t当前记录（这个变量中存放着整个行的内容）\n$1~$n\t当前记录的第 n 个字段，字段间由 FS 分隔\nFS\t输入字段分隔符 默认是空格或 Tab\nNF\t当前记录中的字段个数，就是有多少列\nNR\t已经读出的记录数，就是行号，从 1 开始，如果有多个文件话，这个值也是不断累加中。\nFNR\t当前记录数，与 NR 不同的是，这个值会是各个文件自己的行号\nRS\t输入的记录分隔符， 默认为换行符\nOFS\t输出字段分隔符， 默认也是空格\nORS\t输出的记录分隔符，默认为换行符\nFILENAME\t当前输入文件的名字\n```\n\n**转义**\n\n一般字符在双引号之内就可以直接原样输出了。\n但是有部分转义字符，需要使用反斜杠转义才能正常输出。\n\n```\n\\\\ A literal backslash.\n\\a The “alert” character; usually the ASCII BEL character.\n\\b backspace.\n\\f form-feed.\n\\n newline.\n\\r carriage return.\n\\t horizontal tab.\n\\v vertical tab.\n\\xhex digits\n\\c The literal character c.\n```\n**模式**\n\n```\n~ 表示模式开始，与 == 相比不是精确比较\n/ / 中是模式\n! 模式取反\n```\n\n**单引号**\n\n当需要输出单引号时，直接转义发现会报错。\n由于 awk 脚本并不是直接执行，而是会先进行预处理，所以需要两次转义。\nawk 支持递归引号。单引号内可以输出转义的单引号，双引号内可以输出转义的双引号。\n\n比如需要输出单引号，则需要下面这样：\n\n```\n> awk 'BEGIN{print \"\\\"\"}'\n\"\n> awk 'BEGIN{print \"'\\''\"}'\n'\n```\n\n当然，更简单的方式是使用十六进制来输出。\n\n```\nawk 'BEGIN{print \"\\x27\"}'\n```\n\n### 2.2.2 脚本\n\n```\nBEGIN{ 这里面放的是执行前的语句 }\nEND {这里面放的是处理完所有的行后要执行的语句 }\n{这里面放的是处理每一行时要执行的语句}\n```\n\n### 2.2.3 运算与编程\n\nawk 是弱类型语言，变量可以是串，也可以是数字，这依赖于实际情况。所有的数字都是浮点型。\n\n例如\n\n```\n//9\necho 5 4 | awk '{ print $1 + $2 }'\n\n//54\necho 5 4 | awk '{ print $1 $2 }'\n\n//\"5 4\"\necho 5 4 | awk '{ print $1, $2 }'\n\n0-1-2-3-4-5-6\necho 6 | awk '{ for (i=0; i<=$0; i++){ printf (i==0?i:\"-\"i); }printf \"\\n\";}'\n```\n\n**Example**\n\n假设我们有一个日期 2014/03/27, 我们想处理为 2014-03-27.\n我们可以使用下面的代码实现。\n\n```bash\necho \"2014/03/27\" | awk -F/ '{print $1\"-\"$2\"-\"$3}'\n```\n\n假设 处理的日期都在 date 文件里。\n我们可以导入文件来操作\n\n文件名 date\n\n```\n2014/03/27\n2014/03/28\n2014/03/29\n```\n\n命令\n```\nawk -F/ '{printf \"%s-%s-%s\\n\",$1,$2,$3}' date\n```\n\n输出\n```text\n2014-03-27\n2014-03-28\n2014-03-29\n```\n\n**统计**\n\n```bash\nawk '{sum+=$5} END {print sum}'\n```\n\n### 2.2.4 AWK 中输出外部变量\n通过双引号内加个单引号将外部变量进行输出\n```\nwang=\"hello\"\necho meetbill | awk '{print \"'$wang' \" $1}'\n```\n### 2.2.5 AWK if\n\n必须用在{}中，且比较内容用 () 扩起来\n```\nawk -F: '{if($1~/mail/) print $1}' /etc/passwd // 简写\nawk -F: '{if($1~/mail/) {print $1}}' /etc/passwd // 全写\nawk -F: '{if($1~/mail/) {print $1} else {print $2}}' /etc/passwd //if...else...\n```\n\n> * 条件表达式\n> * `== != > >=`\n> * 逻辑运算符\n> * `&& ||`\n如：查看使用了 CPU 0 核的进程\n```\n# ps -eF，其中 PSR 就是 (processor that process is currently assigned to.) 或者 ps -eo pid,command,args,psr\nps -eF |awk '{if($7==0) print $0}'\n```\n\n### 2.2.6 AWK 打印第 N 列后面的所有列\n```\nawk '{for(i=N+1;i<=NF;i++)printf $i \" \";printf\"\\n\"}' file\n```\n## 2.3 find\n\n### 2.3.1 linux 文件查找指定时间段的文件\n\n```\ntouch -t 201710241800 t1\ntouch -t 201710252100 t2\n\n\n查找排序（先旧后新），结果写到文件\n\nfind ./ -type f -name \"*.aof\" -newer ./t1 ! -newer ./t2  |xargs ls -lrt  > /sdcard/amr/sort.txt\n```\n\n## 2.4 grep\n\n### 2.4.1 grep 时出现错误 Binary file (standard input) matches\n\n在使用 grep 命令时出现错误 Binary file (standard input) matches\n\n解决方法 加上 -a\n\n例如原本为 grep hello\n\n改为 grep -a hello\n\n## 2.5 sshpass 命令行使用密码来进行远程操作\n\nhttps://github.com/kevinburke/sshpass\n\n```\n例子：本地执行远程机器的命令：\n命令： sshpass -p xxx ssh root@192.168.11.11 \"ethtool eth0\"\n\n例子：从远程主机上拉取文件到本地\n命令： sshpass -p xxx scp root@host_ip:/home/test/t ./tmp/\n```\n\n# 3 系统相关\n## 3.1 screen\n\n现在很多时候我们的开发环境都已经部署到云端了，直接通过 SSH 来登录到云端服务器进行开发测试以及运行各种命令，一旦网络中断，通过 SSH 运行的命令也会退出，这个发让人发疯的。\n\n好在有 screen 命令，它可以解决这些问题。我使用 screen 命令已经有三年多的时间了，感觉还不错。\n\n### 3.1.1 screen 使用\n\n**新建一个 Screen Session**\n\n```\n$ screen -S screen_session_name\n```\n\n**将当前 Screen Session 放到后台**\n\n```\n$ CTRL + A + D\n```\n\n**唤起一个 Screen Session**\n\n```\n$ screen -r screen_session_name\n```\n\n**分享一个 Screen Session**\n\n```\n$ screen -x screen_session_name\n```\n\n通常你想和别人分享你在终端里的操作时可以用此命令。\n\n**终止一个 Screen Session**\n\n```\n$ exit\n$ CTRL + D\n```\n\n**查看一个 screen 里的输出**\n\n当你进入一个 screen 时你只能看到一屏内容，如果想看之前的内容可以如下：\n\n```\n$ Ctrl + a ESC\n```\n\n以上意思是进入 Copy mode，拷贝模式，然后你就可以像操作 VIM 一样查看 screen session 里的内容了。\n\n可以 Page Up 也可以 Page Down。\n\n### 3.1.2 开启 screen 状态栏\n\n```\n#curl -o screen.sh https://raw.githubusercontent.com/meetbill/op_practice_code/master/Linux/tools/screen.sh\n#sh screen.sh\n```\n## 3.2 dmesg\n\n内核缓冲信息，在系统启动时，显示屏幕上的与硬件有关的信息\n\n> dmesg | grep -E 'error|fail'\n```\ndmesg - print or control the kernel ring buffer\ndmesg is used to examine or control the kernel ring buffer.\n\nThe default action is to read all messages from kernel ring buffer.\n```\n\n> eth1: Too much work at interrupt, IntrStatus=0x0001\n```\n一般类的提示\n\n某网卡的中断请求过多。如果只是偶尔出现一次可忽略\n但这条提示如果经常出现或是集中出现，那涉及到的可能性就比较多有可能需要进行处理了。可能性比较多，如网卡性能；服务器性能；网络攻击.. 等等。\n```\n\n> IPVS: incoming ICMP: failed checksum from 61.172.0.X!\n```\n一般类的提示\n\n服务器收到了一个校验和错误的 ICMP 数据包。这类的数据包有可能是非法产生的垃圾数据。但从目前来看服务器收到这样的数据非常多。一般都忽略。\n一般代理服务器在工作时会每秒钟转发几千个数据包。收到几个错误数据包不会影响正常的工作。\n```\n\n> NET: N messages suppressed.\n```\n一般类的提示\n\n服务器忽略了 N 个数据包。和上一条提示类似。服务器收到的数据包被认为是无用的垃圾数据数据。这类数据多是由攻击类的程序产生的。\n这条提示如果 N 比较小的时候可以忽略。但如果经常或是长时间出现 3 位数据以上的这类提示。就很有可能是服务器受到了垃圾数据类的带宽攻击了。\n与这条信息类似的还有。\n__ratelimit: N messages suppressed\n__ratelimit: N callbacks suppressed\n```\n\n> UDP: bad checksum. From 221.200.X.X:50279 to 218.62.X.X:1155 ulen 24\n> UDP: short packet: 218.2.X.X:3072 3640/217 to 222.168.X.X:57596\n> 218.26.131.X sent an invalid ICMP type 3, code 13 error to a broadcast: 0.1.0.4 on eth0\n```\n一般类的提示\n\n服务器收到了一个错误的数据包。分别为 UDP 校验和错误；过短的 UDP 数据包；一个错误的 ICMP 类型数据。这类信息一般情况下也是非法产生的。\n但一般问题不大可直接忽略。\n```\n\n> kernel: conntrack_ftp: partial 227 2205426703+13\n> FTP_NAT: partial packet 2635716056/20 in 2635716048/2635716075\n```\n一般类的提示\n\n服务器在维持一条 FTP 协议的连接时出错。这样的提示一般都可以直接忽略。\n```\n\n> NETDEV WATCHDOG: eth1: transmit timed out\n```\neth1: link down\neth1: link up, 10Mbps, half-duplex, lpa 0x0000\neth2: link up, 100Mbps, full-duplex, lpa 0x41E1\nsetting full-duplex based on MII #24 link partner capability of 45e1\n\n网络通信严重问题！\n\n这些提示是网络通信中出现严重问题时才会出现。故障基本和网络断线有关系。这几条提示分别代表的含意是 某块网卡传送数据超时；网卡连接 down; 网卡连接 up, 连接速率为 10/100Mbps, 全 / 半双功。\n这里写到的最后三行的提示比较类似。出现这类提示时必须注意网络连接状况进行处理！!!\n```\n\n> NIC Link is Up 100 Mbps Full Duplex\n```\n网络通信严重问题！\n\n情况和 kernel: eth1: link up,... 相同。指某块网卡适应的连接速率。一般认为没有说明哪个网卡 down, 只是连续出现网卡适应速率也是通信有问题。\n如果是网线正常的断接可以忽略这类的信息。\n```\n\n> eth0: Transmit timed out, status 0000, PHY status 786d, resetting...\n> eth0: Reset not complete yet. Trying harder.\n```\n网络通信严重问题！\n\n第一条提示 网卡关送数据失败。复位网卡。第二条提示 网卡复位不成功.... 这些提示都属于严重的通信问题。\n\n报警程序的提示\n0001 ##WMPCheckV001## 2005-04-13_10:10:01 Found .(ARP Spoofing sniffer)! IP:183 MAC:5\n0002 ##WMPCheckV001## 2005-04-07_01:53:32 Found .(MAC_incomplete)! IP:173 mac_incomplete:186\n0003 ##WMPCheckV001## 2005-04-17_16:25:11 Found .(HIGH_synsent)! totl:4271 SynSent:3490\n0004 ##WMPCheckV001## 20......\n这是由报警程序所引起的提示。详细的信息需要用报警程序的客户端进行实时接收。详细情况请查看\"告警模块和日志\".\n```\n\n> eth1: Promiscuous mode enabled.\n> device eth1 entered promiscuous mode\n> device eth1 left promiscuous mode\n```\n一般类的提示\n\n这几行提示指。某块网卡进入（离开）了混杂模式。一般来说混杂模式是当需要对通信进行抓包时才用到的。当使用维护或故障分析时会使用到（比如 consoletools 中的 countflow 命令）. 正常产生的这类提示可以忽略。\n如果在前台和远端都没有进行维护时出现这个提示倒是应该引起注意，但这种可能性不大。\n```\n\n> keyboard: unknown scancode e0 5e\n```\n基本无关\n\n键盘上接收到未定义的键值。如果经常出现。有可能是键盘有问题。linux 对于比较特殊的键或是组合键，有时也会出这样的提示。\n要看一下服务器的键盘是不是被压住了。其它情况一般忽略。\n```\n> uses obsolete (PF_INET,SOCK_PACKET)\n```\n基本无关\n\n系统内核调用了一部分功能模块，在第一次调入时会出现。一般情况与使用调试工具有关。可直接忽略。\n```\n\n> Neighbour table overflow.\n```\n网络通信故障\n\n出现这个提示。一般都是因为局域网内有部分计算机被病毒感染。情况严重时会影响通信。必须处理内部网通信不正常的计算机。\n```\n\n> eth1: Transmit error, Tx status register 82.\n```\nProbably a duplex mismatch. See Documentation/networking/vortex.txt\nFlags; bus-master 1, dirty 9994190(14) current 9994190(14)\nTransmit list 00000000 vs. f7171580.\n0: @f7171200 length 800001e6 status 000101e6\n1: @f7171240 length 8000008c status 0001008c\n\n这个提示是 3com 网卡特有的。感觉如果出现量不大的话也不会影响很严重。目前看维一的解决办法是更换服务器上的网卡。实在感觉 3com 的网卡有些问题...\n```\n\n> 服务器 CPU 工作温度过高\n```\nCPU0: Temperature above threshold\nCPU0: Running in modulated clock mode\n\n服务器系统严重故障\n\n服务器 CPU 工作温度过高。必须排除硬件故障。\n```\n\n> 磁盘故障\n```\nI/O error, dev hda, sector N\nI/O error, dev sda, sector N\nhda: dma_intr: status=0x51 { DriveReady SeekComplete Error }\nhda: dma_intr: error=0x40 { UncorrectableError }, LBAsect=811562, sector=811560\n\n服务器系统严重故障\n\n服务器系统磁盘存储卡操作失败。这样的问题一般不会使服务器直接停止工作，但会引起很多严重问题\n```\n\n## 3.3 日志切割之 Logrotate\n\nCentos 中 rsyslog 负责写入日志，logrotate 负责备份和删除旧日志\n\n> 定时任务\n```\n定时任务：/etc/cron.daily/logrotate\n定时任务执行的程序：/usr/sbin/logrotate /etc/logrotate.conf\n```\n> 配置\n```\n/etc/logrotate.conf # 主配置文件\n/etc/logrotate.d # 配置目录\n```\n\n备注：\n```\n当发现系统日志等没有轮转时，可以手动执行 \"/usr/sbin/logrotate /etc/logrotate.conf\" 查看下是否运行正常\n\n当配置文件中有异常的配置时，logrotate 无法正常工作（一个异常配置会影响所有使用 logrotate 进行管理日志的服务）\n```\n> 常见 logrotate 异常\n```\nerror: /etc/logrotate.conf:xx duplicate log entry for /var/log/xxx\n\n/etc/logrotate.conf:xx 行有重复配置项，将重复项清理下即可\n```\n### 3.3.1 通用服务日志清理工具\n\n如果是业务日志，也可以通过如下工具进行清理\n\n如下工具会启动单独进程进行管理日志\n\n[shell_logrotate](https://github.com/meetbill/linux_tools/tree/master/17_logrotate)\n\n## 3.4 lsof\n\nLsof 是遵从 Unix 哲学的典范，它只做一件事情，并且做的相当完美——它可以列出某个进程打开的所有文件信息。打开的文件可能是普通的文件，目录，NFS 文件，块文件，字符文件，共享库，常规管道，明明管道，符号链接，Socket 流，网络 Socket，UNIX 域 Socket，以及其它更多。因为 Unix 系统中几乎所有东西都是文件，你可以想象 lsof 该有多有用。\n\n### 3.4.1 如何使用 lsof?\n> 列出所有打开的文件 不带任何参数运行 lsof 会列出所有进程打开的所有文件。\n```\nlsof\n```\n\n> 找出谁在使用某个文件\n```\nlsof /path/to/file\n```\n\n> 列出某个用户打开的所有文件\n```\nlsof -u meetbill\n```\n\n> 查找某个程序打开的所有文件 -c 选项限定只列出以 apache 开头的进程打开的文件：\n```\nlsof -c apache\n```\n\n> 列出所有由某个 PID 对应的进程打开的文件 -p 选项让你可以使用进程 id 来过滤输出。\n```\nlsof -p 1\n```\n\n> 列出所有网络连接 lsof 的 -i 选项可以列出所有打开了网络套接字（TCP 和 UDP）的进程。\n```\nlsof -i\n```\n\n> 列出所有 TCP 网络连接 也可以为 -i 选项加上参数，比如 tcp，tcp 选项会强制 lsof 只列出打开 TCP sockets 的进程。\n```\nlsof -i tcp\n```\n\n> 找到使用某个端口的进程\n```\nlsof -i :25\n```\n\n> 找到某个用户的所有网络连接 使用 -a 将 -u 和 -i 选项组合可以让 lsof 列出某个用户的所有网络行为。\n```\nlsof -a -u hacker -i\n```\n\n> 列出所有 NFS（网络文件系统）文件 这个参数很好记，-N 就对应 NFS。\n```\nlsof -N\n```\n\n> 列出所有 UNIX 域 Socket 文件 这个选项也很好记，-U 就对应 UNIX。\n```\nlsof -U\n```\n\n> 列出所有对应某个组 id 的进程\n```\nlsof -g 1234\n```\n\n> 列出所有与某个描述符关联的文件\n```\nlsof -d 2\n```\n## 3.4.2 lsof -p\n\n> lsof -p 24406\n```\nCOMMAND PID USER FD TYPE DEVICE SIZE NODE NAME\npython2.7 24406 wangbin34 cwd DIR 8,8 4096 53002355 /home/users/meetbill/dev/butterfly\npython2.7 24406 wangbin34 rtd DIR 8,2 4096 2 /\npython2.7 24406 wangbin34 txt REG 8,8 10265 52711469 /bin/python2.7\npython2.7 24406 wangbin34 mem REG 0,0 0 [heap] (stat: No such file or directory)\npython2.7 24406 wangbin34 mem REG 8,2 17624 246236 /lib64/libuuid.so.1.2\npython2.7 24406 wangbin34 mem REG 8,2 105080 246045 /lib64/ld-2.3.4.so\npython2.7 24406 wangbin34 mem REG 8,2 1493186 246040 /lib64/tls/libc-2.3.4.so\npython2.7 24406 wangbin34 mem REG 8,2 17943 246057 /lib64/libdl-2.3.4.so\npython2.7 24406 wangbin34 mem REG 8,2 613297 246035 /lib64/tls/libm-2.3.4.so\npython2.7 24406 wangbin34 mem REG 8,2 106203 246042 /lib64/tls/libpthread-2.3.4.so\npython2.7 24406 wangbin34 mem REG 8,2 17367 246060 /lib64/libutil-2.3.4.so\n...\npython2.7 24406 wangbin34 0r CHR 1,3 4869 /dev/null\npython2.7 24406 wangbin34 1w REG 8,8 319 52982340 /home/users/meetbill/dev/butterfly/__stdout\npython2.7 24406 wangbin34 2w REG 8,8 319 52982340 /home/users/meetbill/dev/butterfly/__stdout\npython2.7 24406 wangbin34 3u IPv4 3659770919 TCP :8021 (LISTEN)\npython2.7 24406 wangbin34 4w REG 8,8 48845 53739748 /home/users/meetbill/dev/butterfly/logs/info.log\npython2.7 24406 wangbin34 5w REG 8,8 205892 53739816 /home/users/meetbill/dev/butterfly/logs/common.log\npython2.7 24406 wangbin34 6w REG 8,8 240 53739811 /home/users/meetbill/dev/butterfly/logs/common.log.wf\npython2.7 24406 wangbin34 7r CHR 1,9 4439 /dev/urandom\npython2.7 24406 wangbin34 9w REG 8,8 10005 53739790 /home/users/meetbill/dev/butterfly/logs/acc.log\n```\n\n> * COMMAND：进程的名称 \n> * PID：进程标识符\n> * USER：进程所有者\n> * FD：文件描述符，应用程序通过文件描述符识别该文件。如 cwd、txt 等\n> * cwd 值表示应用程序的当前工作目录\n> * TYPE：文件类型，如 DIR、REG 等\n> * 文件和目录分别称为 REG 和 DIR\n> * CHR 表示字符；(fopen，打开文件）\n> * BLK 表示块设备；\n> * UNIX、FIFO 和 IPv4，分别表示 UNIX 域套接字、先进先出 (FIFO) 队列和网际协议 (IP) 套接字。\n> * DEVICE：指定磁盘的名称\n> * SIZE：文件的大小\n> * NODE：索引节点（文件在磁盘上的标识）\n> * NAME：打开文件的确切名称\n\n# 4 网络相关\n## 4.1 curl\n### 4.1.1 HTTP 请求\n\nGET 和 POST 是 HTTP 请求的两种基本方法，最直观的区别就是 GET 把参数包含在 URL 中，POST 通过 request body 传递参数。\n\n```\n 在万维网世界，TCP 就像汽车，我们用 TCP 来运输数据，它很可靠，\n从来不会发生丢件少件的现象。但是如果路上跑的全是看起来一模一样\n的汽车，那这个世界看起来是一团混乱，送急件的汽车可能被前面满载\n货物的汽车拦堵在路上，整个交通系统一定会瘫痪。为了避免这种情况\n发生，交通规则 HTTP 诞生了。HTTP 给汽车运输设定了好几个服务类别，\n有 GET, POST, PUT, DELETE 等等，HTTP 规定，当执行 GET 请求的时候，\n要给汽车贴上 GET 的标签（设置 method 为 GET)，而且要求把传送的数\n据放在车顶上 (url) 以方便记录。如果是 POST 请求，就要在车上贴上\nPOST 的标签，并把货物放在车厢里。\n\n 当然，你也可以在 GET 的时候往车厢内偷偷藏点货物，但是这是很不\n光彩；也可以在 POST 的时候在车顶上也放一些数据。\n```\n\n### 4.1.2 curl 基础\n在介绍前，我需要先做两点说明：\n\n1. 下面的例子中会使用 [httpbin.org](http://httpbin.org/) ，httpbin 提供客户端测试 http 请求的服务，非常好用，具体可以查看他的网站。\n2. 大部分没有使用缩写形式的参数，例如我使用 `--request` 而不是 `-X` ，这是为了好记忆。\n\n下面开始简单介绍几个命令：\n\n**get**\n\n> * curl protocol://address:port/url?args\n\n直接以个 GET 方式请求一个 url，输出返回内容：\n\n``` sh\ncurl httpbin.org\n```\n\n返回\n``` html\n\n\n\n \n \n httpbin(1): HTTP Client Testing Service\n \n \n \n

hello Bootstrap

\n \n\n```\n\n# django 登陆\n\n## flow chart\n```\n +---------+ +---------+ +------------+\n | url.py |----->| view.py |------>| templates |\n | (Login) | | (Login) | | login.html |\n +---------+ +---------+ +------------+\n\n 在登陆页输入账号密码后，通过认证函数进行认证，如果认证通过跳转到主页，否则重新登陆\n```\n\n## detailed\nurl.py\n```\n url('^$','strap.view.LogIn'),\n url('^login/$','strap.view.LogIn'), //login\n url('^index/$','strap.view.account_auth'), //authentication\n url('^showDashboard/$','strap.view.show'), //Go to the home page\n\n```\nview.py\n```\n from django.http import HttpResponseRedirect, HttpResponse\n from django.shortcuts import render_to_response, render\n from django.contrib import auth\n import datetime\n def index(request):\n now = datetime.datetime.now()\n return render(request,'index.html')\n\n def LogIn(request):\n if request.user is not None:\n logout_view(request)\n return render(request,'login.html')\n\n def logout_view(request):\n user = request.user\n auth.logout(request)\n # Redirect to a success page.\n return HttpResponse(\"%s logged out!\" % user)\n\n def account_auth(request):\n username = request.POST.get('username')\n password = request.POST.get('password')\n tri_user = auth.authenticate(username=username,password=password)\n if tri_user is not None:\n auth.login(request,tri_user)\n return HttpResponseRedirect('/showDashboard')\n else:\n return render_to_response('login.html',{'login_err':'Wrong username or password!'})\n\n def show(request):\n return render(request,'index.html')\n\n```\ntemplates\n```\n \n \n \n \n \n\n Admin\n \n \n\n \n \n \n \n\n \n \n \n \n \n \n \n \n \n \n\n \n \n \n \n \n\n \n \n \n \n\n \n \n \n\n \n
\n
\n
\n
\n
\n
\n\n
\n
\n

Login

\n
\n\n
\n
\n
\n
\n \n
\n
\n
\n
\n \n
\n
\n
\n \n
\n
\n
\n
\n
\n
\n
\n \n \n\n \n \n \n```\n## django admin 密码重置\n\n```\npython manage.py shell\n\n\n然后获取你的用户名，并且重设密码：\nfrom django.contrib.auth.models import User\nuser = User.objects.get(username='admin')\nuser.set_password('new_password')\nuser.save()\n```\n这样就可以使用新密码进行登陆了\n\n\n# django 输出到固定日志\n\n## 将 log 封装成一个单独的 app\n```\n[root@Linux mysite]# django-admin.py startapp log\n[root@Linux mysite]# cd log\n[root@Linux log]# ls\n__init__.py models.py tests.py views.py\n```\n\n## 编写 log 程序\n```\ncurl -o BLog.py https://raw.githubusercontent.com/meetbill/MyPythonLib/master/log_utils/BLog/BLog.py\n```\n## 在本项目其他应用中的 view.py 中调用 BLog\n```\nfrom django.shortcuts import render,render_to_response\n\nfrom log.BLog import Log\n# 是否在终端显示\ndebug=True\n# 日志文件\nlogpath = \"/tmp/test.log\"\n# 设置日志文件为 5Mb 时进行轮转，并且最多只保留个日志\nlogger = Log(logpath,level=\"debug\",is_console=debug, mbs=5, count=5)\n\n\ndef face(request):\n logstr=\"########\"\n logger.error(logstr)\n logger.info(logstr)\n logger.warn(logstr)\n return render_to_response('register.html',{})\n```\n## 测试\n\n当在 view.py 中设置了终端显示时\n\n![Screenshot](./../../images/django/BLog.jpg)\n\n注：如果修改前 django 项目是运行的，那么当我们在程序中加入导入模块的程序时，需要重启下 django 应用，如果我们修改的程序不涉及导入模块部分，则不需要重启应用\n\n# django FAQ\ndjango\n(1)Django 表单提交出现 CSRF verification failed. Request aborted\n```\n 由于我们创建一个 POST 表单（它具有修改数据的作用），所以我们需要小心跨站点请求伪造。\n 谢天谢地，你不必太过担心，因为 Django 已经拥有一个用来防御它的非常容易使用的系统。\n 简而言之，所有针对内部 URL 的 POST 表单都应该使用{% csrf_token %}模板标签。\n [templates-form]\n {% csrf_token %}\n\n [View]\n return render_to_response(’polls/detail.html’, {’poll’: p},\n context_instance=RequestContext(request))\n```\n# django 自用开发模板\n\n[pine](https://github.com/meetbill/pine)\n" }, { "path": "doc/web/nginx.md", "content": "# nginx\n\n\n\n* [功能](#功能)\n* [安装](#安装)\n * [安装依赖](#安装依赖)\n * [下载](#下载)\n * [编译安装](#编译安装)\n* [nginx 服务架构](#nginx-服务架构)\n * [模块化结构](#模块化结构)\n * [模块化开发](#模块化开发)\n * [nginx 的模块化结构](#nginx-的模块化结构)\n * [nginx 的模块清单](#nginx-的模块清单)\n * [nginx 的 web 请求处理机制](#nginx-的-web-请求处理机制)\n* [nginx 配置文件实例](#nginx-配置文件实例)\n* [nginx 服务器基础配置指令](#nginx-服务器基础配置指令)\n * [nginx.conf 文件的结构](#nginxconf-文件的结构)\n * [nginx 运行相关的 Global 部分](#nginx-运行相关的-global-部分)\n * [配置运行 nginx 服务器用户](#配置运行-nginx-服务器用户)\n * [配置允许生成的 worker process 数](#配置允许生成的-worker-process-数)\n * [配置 nginx 进程 PID 存放路径](#配置-nginx-进程-pid-存放路径)\n * [配置错误日志的存放路径](#配置错误日志的存放路径)\n * [配置文件的引入](#配置文件的引入)\n * [与用户的网络连接相关的 events](#与用户的网络连接相关的-events)\n * [设置网络连接的序列化](#设置网络连接的序列化)\n * [设置是否允许同时接收多个网络连接](#设置是否允许同时接收多个网络连接)\n * [事件驱动模型的选择](#事件驱动模型的选择)\n * [配置最大连接数](#配置最大连接数)\n * [http](#http)\n * [http Global 代理 - 缓存 - 日志 - 第三方模块配置](#http-global-代理---缓存---日志---第三方模块配置)\n * [定义 MIME-Type](#定义-mime-type)\n * [自定义服务日志](#自定义服务日志)\n * [配置允许 sendfile 方式传输文件](#配置允许-sendfile-方式传输文件)\n * [配置连接超时时间](#配置连接超时时间)\n * [单连接请求数上限](#单连接请求数上限)\n * [server](#server)\n * [配置网络监听](#配置网络监听)\n * [基于名称的虚拟主机配置](#基于名称的虚拟主机配置)\n * [配置 https 证书](#配置-https-证书)\n * [基于 IP 的虚拟主机配置](#基于-ip-的虚拟主机配置)\n * [配置 location 块](#配置-location-块)\n * [[root] 配置请求的根目录](#root-配置请求的根目录)\n * [[alias] 更改 location 的 URI](#alias-更改-location-的-uri)\n * [设置网站的默认首页](#设置网站的默认首页)\n * [设置网站的错误页面](#设置网站的错误页面)\n * [基于 IP 配置 nginx 的访问权限](#基于-ip-配置-nginx-的访问权限)\n * [基于密码配置 nginx 的访问权限](#基于密码配置-nginx-的访问权限)\n* [应用](#应用)\n * [架设简单文件服务器](#架设简单文件服务器)\n * [nginx 正向代理](#nginx-正向代理)\n * [nginx 服务器基础配置实例](#nginx-服务器基础配置实例)\n * [测试 myServer1 的访问](#测试-myserver1-的访问)\n * [测试 myServer2 的访问](#测试-myserver2-的访问)\n * [使用缓存](#使用缓存)\n * [使用 location 反向代理到已有网站](#使用-location-反向代理到已有网站)\n * [其他](#其他)\n * [ngx_http_sub_module 替换响应中内容](#ngx_http_sub_module-替换响应中内容)\n * [配置 http 强制跳转 https](#配置-http-强制跳转-https)\n\n\n# 功能\n\n> * 反向代理\n> * 负载均衡\n> * HTTP 服务器（动静分离）\n> * 正向代理\n\n# 安装\n\n## 安装依赖\n\n安装 nginx 之前，确保系统已经安装 gcc、openssl-devel、pcre-devel 和 zlib-devel 软件库\n\n* gcc 可以通过光盘直接选择安装\n* openssl-devel、zlib-devel 可以通过光盘直接选择安装，https 时使用\n* pcre-devel 安装 pcre 库是为了使 nginx 支持 HTTP Rewrite 模块（动静分离涉及此模块）\n\n## 下载\n\n> * [nginx 下载](http://nginx.org/en/download.html)\n> * [pcre](http://www.pcre.org/)\n\n## 编译安装\n\n通过上面的下载页下载最新的稳定版\n\n```\n#wget http://nginx.org/download/nginx-1.8.0.tar.gz\n#tar xzvf nginx-1.8.0.tar.gz\n#cd nginx-1.8.0\n#./configure --prefix=/opt/X_nginx/nginx --with-http_ssl_module\n#make && sudo make install\n```\n> * --prefix=/opt/X_nginx/nginx 安装目录\n> * --with-http_ssl_module 添加 https 支持\n\n> 编译时将 ssl 模块静态编译\n```\n./configure --prefix=/opt/X_nginx/nginx \\\n --with-openssl=../openssl-1.0.2l \\\n --with-zlib=../zlib-1.2.11 \\\n --with-pcre=../pcre-8.41 \\\n --with-http_ssl_module\n```\n> 编译时添加 auth_request 模块（使用 auth_request 模块实现 nginx 端认证及鉴权控制）\n\n```\n./configure --with-pcre=../pcre-8.43 --with-http_auth_request_module\n```\n\n# nginx 服务架构\n\n## 模块化结构\n\n> nginx 服务器的开发`完全`遵循模块化设计思想\n\n### 模块化开发\n\n1. 单一职责原则，一个模块只负责一个功能\n2. 将程序分解，自顶向下，逐步求精\n3. 高内聚，低耦合\n\n### nginx 的模块化结构\n\n+ 核心模块：nginx 最基本最核心的服务，如进程管理、权限控制、日志记录；\n+ 标准 HTTP 模块：nginx 服务器的标准 HTTP 功能；\n+ 可选 HTTP 模块：处理特殊的 HTTP 请求\n+ 邮件服务模块：邮件服务\n+ 第三方模块：作为扩展，完成特殊功能\n\n## nginx 的模块清单\n\n+ 核心模块\n - ngx_core\n - ngx_errlog\n - ngx_conf\n - ngx_events\n - ngx_event_core\n - ngx_epll\n - ngx_regex\n\n+ 标准 HTTP 模块\n - ngx_http\n - ngx_http_core #配置端口，URI 分析，服务器相应错误处理，别名控制 (alias) 等\n - ngx_http_log #自定义 access 日志\n - ngx_http_upstream #定义一组服务器，可以接受来自 proxy, Fastcgi,Memcache 的重定向；主要用作负载均衡\n - ngx_http_static\n - ngx_http_autoindex #自动生成目录列表\n - ngx_http_index #处理以`/`结尾的请求，如果没有找到 index 页，则看是否开启了`random_index`；如开启，则用之，否则用 autoindex\n - ngx_http_auth_basic #基于 http 的身份认证 (auth_basic)\n - ngx_http_access #基于 IP 地址的访问控制 (deny,allow)\n - ngx_http_limit_conn #限制来自客户端的连接的响应和处理速率\n - ngx_http_limit_req #限制来自客户端的请求的响应和处理速率\n - ngx_http_geo\n - ngx_http_map #创建任意的键值对变量\n - ngx_http_split_clients\n - ngx_http_referer #过滤 HTTP 头中 Referer 为空的对象\n - ngx_http_rewrite #通过正则表达式重定向请求\n - ngx_http_proxy\n - ngx_http_fastcgi #支持 fastcgi\n - ngx_http_uwsgi\n - ngx_http_scgi\n - ngx_http_memcached\n - ngx_http_empty_gif #从内存创建一个 1×1 的透明 gif 图片，可以快速调用\n - ngx_http_browser #解析 http 请求头部的 User-Agent 值\n - ngx_http_charset #指定网页编码\n - ngx_http_upstream_ip_hash\n - ngx_http_upstream_least_conn\n - ngx_http_upstream_keepalive\n - ngx_http_write_filter\n - ngx_http_header_filter\n - ngx_http_chunked_filter\n - ngx_http_range_header\n - ngx_http_gzip_filter\n - ngx_http_postpone_filter\n - ngx_http_ssi_filter\n - ngx_http_charset_filter\n - ngx_http_userid_filter\n - ngx_http_headers_filter #设置 http 响应头\n - ngx_http_copy_filter\n - ngx_http_range_body_filter\n - ngx_http_not_modified_filter\n\n+ 可选 HTTP 模块\n - ngx_http_addition #在响应请求的页面开始或者结尾添加文本信息\n - ngx_http_degradation #在低内存的情况下允许服务器返回 444 或者 204 错误\n - ngx_http_perl\n - ngx_http_flv #支持将 Flash 多媒体信息按照流文件传输，可以根据客户端指定的开始位置返回 Flash\n - ngx_http_geoip #支持解析基于 GeoIP 数据库的客户端请求\n - ngx_google_perftools\n - ngx_http_gzip #gzip 压缩请求的响应\n - ngx_http_gzip_static #搜索并使用预压缩的以.gz 为后缀的文件代替一般文件响应客户端请求\n - ngx_http_image_filter #支持改变 png，jpeg，gif 图片的尺寸和旋转方向\n - ngx_http_mp4 #支持.mp4,.m4v,.m4a 等多媒体信息按照流文件传输，常与 ngx_http_flv 一起使用\n - ngx_http_random_index #当收到 / 结尾的请求时，在指定目录下随机选择一个文件作为 index\n - ngx_http_secure_link #支持对请求链接的有效性检查\n - ngx_http_ssl #支持 https\n - ngx_http_stub_status\n - ngx_http_sub_module #使用指定的字符串替换响应中的信息\n - ngx_http_dav #支持 HTTP 和 WebDAV 协议中的 PUT/DELETE/MKCOL/COPY/MOVE 方法\n - ngx_http_xslt #将 XML 响应信息使用 XSLT 进行转换\n\n+ 邮件服务模块\n - ngx_mail_core\n - ngx_mail_pop3\n - ngx_mail_imap\n - ngx_mail_smtp\n - ngx_mail_auth_http\n - ngx_mail_proxy\n - ngx_mail_ssl\n\n+ 第三方模块\n - echo-nginx-module #支持在 nginx 配置文件中使用 echo/sleep/time/exec 等类 Shell 命令\n - memc-nginx-module\n - rds-json-nginx-module #使 nginx 支持 json 数据的处理\n - lua-nginx-module\n\n## nginx 的 web 请求处理机制\n\n作为服务器软件，必须具备并行处理多个客户端的请求的能力， 工作方式主要以下 3 种：\n\n+ 多进程 (Apache)\n - 优点：设计和实现简单；子进程独立\n - 缺点：生成一个子进程要内存复制，在资源和时间上造成额外开销\n+ 多线程 (IIS)\n - 优点：开销小\n - 缺点：开发者自己要对内存进行管理；线程之间会相互影响\n+ 异步方式 (nginx)\n\n经常说道异步非阻塞这个概念， 包含两层含义：\n\n通信模式：\n + 同步：发送方发送完请求后，等待并接受对方的回应后，再发送下个请求\n + 异步：发送方发送完请求后，不必等待，直接发送下个请求\n\n# nginx 配置文件实例\n\n```\n#定义 nginx 运行的用户和用户组\nuser www www;\n\n#nginx 进程数，建议设置为等于 CPU 总核心数。\nworker_processes 8;\n\n#nginx 默认没有开启利用多核 CPU, 通过增加 worker_cpu_affinity 配置参数来充分利用多核 CPU 以下是 8 核的配置参数\nworker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;\n\n#全局错误日志定义类型，[ debug | info | notice | warn | error | crit ]\nerror_log /var/log/nginx/error.log info;\n\n#进程文件\npid /var/run/nginx.pid;\n\n#一个 nginx 进程打开的最多文件描述符数目，理论值应该是最多打开文件数（系统的值 ulimit -n）与 nginx 进程数相除，但是 nginx 分配请求并不均匀，所以建议与 ulimit -n 的值保持一致。\nworker_rlimit_nofile 65535;\n\n#工作模式与连接数上限\nevents\n{\n #参考事件模型，use [ kqueue | rtsig | epoll | /dev/poll | select | poll ]; epoll 模型是 Linux 2.6 以上版本内核中的高性能网络 I/O 模型，如果跑在 FreeBSD 上面，就用 kqueue 模型。\n #epoll 是多路复用 IO(I/O Multiplexing) 中的一种方式，但是仅用于 linux2.6 以上内核，可以大大提高 nginx 的性能\n use epoll;\n\n ############################################################################\n #单个后台 worker process 进程的最大并发链接数\n #事件模块指令，定义 nginx 每个进程最大连接数，默认 1024。最大客户连接数由 worker_processes 和 worker_connections 决定\n #即 max_client=worker_processes*worker_connections, 在作为反向代理时：max_client=worker_processes*worker_connections / 4\n worker_connections 65535;\n ############################################################################\n}\n\n#设定 http 服务器\nhttp {\n include mime.types; #文件扩展名与文件类型映射表\n default_type application/octet-stream; #默认文件类型\n #charset utf-8; #默认编码\n\n server_names_hash_bucket_size 128; #服务器名字的 hash 表大小\n client_header_buffer_size 32k; #上传文件大小限制\n large_client_header_buffers 4 64k; #设定请求缓\n client_max_body_size 8m; #设定请求缓\n sendfile on; #开启高效文件传输模式，sendfile 指令指定 nginx 是否调用 sendfile 函数来输出文件，对于普通应用设为 on，如果用来进行下载等应用磁盘 IO 重负载应用，可设置为 off，以平衡磁盘与网络 I/O 处理速度，降低系统的负载。注意：如果图片显示不正常把这个改成 off。\n autoindex on; #开启目录列表访问，合适下载服务器，默认关闭。\n tcp_nopush on; #防止网络阻塞\n tcp_nodelay on; #防止网络阻塞\n\n ##连接客户端超时时间各种参数设置##\n keepalive_timeout 120; #单位是秒，客户端连接时时间，超时之后服务器端自动关闭该连接 如果 nginx 守护进程在这个等待的时间里，一直没有收到浏览发过来 http 请求，则关闭这个 http 连接\n client_header_timeout 10; #客户端请求头的超时时间\n client_body_timeout 10; #客户端请求主体超时时间\n reset_timedout_connection on; #告诉 nginx 关闭不响应的客户端连接。这将会释放那个客户端所占有的内存空间\n send_timeout 10; #客户端响应超时时间，在两次客户端读取操作之间。如果在这段时间内，客户端没有读取任何数据，nginx 就会关闭连接\n ################################\n\n #FastCGI 相关参数是为了改善网站的性能：减少资源占用，提高访问速度。下面参数看字面意思都能理解。\n fastcgi_connect_timeout 300;\n fastcgi_send_timeout 300;\n fastcgi_read_timeout 300;\n fastcgi_buffer_size 64k;\n fastcgi_buffers 4 64k;\n fastcgi_busy_buffers_size 128k;\n fastcgi_temp_file_write_size 128k;\n\n ###作为代理缓存服务器设置#######\n ###先写到 temp 再移动到 cache\n #proxy_cache_path /var/tmp/nginx/proxy_cache levels=1:2 keys_zone=cache_one:512m inactive=10m max_size=64m;\n ###以上 proxy_temp 和 proxy_cache 需要在同一个分区中\n ###levels=1:2 表示缓存级别，表示缓存目录的第一级目录是 1 个字符，第二级目录是 2 个字符 keys_zone=cache_one:128m 缓存空间起名为 cache_one 大小为 512m\n ###max_size=64m 表示单个文件超过 128m 就不缓存了 inactive=10m 表示缓存的数据，10 分钟内没有被访问过就删除\n #########end####################\n\n #####对传输文件压缩###########\n #gzip 模块设置\n gzip on; #开启 gzip 压缩输出\n gzip_min_length 1k; #最小压缩文件大小\n gzip_buffers 4 16k; #压缩缓冲区\n gzip_http_version 1.0; #压缩版本（默认 1.1，前端如果是 squid2.5 请使用 1.0）\n gzip_comp_level 2; #压缩等级，gzip 压缩比，1 为最小，处理最快；9 为压缩比最大，处理最慢，传输速度最快，也最消耗 CPU；\n gzip_types text/plain application/x-javascript text/css application/xml;\n #压缩类型，默认就已经包含 text/html，所以下面就不用再写了，写上去也不会有问题，但是会有一个 warn。\n gzip_vary on;\n ##############################\n\n #limit_zone crawler $binary_remote_addr 10m; #开启限制 IP 连接数的时候需要使用\n\n upstream blog.ha97.com {\n #upstream 的负载均衡，weight 是权重，可以根据机器配置定义权重。weigth 参数表示权值，权值越高被分配到的几率越大。\n server 192.168.80.121:80 weight=3;\n server 192.168.80.122:80 weight=2;\n server 192.168.80.123:80 weight=3;\n }\n\n #虚拟主机的配置\n server {\n #监听端口\n listen 80;\n\n #############https##################\n #listen 443 ssl;\n #ssl_certificate /opt/https/xxxxxx.crt;\n #ssl_certificate_key /opt/https/xxxxxx.key;\n #ssl_protocols SSLv3 TLSv1;\n #ssl_ciphers HIGH:!ADH:!EXPORT57:RC4+RSA:+MEDIUM;\n #ssl_prefer_server_ciphers on;\n #ssl_session_cache shared:SSL:2m;\n #ssl_session_timeout 5m;\n ####################################end\n\n #域名可以有多个，用空格隔开\n server_name www.ha97.com ha97.com;\n index index.html index.htm index.php;\n root /data/www/ha97;\n location ~ .*.(php|php5)?$ {\n fastcgi_pass 127.0.0.1:9000;\n fastcgi_index index.php;\n include fastcgi.conf;\n }\n\n #图片缓存时间设置\n location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$ {\n expires 10d;\n }\n\n #JS 和 CSS 缓存时间设置\n location ~ .*.(js|css)?$ {\n expires 1h;\n }\n\n #日志格式设定\n log_format access '$remote_addr - $remote_user [$time_local] \"$request\" ' '$status $body_bytes_sent \"$http_referer\" ' '\"$http_user_agent\" $http_x_forwarded_for';\n\n #定义本虚拟主机的访问日志\n access_log /var/log/nginx/ha97access.log access;\n\n #对 \"/\" 启用反向代理\n location / {\n proxy_pass http://127.0.0.1:88;\n proxy_redirect off;\n proxy_set_header Host $host:$server_port; # 后端获取到客户端访问的实际地址\n proxy_set_header X-Real-IP $remote_addr; # 后端的 Web 服务器可以通过 HTTP_X_REAL_IP 获取上一级 IP\n proxy_set_header X-Real-PORT $remote_port;\n # 后端的 Web 服务器可以通过 X-Forwarded-For 获取用户真实 IP，X-Forwarded-For 显示所有经过路径的 ip\n proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;\n #以下是一些反向代理的配置，可选。\n proxy_set_header Host $host;\n client_max_body_size 10m; # 允许客户端请求的最大单文件字节数\n client_body_buffer_size 128k; # 缓冲区代理缓冲用户端请求的最大字节数，\n\n ##代理设置 以下设置是 nginx 和后端服务器之间通讯的设置##\n proxy_connect_timeout 90; # nginx 跟后端服务器连接超时时间（代理连接超时）\n proxy_send_timeout 90; # 后端服务器数据回传时间（代理发送超时）\n proxy_read_timeout 90; # 连接成功后，后端服务器响应时间（代理接收超时）\n proxy_buffering on; # 该指令开启从后端被代理服务器的响应内容缓冲 此参数开启后 proxy_buffers 和 proxy_busy_buffers_size 参数才会起作用\n proxy_buffer_size 4k; # 设置代理服务器（nginx）保存用户头信息的缓冲区大小\n proxy_buffers 4 32k; # proxy_buffers 缓冲区，网页平均在 32k 以下的设置\n proxy_busy_buffers_size 64k; # 高负荷下缓冲大小（proxy_buffers*2）\n proxy_max_temp_file_size 2048m; # 默认 1024m, 该指令用于设置当网页内容大于 proxy_buffers 时，临时文件大小的最大值。如果文件大于这个值，它将从 upstream 服务器同步地传递请求，而不是缓冲到磁盘\n proxy_temp_file_write_size 512k; # 这是当被代理服务器的响应过大时 nginx 一次性写入临时文件的数据量。\n proxy_temp_path /var/tmp/nginx/proxy_temp; # 定义缓冲存储目录，之前必须要先手动创建此目录\n proxy_headers_hash_max_size 51200;\n proxy_headers_hash_bucket_size 6400;\n #######################################################\n }\n\n #设定查看 nginx 状态的地址\n location /nginxStatus {\n stub_status on;\n access_log on;\n auth_basic \"nginxStatus\";\n auth_basic_user_file conf/htpasswd;\n #htpasswd 文件的内容可以用 apache 提供的 htpasswd 工具来产生。\n }\n\n #本地动静分离反向代理配置\n #所有 jsp 的页面均交由 tomcat 或 resin 处理\n location ~ .(jsp|jspx|do)?$ {\n proxy_set_header Host $host:$server_port;\n proxy_set_header X-Real-IP $remote_addr;\n proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;\n proxy_pass http://127.0.0.1:8080;\n }\n\n #所有静态文件由 nginx 直接读取不经过 tomcat 或 resin\n location ~ .*.(htm|html|gif|jpg|jpeg|png|bmp|swf|ioc|rar|zip|txt|flv|mid|doc|ppt|pdf|xls|mp3|wma)$\n { expires 15d; }\n\n location ~ .*.(js|css)?$\n { expires 1h; }\n }\n}\n```\n\n# nginx 服务器基础配置指令\n\n## nginx.conf 文件的结构\n\n+ Global: nginx 运行相关\n+ events: 与用户的网络连接相关\n+ http\n + http Global: 代理，缓存，日志，以及第三方模块的配置\n + server\n + server Global: 虚拟主机相关\n + location: 地址定向，数据缓存，应答控制，以及第三方模块的配置\n\n> 所有的所有的所有的指令，都要以`;`结尾\n\n## nginx 运行相关的 Global 部分\n\n### 配置运行 nginx 服务器用户\n\nuser nobody nobody;\n\n### 配置允许生成的 worker process 数\n\nworker_processes auto;\nworker_processes 4;\n\n> 这个数字，跟电脑 CPU 核数要保持一致\n\n```\n# grep ^proces /proc/cpuinfo\nprocessor : 0\nprocessor : 1\nprocessor : 2\nprocessor : 3\n# grep ^proces /proc/cpuinfo | wc -l\n4\n```\n\n### 配置 nginx 进程 PID 存放路径\n\npid logs/nginx.pid;\n\n> 这里面保存的就是一个数字，nginx master 进程的进程号\n\n### 配置错误日志的存放路径\n\nerror_log logs/error.log;\nerror_log logs/error.log error;\n\n### 配置文件的引入\n\ninclude mime.types;\ninclude fastcgi_params;\ninclude ../../conf/*.conf;\n\n## 与用户的网络连接相关的 events\n\n### 设置网络连接的序列化\n\naccept_mutex on;\n\n> 对多个 nginx 进程接收连接进行序列化，防止多个进程对连接的争抢（惊群）\n\n### 设置是否允许同时接收多个网络连接\n\nmulti_accept off;\n\n### 事件驱动模型的选择\n\nuse select|poll|kqueue|epoll|rtsig|/dev/poll|eventport\n\n> 这个重点，后面再看\n\n### 配置最大连接数\n\nworker_connections 512;\n\n## http\n\n### http Global 代理 - 缓存 - 日志 - 第三方模块配置\n\n#### 定义 MIME-Type\n\ninclude mime.types;\ndefault_type application/octet-stream;\n\n#### 自定义服务日志\n\naccess_log logs/access.log main;\naccess_log off;\n\n#### 配置允许 sendfile 方式传输文件\n\nsendfile off;\n\nsendfile on;\nsendfile_max_chunk 128k;\n\n> nginx 每个 worker process 每次调用 sendfile() 传输的数据量的最大值\n\nRefer:\n\n+ [Linux kenel sendfile 如何提升性能](http://www.vpsee.com/2009/07/linux-sendfile-improve-performance/)\n+ [nginx sendifle tcp_nopush tcp_nodelay 参数解释](http://blog.csdn.net/zmj_88888888/article/details/9169227)\n\n#### 配置连接超时时间\n\n> 与用户建立连接后，nginx 可以保持这些连接一段时间，默认 75s\n> 下面的 65s 可以被 Mozilla/Konqueror 识别，是发给用户端的头部信息`Keep-Alive`值\n\nkeepalive_timeout 75s 65s;\n\n#### 单连接请求数上限\n\n> 和用户端建立连接后，用户通过此连接发送请求；这条指令用于设置请求的上限数\n\nkeepalive_requests 100;\n\n### server\n\n#### 配置网络监听\n\nlisten *:80 | *:8000; # 监听所有的 80 和 8000 端口\n\nlisten 192.168.1.10:8000;\nlisten 192.168.1.10;\nlisten 8000; # 等同于 listen *:8000;\nlisten 192.168.1.10 default_server backlog=511; # 该 ip 的连接请求默认由此虚拟主机处理；最多允许 1024 个网络连接同时处于挂起状态\n\n#### 基于名称的虚拟主机配置\n\nserver_name myserver.com www.myserver.com;\n\nserver_name *.myserver.com www.myserver.* myserver2.*; # 使用通配符\n\n> 不允许的情况： server_name www.ab*d.com; # `*`只允许出现在 www 和 com 的位置\n\nserver_name ~^www\\d+\\.myserver\\.com$; # 使用正则\n\n> nginx 的配置中，可以用正则的地方，都以`~`开头\n\n> from nginx~0.7.40 开始，server_name 中的正则支持 字符串捕获功能（capture）\n\nserver_name ~^www\\.(.+)\\.com$; # 当请求通过 www.myserver.com 请求时， myserver 就被记录到`$1`中，在本 server 的上下文中就可以使用\n\n如果一个名称 被多个虚拟主机的 server_name 匹配成功，那这个请求到底交给谁处理呢？看优先级：\n\n1. 准确匹配到 server_name\n2. 通配符在开始时匹配到 server_name\n3. 通配符在结尾时匹配到 server_name\n4. 正则表达式匹配 server_name\n5. 先到先得\n\n\n#### 配置 https 证书\n\n**原理**\n\nhttps 是在 http 和 TCP 中间加上一层加密层\n\n> * 浏览器向服务端发送消息时：本质上是浏览器（客户端）使用服务端的公钥来加密信息，服务端使用自己的私钥解密，\n> * 浏览器从服务端获取消息是：服务端使用自己私钥加密，浏览器（客户端）使用服务端的公钥来解密信息\n\n在这个过程中，需要保证服务端给浏览器的公钥不是假冒的。证明服务端公钥信息的机构是 CA（数字认证中心）\n\n可以理解为：如果想证明一个人的身份是真的，就得证明这个人的身份证是真的\n\n**数字证书**\n```\n数字证书相当于物理世界中的身份证，\n在网络中传递信息的双方互相不能见面，利用数字证书可确认双方身份，而不是他人冒充的。\n这个数字证书由信任的第三方，即认证中心使用自己的私钥对 A 的公钥加密，加密后文件就是网络上的身份证了，即数字证书\n```\n\n大致可以理解为如下\n\n```\n1. 服务端将自己的公钥和其他信息（服务端数字证书），请求数字认证中心签名，数字认证中心使用自己的私钥在证书里加密（只有数字认证中心的公钥才能解开）\n2. 服务端将自己的证书（证书里面包括服务端的公钥）给浏览器\n3. 浏览器的“证书管理器”中有“受信任的根证书颁发机构”列表，客户端在接收到响应后，会在这个列表里查看是否存在解开该服务器数字证书的公钥。有两种错误情况：如果公钥在这个列表里，但是解码后的内容不匹配，说明证书被冒用；如果公钥不在这个列表里，说明这张证书不是受信任的机构所颁发，他的真实性无法确定\n4. 如果一切都没问题，浏览器就可以使用服务器的公钥对信息内容进行加密，然后与服务器交换信息（已加密）\n\n+--------------+ +------------------+\n| 服务端 |---------->| 数字认证中心 (CA) |\n+------+-------+ 1 X +------------------+\n | / /\n | / /\n | / /\n | / /\n |2 3 / / 4\n | / /\n | / /\n | / /\n X / /\n+--------------+ /\n| 浏览器 |X\n+--------------+\n\n只要证书（证书里有服务端的公钥）是可信的，公钥就是可信的。\n```\n**证书格式**\n\nLinux 下的工具们通常使用 base64 编码的文本格式，相关常用后缀如下\n\n* 证书\n * .crt\n * .pem\n * .cer(IIS 等一些平台下，则习惯用 cer 作为证书文件的扩展名，二进制证书）\n* 私钥：.key\n* 证书请求：.csr\n* 其他\n * .keystore java 密钥库（包括证书和私钥）\n\n**制作证书**\n\n```\n1. 生成服务器端的私钥 (key 文件）\n$openssl genrsa -out server.key 1024\n\n2. 生成服务器端证书签名请求文件 (csr 文件）;\n$ openssl req -new -key server.key -out server.csr\n\n...\nCountry Name:CN------------ 证书持有者所在国家\nState or Province Name:BJ-- 证书持有者所在州或省份（可省略不填）\nLocality Name:BJ----------- 证书持有者所在城市（可省略不填）\nOrganization Name:SC------- 证书持有者所属组织或公司\nOrganizational Unit Name:.- 证书持有者所属部门（可省略不填）\nCommon Name :ceshi.com----- 域名\nEmail Address:------------- 邮箱（可省略不填）\n\nA challenge password:------ 直接回车\nAn optional company name:-- 直接回车\n\n\n3. 生成证书文件 (crt 文件）\n$ openssl x509 -req -days 1000 -in server.csr -signkey server.key -out server.crt\n```\n以上生成 server.crt server.key 文件即是用于 HTTPS 配置的证书和 key\n\n如果想查看证书里面的内容，可以通过 $openssl x509 -in server.crt -text -noout 查看\n\n**配置 nginx**\n\n在 nginx 的 server 区域内添加如下\n\n```\nlisten 443 ssl;\nssl_certificate /opt/https/server.crt;\nssl_certificate_key /opt/https/server.key;\nssl_protocols SSLv3 TLSv1;\nssl_ciphers HIGH:!ADH:!EXPORT57:RC4+RSA:+MEDIUM;\nssl_prefer_server_ciphers on;\nssl_session_cache shared:SSL:2m;\nssl_session_timeout 5m;\n```\n\n#### 基于 IP 的虚拟主机配置\n\n> 基于 IP 的虚拟主机，需要将网卡设置为同时能够监听多个 IP 地址\n\n```\nifconfig\n# 查看到本机 IP 地址为 192.168.1.30\nifconfig eth1:0 192.168.1.31 netmask 255.255.255.0 up\nifconfig eth1:1 192.168.1.32 netmask 255.255.255.0 up\nifconfig\n# 这时就看到 eth1 增加来 2 个别名， eth1:0 eth1:1\n\n# 如果需要机器重启后仍保持这两个虚拟的 IP\necho \"ifconfig eth1:0 192.168.1.31 netmask 255.255.255.0 up\" >> /etc/rc.local\necho \"ifconfig eth1:0 192.168.1.32 netmask 255.255.255.0 up\" >> /etc/rc.local\n```\n\n再来配置基于 IP 的虚拟主机\n\n```\nhttp {\n ...\n server {\n listen 80;\n server_name 192.168.1.31;\n ...\n }\n server {\n listen 80;\n server_name 192.168.1.32;\n ...\n }\n}\n```\n\n#### 配置 location 块\n\n> location 块的配置，应该是最常用的了\n\nlocation [ = | ~ | ~* | ^~ ] uri {...}\n\n这里内容分 2 块，匹配方式和 uri， 其中 uri 又分为 标准 uri 和正则 uri\n\n先不考虑 那 4 种匹配方式\n\n1. nginx 首先会再 server 块的多个 location 中搜索是否有`标准 uri`和请求字符串匹配， 如果有，记录匹配度最高的一个；\n2. 然后，再用 location 块中的`正则 uri`和请求字符串匹配， 当第一个`正则 uri`匹配成功，即停止搜索， 并使用该 location 块处理请求；\n3. 如果，所有的`正则 uri`都匹配失败，就使用刚记录下的匹配度最高的一个`标准 uri`处理请求\n4. 如果都失败了，那就失败喽\n\n再看 4 种匹配方式：\n\n+ `=`: 用于`标准 uri`前，要求请求字符串与其严格匹配，成功则立即处理\n+ `^~`: 用于`标准 uri`前，并要求一旦匹配到，立即处理，不再去匹配其他的那些个`正则 uri`\n+ `~`: 用于`正则 uri`前，表示 uri 包含正则表达式， 并区分大小写\n+ `~*`: 用于`正则 uri`前， 表示 uri 包含正则表达式， 不区分大小写\n\n> `^~` 也是支持浏览器编码过的 URI 的匹配的哦， 如 `/html/%20/data` 可以成功匹配 `/html/ /data`\n\n#### [root] 配置请求的根目录\n\nWeb 服务器收到请求后，首先要在服务端指定的目录中寻找请求资源\n\n```\nroot /var/www;\n```\n**root 后跟的指定目录是上级目录**\n\n该上级目录下要含有和 location 后指定名称的同名目录才行，末尾“/”加不加无所谓\n```\nlocation /c/ {\n root /a/\n}\n```\n访问站点 http://location/c 访问的就是 /a/c 目录下的站点信息。\n\n#### [alias] 更改 location 的 URI\n\n除了使用 root 指明处理请求的根目录，还可以使用 alias 改变 location 收到的 URI 的请求路径\n\n```\nlocation ~ ^/data/(.+\\.(htm|html))$ {\n alias /locatinotest1/other/$1;\n}\n```\n**alias 后跟的指定目录是准确的，并且末尾必须加“/”，否则找不到文件**\n\n```\nlocation /c/ {\n alias /a/\n}\n```\n访问站点 http://location/c 访问的就是 /a/ 目录下的站点信息。\n\n【注】一般情况下，在 location / 中配置 root，在 location /other 中配置 alias 是一个好习惯。\n\n#### 设置网站的默认首页\n\nindex 指令主要有 2 个作用：\n\n+ 对请求地址没有指明首页的，指定默认首页\n+ 对一个请求，根据请求内容而设置不同的首页，如下：\n\n```\nlocation ~ ^/data/(.+)/web/$ {\n index index.$1.html index.htm;\n}\n```\n#### 设置网站的错误页面\n\nerror_page 404 /404.html;\nerror_page 403 /forbidden.html;\nerror_page 404 =301 /404.html;\n\n```\nlocation /404.html {\n root /myserver/errorpages/;\n}\n```\n\n#### 基于 IP 配置 nginx 的访问权限\n\n```\nlocation / {\n deny 192.168.1.1;\n allow 192.168.1.0/24;\n allow 192.168.1.2/24;\n deny all;\n}\n```\n> 从 192.168.1.0 的用户时可以访问的，因为解析到 allow 那一行之后就停止解析了\n\n#### 基于密码配置 nginx 的访问权限\n\nauth_basic \"please login\";\nauth_basic_user_file /etc/nginx/conf/pass_file;\n\n> 这里的 file 必须使用绝对路径，使用相对路径无效\n\n```\n# /usr/local/apache2/bin/htpasswd -c -d pass_file user_name\n# 回车输入密码，-c 表示生成文件，-d 是以 crypt 加密。\n\nname1:password1\nname2:password2:comment\n```\n\n> 经过 basic auth 认证之后没有过期时间，直到该页面关闭；\n> 如果需要更多的控制，可以使用 HttpAuthDigestModule http://wiki.nginx.org/HttpAuthDigestModule\n\n\n# 应用\n## 架设简单文件服务器\n\n将 /data/public/ 目录下的文件通过 nginx 提供给外部访问\n```\n#mkdir /data/public/\n#chmod 777 /data/public/\n```\n```\nworker_processes 1;\nerror_log logs/error.log info;\nevents {\n use epoll;\n}\nhttp {\n server {\n # 监听 8080 端口\n listen 8080;\n location /share/ {\n # 打开自动列表功能，通常关闭\n autoindex on;\n # 将 /share/ 路径映射至 /data/public/，请保证 nginx 进程有权限访问 /data/public/\n alias /data/public/;\n }\n }\n}\n```\n\n## nginx 正向代理\n\n - 正向代理指代理客户端访问服务器的一个中介服务器，代理的对象是客户端。正向代理就是代理服务器替客户端去访问目标服务器\n - 反向代理指代理后端服务器响应客户端请求的一个中介服务器，代理的对象是服务器。\n\n1. 配置\n\n代理服务器配置\n\nnginx.conf\n\n```\nserver{\n resolver x.x.x.x;\n# resolver 8.8.8.8;\n listen 82;\n location / {\n proxy_pass http://$http_host$request_uri;\n }\n access_log /data/httplogs/proxy-$host-aceess.log;\n}\n```\n\nlocation 保持原样即可，根据自己的配置更改 listen port 和 dnf 即 resolver\n验证：\n在需要访问外网的机器上执行以下操作之一即可：\n\n```\n1. export http_proxy=http://yourproxyaddress：proxyport（建议）\n2. vim ~/.bashrc\n export http_proxy=http://yourproxyaddress：proxyport\n```\n\n2 不足\nnginx 不支持 CONNECT 方法，不像我们平时用的 GET 或者 POST，可以选用 apache 或 squid 作为代替方案。\n\n## nginx 服务器基础配置实例\n\n```\nuser nginx nginx;\n\nworker_processes 3;\n\nerror_log logs/error.log;\npid myweb/nginx.pid;\n\nevents {\n use epoll;\n worker_connections 1024;\n}\n\nhttp {\n include mime.types;\n default_type applicatioin/octet-stream;\n\n sendfile on;\n\n keepalive_timeout 65;\n\n log_format access.log '$remote_addr [$time_local] \"$request\" \"$http_user_agent\"';\n\n server {\n listen 8081;\n server_name myServer1;\n\n access_log myweb/server1/log/access.log;\n error_page 404 /404.html;\n\n location /server1/location1 {\n root myweb;\n index index.svr1-loc1.htm;\n }\n\n location /server1/location2 {\n root myweb;\n index index.svr1-loc2.htm;\n }\n }\n\n server {\n listen 8082;\n server_name 192.168.0.254;\n\n auth_basic \"please Login:\";\n auth_basic_user_file /opt/X_nginx/nginx/myweb/user_passwd;\n\n access_log myweb/server2/log/access.log;\n error_page 404 /404.html;\n\n location /server2/location1 {\n root myweb;\n index index.svr2-loc1.htm;\n }\n\n location /svr2/loc2 {\n alias myweb/server2/location2/;\n index index.svr2-loc2.htm;\n }\n\n location = /404.html {\n root myweb/;\n index 404.html;\n }\n }\n}\n```\n\n```\n#./sbin/nginx -c conf/nginx02.conf\nnginx: [warn] the \"user\" directive makes sense only if the master process runs with super-user privileges, ignored in /opt/X_nginx/nginx/conf/nginx02.conf:1\n.\n├── 404.html\n├── server1\n│   ├── location1\n│   │   └── index.svr1-loc1.htm\n│   ├── location2\n│   │   └── index.svr1-loc2.htm\n│   └── log\n│   └── access.log\n└── server2\n ├── location1\n │   └── index.svr2-loc1.htm\n ├── location2\n │   └── index.svr2-loc2.htm\n └── log\n └── access.log\n\n8 directories, 7 files\n```\n### 测试 myServer1 的访问\n\n```\nhttp://myserver1:8081/server1/location1/\nthis is server1/location1/index.svr1-loc1.htm\n\nhttp://myserver1:8081/server1/location2/\nthis is server1/location1/index.svr1-loc2.htm\n```\n\n### 测试 myServer2 的访问\n```\nhttp://192.168.0.254:8082/server2/location1/\nthis is server2/location1/index.svr2-loc1.htm\n\nhttp://192.168.0.254:8082/svr2/loc2/\nthis is server2/location1/index.svr2-loc2.htm\n\nhttp://192.168.0.254:8082/server2/location2/\n404 404 404 404\n```\n## 使用缓存\n\n创建缓存目录\n\n```\nmkdir /tmp/nginx_proxy_cache2\nchmod 777 /tmp/nginx_proxy_cache2\n```\n\n修改配置文件\n\n```\n# http 区域下添加缓存区配置\nproxy_cache_path /tmp/nginx_proxy_cache2 levels=1 keys_zone=cache_one:512m inactive=60s max_size=1000m;\n\n# server 区域下添加缓存配置\n#缓存相应的文件（静态文件）\nlocation ~ \\.(gif|jpg|png|htm|html|css|js|flv|ico|swf)(.*) {\n proxy_pass http://IP: 端口；#如果没有缓存则通过 proxy_pass 转向请求\n proxy_redirect off;\n proxy_set_header Host $host;\n proxy_cache cache_one;\n proxy_cache_valid 200 302 1h; #对不同的 HTTP 状态码设置不同的缓存时间，h 小时，d 天数\n proxy_cache_valid 301 1d;\n proxy_cache_valid any 1m;\n expires 30d;\n}\n```\n\n## 使用 location 反向代理到已有网站\n\n```\nlocation ~/bianque/(.*)$ {\n proxy_pass http://127.0.0.1:8888/$1/?$args;\n }\n```\n> * 加内置变量 $args 是保障 nginx 正则捕获 get 请求时不丢失，如果只是 post 请求，`$args`是非必须的\n> * `$1` 取自正则表达式部分 () 里的内容\n\n## 其他\n\n### ngx_http_sub_module 替换响应中内容\n\n* ngx_http_sub_module nginx 用来替换响应内容的一个模块（应用：有些程序中写死了端口，可以通过此工具将页面中的端口替换为其他端口）\n\n### 配置 http 强制跳转 https\n\n在 nginx 配置文件中的 server 区域添加如下内容\n```\nif ($scheme = 'http') {\n rewrite ^(.*)$ https://$host$uri;\n}\n```\n" }, { "path": "doc/web/web_base.md", "content": "## web 基础\n\n\n* [1 一次完整的 HTTP 请求所经历的 7 个步骤](#1-一次完整的-http-请求所经历的-7-个步骤)\n* [2 HTTP 报文](#2-http-报文)\n * [2.1 HTTP 请求报文解剖](#21-http-请求报文解剖)\n * [HTTP 请求报文头属性](#http-请求报文头属性)\n * [常见的 HTTP 请求报文头属性](#常见的-http-请求报文头属性)\n * [2.2 HTTP 响应报文解剖](#22-http-响应报文解剖)\n * [响应报文结构](#响应报文结构)\n * [响应状态码](#响应状态码)\n * [常见的 HTTP 响应报文头属性](#常见的-http-响应报文头属性)\n\n\n\n## 1 一次完整的 HTTP 请求所经历的 7 个步骤\n\nHTTP 通信机制是在一次完整的 HTTP 通信过程中，Web 浏览器与 Web 服务器之间将完成下列 7 个步骤：\n\n> * (1) 建立 TCP 连接\n> * 在 HTTP 工作开始之前，Web 浏览器首先要通过网络与 Web 服务器建立连接，该连接是通过 TCP 来完成的，该协议与 IP 协议共同构建 Internet，即著名的 TCP/IP 协议族，因此 Internet 又被称作是 TCP/IP 网络。HTTP 是比 TCP 更高层次的应用层协议，根据规则， 只有低层协议建立之后才能，才能进行更层协议的连接，因此，首先要建立 TCP 连接，一般 TCP 连接的端口号是 80。\n> * (2) Web 浏览器向 Web 服务器发送请求命令\n> * 一旦建立了 TCP 连接，Web 浏览器就会向 Web 服务器发送请求命令。例如：GET/sample/hello.jsp HTTP/1.1。\n> * (3) Web 浏览器发送请求头信息\n> * 浏览器发送其请求命令之后，还要以头信息的形式向 Web 服务器发送一些别的信息，之后浏览器发送了一空白行来通知服务器，它已经结束了该头信息的发送。\n> * (4) Web 服务器应答\n> * 客户机向服务器发出请求后，服务器会客户机回送应答， HTTP/1.1 200 OK ，应答的第一部分是协议的版本号和应答状态码。\n> * (5) Web 服务器发送应答头信息\n> * 正如客户端会随同请求发送关于自身的信息一样，服务器也会随同应答向用户发送关于它自己的数据及被请求的文档。\n> * (6) Web 服务器向浏览器发送数据\n> * Web 服务器向浏览器发送头信息后，它会发送一个空白行来表示头信息的发送到此为结束，接着，它就以 Content-Type 应答头信息所描述的格式发送用户所请求的实际数据。\n> * Web 服务器关闭 TCP 连接\n> * 一般情况下，一旦 Web 服务器向浏览器发送了请求数据，它就要关闭 TCP 连接，然后如果浏览器或者服务器在其头信息加入了这行代码：\n> * Connection:keep-alive\n> * TCP 连接在发送后将仍然保持打开状态，于是，浏览器可以继续通过相同的连接发送请求。保持连接节省了为每个请求建立新连接所需的时间，还节约了网络带宽。\n\n## 2 HTTP 报文\n\nHTTP 报文是面向文本的，报文中的每一个字段都是一些 ASCII 码串，各个字段的长度是不确定的。HTTP 有两类报文：请求报文和响应报文。\n\n### 2.1 HTTP 请求报文解剖\n\nHTTP 请求报文由 3 部分组成（请求行 + 请求头 + 请求体）：\n\n![Screenshot](../../images/web/request_simple.png)\n\n下面是一个实际的请求报文：\n\n![Screenshot](../../images/web/request.png)\n\n> * (1) 是请求方法，GET 和 POST 是最常见的 HTTP 方法，除此以外还包括 DELETE、HEAD、OPTIONS、PUT、TRACE。不过，当前的大多数浏览器只支持 GET 和 POST，Spring 3.0 提供了一个 HiddenHttpMethodFilter，允许你通过“_method”的表单参数指定这些特殊的 HTTP 方法（实际上还是通过 POST 提交表单）。服务端配置了 HiddenHttpMethodFilter 后，Spring 会根据_method 参数指定的值模拟出相应的 HTTP 方法，这样，就可以使用这些 HTTP 方法对处理方法进行映射了。\n> * (2) 为请求对应的 URL 地址，它和报文头的 Host 属性组成完整的请求 URL，\n> * (3) 是协议名称及版本号。\n> * (4) 是 HTTP 的报文头，报文头包含若干个属性，格式为“属性名：属性值”，服务端据此获取客户端的信息。\n> * (5) 是报文体，它将一个页面表单中的组件值通过 param1=value1¶m2=value2 的键值对形式编码成一个格式化串，它承载多个请求参数的数据。不但报文体可以传递请求参数，请求 URL 也可以通过类似于“/chapter15/user.html? param1=value1¶m2=value2”的方式传递请求参数。\n\n对照上面的请求报文，我们把它进一步分解，你可以看到一幅更详细的结构图：\n\n![Screenshot](../../images/web/request2.png)\n\n#### HTTP 请求报文头属性\n\n报文头属性是什么东西呢？我们不妨以一个小故事来说明吧。\n```\n快到中午了，张三丰不想去食堂吃饭，于是打电话叫外卖：老板，我要一份『鱼香肉丝』，要 12：30 之前给我送过来哦，我在江湖湖公司研发部，叫张三丰。\n```\n这里，你要『鱼香肉丝』相当于 HTTP 报文体，而“12：30 之前送过来”，你叫“张三丰”等信息就相当于 HTTP 的报文头。它们是一些附属信息，帮忙你和饭店老板顺利完成这次交易。\n\n请求 HTTP 报文和响应 HTTP 报文都拥有若干个报文关属性，它们是为协助客户端及服务端交易的一些附属信息。\n\n\n#### 常见的 HTTP 请求报文头属性\n\n**Accept**\n\n请求报文可通过一个“Accept”报文头属性告诉服务端 客户端接受什么类型的响应。\n\n如下报文头相当于告诉服务端，俺客户端能够接受的响应类型仅为纯文本数据啊，你丫别发其它什么图片啊，视频啊过来，那样我会歇菜的~~~：\n```\nAccept:text/plain\n```\nAccept 属性的值可以为一个或多个 MIME 类型的值，关于 MIME 类型，大家请参考：http://en.wikipedia.org/wiki/MIME_type\n\n**Cookie**\n\n客户端的 Cookie 就是通过这个报文头属性传给服务端的哦！如下所示：\n```\nCookie: $Version=1; Skin=new;jsessionid=5F4771183629C9834F8382E23BE13C4C\n```\n\n服务端是怎么知道客户端的多个请求是隶属于一个 Session 呢？注意到后台的那个 jsessionid=5F4771183629C9834F8382E23BE13C4C 木有？原来就是通过 HTTP 请求报文头的 Cookie 属性的 jsessionid 的值关联起来的！（当然也可以通过重写 URL 的方式将会话 ID 附带在每个 URL 的后面哦）。\n\n**Referer**\n\n表示这个请求是从哪个 URL 过来的，假如你通过 google 搜索出一个商家的广告页面，你对这个广告页面感兴趣，鼠标一点发送一个请求报文到商家的网站，这个请求报文的 Referer 报文头属性值就是 http://www.google.com。\n```\n唐僧到了西天。\n如来问：侬是不是从东土大唐来啊？\n唐僧：厉害！你咋知道的！\n如来：呵呵，我偷看了你的 Referer...\n```\n**Cache-Control**\n\n对缓存进行控制，如一个请求希望响应返回的内容在客户端要被缓存一年，或不希望被缓存就可以通过这个报文头达到目的。\n\n如以下设置，相当于让服务端将对应请求返回的响应内容不要在客户端缓存：\n```\nCache-Control: no-cache\n```\n其它请求报文头属性\n\n参见：http://en.wikipedia.org/wiki/List_of_HTTP_header_fields\n\n### 2.2 HTTP 响应报文解剖\n\n#### 响应报文结构\n\nHTTP 的响应报文也由三部分组成（响应行 + 响应头 + 响应体）：\n\n![Screenshot](../../images/web/response_simple.png)\n\n以下是一个实际的 HTTP 响应报文：\n\n![Screenshot](../../images/web/response.png)\n\n\n> * (1) 报文协议及版本；\n> * (2) 状态码及状态描述；\n> * (3) 响应报文头，也是由多个属性组成；\n> * (4) 响应报文体，即我们真正要的“干货”。\n\n#### 响应状态码\n\n和请求报文相比，响应报文多了一个“响应状态码”，它以“清晰明确”的语言告诉客户端本次请求的处理结果。\n\nHTTP 的响应状态码由 5 段组成：\n\n> * 1xx 消息，一般是告诉客户端，请求已经收到了，正在处理，别急...\n> * 2xx 处理成功，一般表示：请求收悉、我明白你要的、请求已受理、已经处理完成等信息。\n> * 3xx 重定向到其它地方。它让客户端再发起一个请求以完成整个处理。\n> * 4xx 处理发生错误，责任在客户端，如客户端的请求一个不存在的资源，客户端未被授权，禁止访问等。\n> * 5xx 处理发生错误，责任在服务端，如服务端抛出异常，路由出错，HTTP 版本不支持等。\n\n\n以下是几个常见的状态码：\n\n> * 200 OK\n\n你最希望看到的，即处理成功！\n\n> * 303 See Other\n\n我把你 redirect 到其它的页面，目标的 URL 通过响应报文头的 Location 告诉你。\n```\n悟空：师傅给个桃吧，走了一天了\n唐僧：我哪有桃啊！去王母娘娘那找吧\n```\n> * 304 Not Modified\n\n告诉客户端，你请求的这个资源至你上次取得后，并没有更改，你直接用你本地的缓存吧，我很忙哦，你能不能少来烦我啊！\n\n> * 404 Not Found\n\n你最不希望看到的，即找不到页面。如你在 google 上找到一个页面，点击这个链接返回 404，表示这个页面已经被网站删除了，google 那边的记录只是美好的回忆。\n\n> * 500 Internal Server Error\n\n看到这个错误，你就应该查查服务端的日志了，肯定抛出了一堆异常，别睡了，起来改 BUG 去吧！\n\n其它的状态码参见：http://en.wikipedia.org/wiki/List_of_HTTP_status_codes\n\n有些响应码，Web 应用服务器会自动给生成。你可以通过 HttpServletResponse 的 API 设置状态码：\n\n#### 常见的 HTTP 响应报文头属性\n\n**Cache-Control**\n\n响应输出到客户端后，服务端通过该报文头属告诉客户端如何控制响应内容的缓存。\n\n下面，的设置让客户端对响应内容缓存 3600 秒，也即在 3600 秒内，如果客户再次访问该资源，直接从客户端的缓存中返回内容给客户，不要再从服务端获取（当然，这个功能是靠客户端实现的，服务端只是通过这个属性提示客户端“应该这么做”，做不做，还是决定于客户端，如果是自己宣称支持 HTTP 的客户端，则就应该这样实现）。\n\n```\nCache-Control: max-age=3600\n```\n\n**ETag** \n\n一个代表响应服务端资源（如页面）版本的报文头属性，如果某个服务端资源发生变化了，这个 ETag 就会相应发生变化。它是 Cache-Control 的有益补充，可以让客户端“更智能”地处理什么时候要从服务端取资源，什么时候可以直接从缓存中返回响应。\n\n关于 ETag 的说明，你可以参见：http://en.wikipedia.org/wiki/HTTP_ETag。\n\n**Location**\n\n我们在 JSP 中让页面 Redirect 到一个某个 A 页面中，其实是让客户端再发一个请求到 A 页面，这个需要 Redirect 到的 A 页面的 URL，其实就是通过响应报文头的 Location 属性告知客户端的，如下的报文头属性，将使客户端 redirect 到 iteye 的首页中：\n\n```\nLocation: http://www.iteye.com\n```\n\n\n**Set-Cookie**\n\n服务端可以设置客户端的 Cookie，其原理就是通过这个响应报文头属性实现的：\n\n```\nSet-Cookie: UserID=JohnDoe; Max-Age=3600; Version=1\n```\n其它 HTTP 响应报文头属性\n\n更多其它的 HTTP 响应头报文，参见：http://en.wikipedia.org/wiki/List_of_HTTP_header_fields\n\n" }, { "path": "run_web.sh", "content": "#########################################################################\n# File Name: run_web.sh\n# Author: Bill\n# mail: \n# Created Time: 2016-10-12 13:17:27\n#########################################################################\n#!/bin/bash\n# 通过markdown文件生成html文件，并建立web service访问html\n\nHTML_DIR='html_tmp'\n\nPORT=8000\nif [ $# -ne 0 ]\nthen\n if [[ $1 =~ ^[0-9]+$ ]]\n then\n PORT=$1\n echo ${PORT}\n fi\nfi\n\nCHECK=`rpm -qa | grep 'pandoc'| wc -l`\nif [[ w${CHECK} == w0 ]]\nthen\n echo \"this system not have pandoc!\"\n echo \"you must run:yum -y install pandoc\"\n exit\nfi\n[[ -d \"${HTML_DIR}\" ]] && rm -rf ${HTML_DIR}\nmkdir -p ${HTML_DIR}\ncp -rf ./images ${HTML_DIR}\n\nfind . -name \"*.md\" | while read md_file\ndo\n #echo ${md_file}\n PATH_FILE=`dirname ${md_file}`\n if [ ! -d \"${HTML_DIR}/${PATH_FILE}\" ]\n then\n mkdir -p ${HTML_DIR}/${PATH_FILE}\n fi\n file_name=$(echo ${md_file} | sed \"s/\\.md$//\")\n pandoc -f markdown -t html --html5 --atx-headers ${md_file} > ${HTML_DIR}/${file_name}.html\n sed -i \"s/.md/.html/g\" ${HTML_DIR}/${file_name}.html\ndone\n\ncd ${HTML_DIR}\necho \"http://localhost:${PORT}\"\npython -m SimpleHTTPServer ${PORT}\n" }, { "path": "standard.md", "content": "# 文档规范\n\n* [1 工具说明](#1-工具说明)\n* [2 文档章节的划分](#2-文档章节的划分)\n * [2.1 文章标题](#21-文章标题)\n * [2.2 文章目录结构](#22-文章目录结构)\n* [3 各种信息](#3-各种信息)\n * [3.1 信息说明](#31-信息说明)\n * [3.2 三种提示信息的书写方法：](#32-三种提示信息的书写方法)\n* [4 内容相关](#4-内容相关)\n * [4.1 需要高亮的内容如下：](#41-需要高亮的内容如下)\n * [4.2 界面相关](#42-界面相关)\n * [4.3 加粗或斜体](#43-加粗或斜体)\n * [4.4 参见的书写](#44-参见的书写)\n * [4.5 图片的插入](#45-图片的插入)\n * [4.6 过程的书写](#46-过程的书写)\n * [4.7 表格的书写](#47-表格的书写)\n\n\n# 1 工具说明\n\n日常编写文档使用 [Vim](https://github.com/meetbill/Vim)，此程序还可以自动生成目录\n\n文章中的目录部分均由 Vim 自动更新和生成\n\n# 2 文档章节的划分\n\n## 2.1 文章标题\n\n原则上，不超过三级标题，如有需要，可以根据需要扩展。\n\n## 2.2 文章目录结构\n目录结构如下：\n\n```\n第1篇--第一章--1.1--1.1.1\n| | |---1.1.2\n| | |---1.2.3\n| |-----1.2--1.2.1\n| | |---1.2.2\n|------第二章--2.1--2.1.1\n| | |---2.1.2\n| |-----2.2--2.2.1\n| | |\n| |-----2.3--2.3.1\n|------第三章--3.1--3.1.1\n```\n其中，每个文档中包含一个 **SUMMARY.md** 文件，将目录写入其中。\n\n按照如上的目录结构，每章一个文件\n\n> * **标题约定**:\n> * \n> * `# 一级标题`\n> * `## 二级标题`\n> * `### 三级标题`\n> * 以此类推。\n\n# 3 各种信息\n\n## 3.1 信息说明\n提示信息分为：注意、重要、警告。\n\n> * 注意：对目前任务的提示、捷径或者备选的解决方法。忽略提示不会造成负面后果，但可能会错过一个更省事的诀窍。\n> * 重要：重要框中的内容是那些容易错过的事情。配置更改只可用于当前会话，或者在应用更新前要重启的服务。忽略\"重要\"框中的内容不会造成数据丢失但可能会让您抓狂。\n> * 警告：警告是不应被忽略的。忽略警告信息很可能导致数据丢失。\n\n## 3.2 三种提示信息的书写方法：\n\n```\n> ###### 注意\n> 注意的内容\n```\n```\n> #### 重要\n> 重要的内容\n```\n```\n> ## 警告\n> 警告的内容\n```\n\n效果如下：\n\n> ###### 注意\n> 注意的内容\n\n> #### 重要\n> 重要的内容\n\n> ## 警告\n> 警告的内容\n\n\n# 4 内容相关\n\n## 4.1 需要高亮的内容如下：\n\n * 所需要修改的配置文件，如：\n\n 修改配置文件 `/etc/nova/nova.conf`。\n\n * 书写方法如下：\n ```\n 修改配置文件 `/etc/nova/nova.conf`。\n ```\n\n * 所需要修改的字段，如：\n\n 修改配置文件中的 `auth_url`。\n\n * 书写方法如下：\n\n ```\n 修改配置文件中的 `auth_url`。\n ```\n\n * 要执行的命令，如：\n\n 执行命令 `nova list`。\n\n 或\n\n 执行如下命令：\n\n ```\n # nova list\n ```\n\n * 书写方法如下：\n\n ```\n 执行命令 `nova list`。\n\n 或\n\n 执行如下命令：\n\n ```\n # nova list\n ```\n ```\n\n * 代码，如：\n\n 代码如下：\n\n ```python\n # @file setup.py\n from setuptools import setup\n\n setup(\n # Other keywords\n entry_points={\n 'foo': [\n 'add = add:make',\n 'remove = remove:make',\n 'update = update:make',\n ],\n }\n )\n ```\n\n * 书写方法如下：\n\n ```\n 代码如下：\n\n ```python\n # @file setup.py\n from setuptools import setup\n\n setup(\n # Other keywords\n entry_points={\n 'foo': [\n 'add = add:make',\n 'remove = remove:make',\n 'update = update:make',\n ],\n }\n )\n ```\n ```\n\n## 4.2 界面相关\n\n 描述界面选项卡或按键时，使用【】，如：\n\n ```\n 选择【项目】，点击【概况】选项卡，可以查看项目的概况信息。\n ```\n\n## 4.3 加粗或斜体\n\n * 加粗：某个命令的名称，如：\n\n 可以使用 **nova** 命令进行操作。（注意与上文的**执行命令**区分）\n\n * 书写方法如下：\n\n ```\n 可以使用 **nova** 命令进行操作。\n ```\n\n * 斜体：描述某个命令的参数或需要替换的字段时，如：\n\n **nova** 命令的 *--debug* 参数用于......\n\n 将其中的 *NOVA_PASS* 替换为 nova 用户的密码。\n\n * 书写方法如下：\n\n ```\n **nova** 命令的 *--debug* 参数用于......\n ```\n ```\n 将其中的 *NOVA_PASS* 替换为 nova 用户的密码。\n ```\n\n > **注**：其他时候可以根据需要加粗或写为斜体，另：加粗并斜体的书写方法为 `***--debug***`。\n\n## 4.4 参见的书写\n\n 有时需要一些参考内容，书写为：\n\n **参见**\n\n [Google](http://www.google.com)\n\n * 书写方法如下：\n\n ```\n **参见**\n\n [Google](http://www.google.com)\n ```\n\n## 4.5 图片的插入\n\n 有时需要插入一些图片进行说明，书写为：\n\n ```\n ![图片名称](图片链接)\n\n > **图片名称**\n\n ```\n\n## 4.6 过程的书写\n\n 需要描述一些过程时，书写如下：\n\n ```\n\n > **过程**：过程名称\n\n 1. xxx(第一步)\n\n 1.1 xxx(第一步的第一个小步骤)\n\n 2. xxx(第二步)\n\n 3. xxx(第三步)\n\n ```\n\n## 4.7 表格的书写\n\n 使用到表格时，书写如下：\n\n ```\n > **表格**：表格标题\n\n |第一列|第二列|第三列|\n |------|------|------|\n | 内容 | 内容 | 内容 |\n\n ```\n\n 效果如下：\n\n > **表格**：表格标题\n\n |第一列|第二列|第三列|\n |------|------|------|\n | 内容 | 内容 | 内容 |\n" } ]