Repository: judasn/Linux-Tutorial Branch: master Commit: 80109268d5b7 Files: 184 Total size: 908.8 KB Directory structure: gitextract_cj_47536/ ├── .editorconfig ├── .gitignore ├── LICENSE ├── README.md ├── SUMMARY.md ├── TOC.md ├── centos-settings/ │ ├── CentOS-Extra-Packages.md │ ├── CentOS-Network-Settings.md │ ├── Clear-Cache.md │ ├── Clear-Tmp-Directory.md │ ├── Close-XWindow.md │ └── centos-settings-toc.md ├── config.json ├── favorite-file/ │ ├── Keepalived-Settings/ │ │ └── nginx_check.sh │ ├── MySQL-Settings/ │ │ └── MySQL-5.6/ │ │ ├── 1G-Memory-Machine/ │ │ │ ├── my-for-comprehensive.cnf │ │ │ ├── my-for-master.cnf │ │ │ └── my-for-salve.cnf │ │ ├── 8G-Memory-Machine/ │ │ │ └── my.cnf │ │ └── developer/ │ │ └── my-Windows-8G-开发机.ini │ ├── Nginx-Settings/ │ │ ├── nginx │ │ └── nginx-front.conf │ ├── Tomcat-Settings/ │ │ └── server.xml │ ├── gravitee-docker-compose/ │ │ ├── README.md │ │ ├── environments/ │ │ │ ├── ci/ │ │ │ │ └── docker-compose.yml │ │ │ ├── demo/ │ │ │ │ ├── common.yml │ │ │ │ ├── docker-compose-local.yml │ │ │ │ ├── docker-compose-traefik-latest.yml │ │ │ │ ├── docker-compose-traefik-nightly.yml │ │ │ │ └── launch.sh │ │ │ └── sample-apis/ │ │ │ └── docker-compose-sample-apis.yml │ │ └── platform/ │ │ ├── docker-compose.yml │ │ ├── mongo/ │ │ │ └── docker-entrypoint-initdb.d/ │ │ │ └── create-index.js │ │ ├── nginx/ │ │ │ ├── nginx.conf │ │ │ └── ssl/ │ │ │ ├── gio-selfsigned.crt │ │ │ ├── gio-selfsigned.key │ │ │ └── gio.pem │ │ └── prometheus.yml │ ├── redis/ │ │ └── redis │ ├── shell/ │ │ ├── crontab-redis-restart.sh │ │ ├── crontab-test.sh │ │ ├── install_common_tool_CentOS.sh │ │ ├── install_common_tool_ubuntu.sh │ │ ├── install_common_vim.sh │ │ ├── install_common_vim_zsh.sh │ │ ├── install_docker_centos7.sh │ │ ├── install_docker_disable_firewalld_centos7-aliyun.sh │ │ ├── install_docker_disable_firewalld_centos7.sh │ │ ├── install_docker_k8s_disable_firewalld_centos7-aliyun.sh │ │ ├── install_jdk_offline_to_bash.sh │ │ ├── install_jdk_offline_to_zsh.sh │ │ ├── install_jdk_online.sh │ │ ├── install_maven_offline_to_bash.sh │ │ ├── install_maven_offline_to_zsh.sh │ │ ├── install_mycat_offline.sh │ │ ├── install_mysql5.6_offline_centos6.sh │ │ ├── install_mysql5.6_offline_centos7.sh │ │ ├── install_mysql5.7_offline_centos7.sh │ │ ├── install_nginx_centos6.sh │ │ ├── install_nginx_centos7.sh │ │ ├── install_redis_centos6.sh │ │ ├── install_redis_centos7.sh │ │ ├── install_tomcat_centos6.sh │ │ ├── install_tomcat_centos7.sh │ │ ├── install_tomcat_offline_centos7.sh │ │ ├── mysql_backup.sh │ │ ├── repo_install_centos6.sh │ │ ├── shell-for.sh │ │ └── shell-with-param-demo.sh │ └── zsh/ │ └── .zshrc └── markdown-file/ ├── Alfresco-Install-And-Usage.md ├── Ansible-Install-And-Settings.md ├── Bash-Other-Bash.md ├── Bash.md ├── CI-Install-And-Usage.md ├── CentOS-7-Install.md ├── CentOS-Install.md ├── CentOS-Virtual-Machine-Copy-Settings.md ├── CentOS.md ├── CentOS6-and-CentOS7.md ├── Confluence-Install-And-Settings.md ├── Crontab.md ├── Daemontools.md ├── Docker-Install-And-Usage.md ├── Dubbo-Install-And-Settings.md ├── ELK-Install-And-Settings.md ├── Elasticsearch-Base.md ├── FTP.md ├── FastDFS-Install-And-Settings.md ├── FastDFS-Nginx-Lua-GraphicsMagick.md ├── File-Extract-Compress.md ├── Flink-Install-And-Settings.md ├── Gitlab-Install-And-Settings.md ├── Glances-Install-And-Settings.md ├── GoAccess-Install-And-Settings.md ├── Grafana-Install-And-Settings.md ├── Hadoop-Install-And-Settings.md ├── Harbor-Install-And-Usage.md ├── Hsk-Install.md ├── Influxdb-Install-And-Settings.md ├── Iptables.md ├── JDK-Install.md ├── JMeter-Install-And-Settings.md ├── Java-bin.md ├── Jenkins-Install-And-Settings.md ├── Jira-Install-And-Settings.md ├── K8S-Install-And-Usage.md ├── Kafka-Install-And-Settings.md ├── Kibana-Base.md ├── Kubernetes-Install-And-Usage.md ├── LDAP-Install-And-Settings.md ├── Linux.md ├── Logstash-Base.md ├── Maven-Install-And-Settings.md ├── MongoDB-Install-And-Settings.md ├── Mycat-Install-And-Settings.md ├── Mysql-Install-And-Settings.md ├── Mysql-Optimize.md ├── Mysql-Test.md ├── Mysql-Tutorial.md ├── NFS.md ├── NTP.md ├── Nexus-Install-And-Settings.md ├── Nginx-Install-And-Settings.md ├── Nginx-Keepalived-Install-And-Settings.md ├── Nmon.md ├── Node-Install-And-Usage.md ├── Off-line-Yum-Install.md ├── Openfire-Install-And-Settings.md ├── PXC-Install-And-Settings.md ├── Portainer-Install-And-Settings.md ├── PostgreSQL-Install-And-Settings.md ├── Prometheus-Install-And-Settings.md ├── Python-Ubuntu.md ├── RabbitMQ-Install-And-Settings.md ├── Rap-Install-And-Settings.md ├── Redis-Install-And-Settings.md ├── SSH-login-without-password.md ├── SSH.md ├── SSR-Client-Ubuntu.md ├── SVN-Install-And-Settings.md ├── Samba.md ├── Sed.md ├── Shell.md ├── Showdoc-Install-And-Settings.md ├── SkyWalking-Install-And-Settings.md ├── Solr-Install-And-Settings.md ├── SonarQube-Install-And-Usage.md ├── Spark-Install-And-Settings.md ├── TeamCity-Install-And-Settings.md ├── Thrift-Install-And-Usage.md ├── Tmux-Install-And-Settings.md ├── Tomcat-Install-And-Settings.md ├── Ubuntu-Install-VMware.md ├── Ubuntu-Install.md ├── Ubuntu-Popular-Software.md ├── Ubuntu-Specific-Command.md ├── Ubuntu.md ├── VPN.md ├── Vim-Install-And-Settings.md ├── Was-Hacked.md ├── WordPress-Install-And-Settings.md ├── Wormhole-Install-And-Settings.md ├── YApi-Install-And-Settings.md ├── Zabbix-Install-And-Settings.md ├── Zookeeper-Install.md ├── Zsh.md ├── kali-linux-settings/ │ ├── kali-linux-basic-settings.md │ ├── kali-linux-install.md │ ├── kali-linux-penetration-test.md │ ├── kali-linux-social-engineering.md │ ├── kali-linux-sql-injection.md │ └── kali-linux-toc.md ├── maintenance.md ├── monitor.md ├── other.md ├── shell-safe-rm.md ├── speedtest.md ├── ubuntu-settings/ │ ├── Network-Settings.md │ ├── Ubuntu-Create-Desktop.md │ ├── Ubuntu-Extra-Packages.md │ ├── Ubuntu-Popular-Settings.md │ ├── Ubuntu-UI.md │ └── ubuntu-settings-toc.md └── wrk-Install-And-Settings.md ================================================ FILE CONTENTS ================================================ ================================================ FILE: .editorconfig ================================================ # http://editorconfig.org # 官网首页有介绍：IntelliJ IDEA，VS Code 默认就支持，无需额外安装插件 root = true # 空格替代Tab缩进在各种编辑工具下效果一致 [*] indent_style = space indent_size = 4 charset = utf-8 end_of_line = lf trim_trailing_whitespace = true insert_final_newline = true max_line_length = 200 [*.java] indent_style = tab [*.{json,yml}] indent_size = 2 [*.md] insert_final_newline = false trim_trailing_whitespace = false ================================================ FILE: .gitignore ================================================ build/ out/ log/ logs/ public/ target/ node_modules/ classes/ .deploy*/ .gradle *.log.* *.log .DS_Store Thumbs.db ### STS ### .apt_generated .classpath .factorypath .project .settings .springBeans ### IntelliJ IDEA ### .idea *.iws *.iml *.ipr ### NetBeans ### nbproject/private/ build/ nbbuild/ dist/ nbdist/ .nb-gradle/ ================================================ FILE: LICENSE ================================================ GNU GENERAL PUBLIC LICENSE Version 2, June 1991 Copyright (C) 1989, 1991 Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA Everyone is permitted to copy and distribute verbatim copies of this license document, but changing it is not allowed. Preamble The licenses for most software are designed to take away your freedom to share and change it. By contrast, the GNU General Public License is intended to guarantee your freedom to share and change free software--to make sure the software is free for all its users. This General Public License applies to most of the Free Software Foundation's software and to any other program whose authors commit to using it. (Some other Free Software Foundation software is covered by the GNU Lesser General Public License instead.) You can apply it to your programs, too. When we speak of free software, we are referring to freedom, not price. Our General Public Licenses are designed to make sure that you have the freedom to distribute copies of free software (and charge for this service if you wish), that you receive source code or can get it if you want it, that you can change the software or use pieces of it in new free programs; and that you know you can do these things. To protect your rights, we need to make restrictions that forbid anyone to deny you these rights or to ask you to surrender the rights. These restrictions translate to certain responsibilities for you if you distribute copies of the software, or if you modify it. For example, if you distribute copies of such a program, whether gratis or for a fee, you must give the recipients all the rights that you have. You must make sure that they, too, receive or can get the source code. And you must show them these terms so they know their rights. We protect your rights with two steps: (1) copyright the software, and (2) offer you this license which gives you legal permission to copy, distribute and/or modify the software. Also, for each author's protection and ours, we want to make certain that everyone understands that there is no warranty for this free software. If the software is modified by someone else and passed on, we want its recipients to know that what they have is not the original, so that any problems introduced by others will not reflect on the original authors' reputations. Finally, any free program is threatened constantly by software patents. We wish to avoid the danger that redistributors of a free program will individually obtain patent licenses, in effect making the program proprietary. To prevent this, we have made it clear that any patent must be licensed for everyone's free use or not licensed at all. The precise terms and conditions for copying, distribution and modification follow. GNU GENERAL PUBLIC LICENSE TERMS AND CONDITIONS FOR COPYING, DISTRIBUTION AND MODIFICATION 0. This License applies to any program or other work which contains a notice placed by the copyright holder saying it may be distributed under the terms of this General Public License. The "Program", below, refers to any such program or work, and a "work based on the Program" means either the Program or any derivative work under copyright law: that is to say, a work containing the Program or a portion of it, either verbatim or with modifications and/or translated into another language. (Hereinafter, translation is included without limitation in the term "modification".) Each licensee is addressed as "you". Activities other than copying, distribution and modification are not covered by this License; they are outside its scope. The act of running the Program is not restricted, and the output from the Program is covered only if its contents constitute a work based on the Program (independent of having been made by running the Program). Whether that is true depends on what the Program does. 1. You may copy and distribute verbatim copies of the Program's source code as you receive it, in any medium, provided that you conspicuously and appropriately publish on each copy an appropriate copyright notice and disclaimer of warranty; keep intact all the notices that refer to this License and to the absence of any warranty; and give any other recipients of the Program a copy of this License along with the Program. You may charge a fee for the physical act of transferring a copy, and you may at your option offer warranty protection in exchange for a fee. 2. You may modify your copy or copies of the Program or any portion of it, thus forming a work based on the Program, and copy and distribute such modifications or work under the terms of Section 1 above, provided that you also meet all of these conditions: a) You must cause the modified files to carry prominent notices stating that you changed the files and the date of any change. b) You must cause any work that you distribute or publish, that in whole or in part contains or is derived from the Program or any part thereof, to be licensed as a whole at no charge to all third parties under the terms of this License. c) If the modified program normally reads commands interactively when run, you must cause it, when started running for such interactive use in the most ordinary way, to print or display an announcement including an appropriate copyright notice and a notice that there is no warranty (or else, saying that you provide a warranty) and that users may redistribute the program under these conditions, and telling the user how to view a copy of this License. (Exception: if the Program itself is interactive but does not normally print such an announcement, your work based on the Program is not required to print an announcement.) These requirements apply to the modified work as a whole. If identifiable sections of that work are not derived from the Program, and can be reasonably considered independent and separate works in themselves, then this License, and its terms, do not apply to those sections when you distribute them as separate works. But when you distribute the same sections as part of a whole which is a work based on the Program, the distribution of the whole must be on the terms of this License, whose permissions for other licensees extend to the entire whole, and thus to each and every part regardless of who wrote it. Thus, it is not the intent of this section to claim rights or contest your rights to work written entirely by you; rather, the intent is to exercise the right to control the distribution of derivative or collective works based on the Program. In addition, mere aggregation of another work not based on the Program with the Program (or with a work based on the Program) on a volume of a storage or distribution medium does not bring the other work under the scope of this License. 3. You may copy and distribute the Program (or a work based on it, under Section 2) in object code or executable form under the terms of Sections 1 and 2 above provided that you also do one of the following: a) Accompany it with the complete corresponding machine-readable source code, which must be distributed under the terms of Sections 1 and 2 above on a medium customarily used for software interchange; or, b) Accompany it with a written offer, valid for at least three years, to give any third party, for a charge no more than your cost of physically performing source distribution, a complete machine-readable copy of the corresponding source code, to be distributed under the terms of Sections 1 and 2 above on a medium customarily used for software interchange; or, c) Accompany it with the information you received as to the offer to distribute corresponding source code. (This alternative is allowed only for noncommercial distribution and only if you received the program in object code or executable form with such an offer, in accord with Subsection b above.) The source code for a work means the preferred form of the work for making modifications to it. For an executable work, complete source code means all the source code for all modules it contains, plus any associated interface definition files, plus the scripts used to control compilation and installation of the executable. However, as a special exception, the source code distributed need not include anything that is normally distributed (in either source or binary form) with the major components (compiler, kernel, and so on) of the operating system on which the executable runs, unless that component itself accompanies the executable. If distribution of executable or object code is made by offering access to copy from a designated place, then offering equivalent access to copy the source code from the same place counts as distribution of the source code, even though third parties are not compelled to copy the source along with the object code. 4. You may not copy, modify, sublicense, or distribute the Program except as expressly provided under this License. Any attempt otherwise to copy, modify, sublicense or distribute the Program is void, and will automatically terminate your rights under this License. However, parties who have received copies, or rights, from you under this License will not have their licenses terminated so long as such parties remain in full compliance. 5. You are not required to accept this License, since you have not signed it. However, nothing else grants you permission to modify or distribute the Program or its derivative works. These actions are prohibited by law if you do not accept this License. Therefore, by modifying or distributing the Program (or any work based on the Program), you indicate your acceptance of this License to do so, and all its terms and conditions for copying, distributing or modifying the Program or works based on it. 6. Each time you redistribute the Program (or any work based on the Program), the recipient automatically receives a license from the original licensor to copy, distribute or modify the Program subject to these terms and conditions. You may not impose any further restrictions on the recipients' exercise of the rights granted herein. You are not responsible for enforcing compliance by third parties to this License. 7. If, as a consequence of a court judgment or allegation of patent infringement or for any other reason (not limited to patent issues), conditions are imposed on you (whether by court order, agreement or otherwise) that contradict the conditions of this License, they do not excuse you from the conditions of this License. If you cannot distribute so as to satisfy simultaneously your obligations under this License and any other pertinent obligations, then as a consequence you may not distribute the Program at all. For example, if a patent license would not permit royalty-free redistribution of the Program by all those who receive copies directly or indirectly through you, then the only way you could satisfy both it and this License would be to refrain entirely from distribution of the Program. If any portion of this section is held invalid or unenforceable under any particular circumstance, the balance of the section is intended to apply and the section as a whole is intended to apply in other circumstances. It is not the purpose of this section to induce you to infringe any patents or other property right claims or to contest validity of any such claims; this section has the sole purpose of protecting the integrity of the free software distribution system, which is implemented by public license practices. Many people have made generous contributions to the wide range of software distributed through that system in reliance on consistent application of that system; it is up to the author/donor to decide if he or she is willing to distribute software through any other system and a licensee cannot impose that choice. This section is intended to make thoroughly clear what is believed to be a consequence of the rest of this License. 8. If the distribution and/or use of the Program is restricted in certain countries either by patents or by copyrighted interfaces, the original copyright holder who places the Program under this License may add an explicit geographical distribution limitation excluding those countries, so that distribution is permitted only in or among countries not thus excluded. In such case, this License incorporates the limitation as if written in the body of this License. 9. The Free Software Foundation may publish revised and/or new versions of the General Public License from time to time. Such new versions will be similar in spirit to the present version, but may differ in detail to address new problems or concerns. Each version is given a distinguishing version number. If the Program specifies a version number of this License which applies to it and "any later version", you have the option of following the terms and conditions either of that version or of any later version published by the Free Software Foundation. If the Program does not specify a version number of this License, you may choose any version ever published by the Free Software Foundation. 10. If you wish to incorporate parts of the Program into other free programs whose distribution conditions are different, write to the author to ask for permission. For software which is copyrighted by the Free Software Foundation, write to the Free Software Foundation; we sometimes make exceptions for this. Our decision will be guided by the two goals of preserving the free status of all derivatives of our free software and of promoting the sharing and reuse of software generally. NO WARRANTY 11. BECAUSE THE PROGRAM IS LICENSED FREE OF CHARGE, THERE IS NO WARRANTY FOR THE PROGRAM, TO THE EXTENT PERMITTED BY APPLICABLE LAW. EXCEPT WHEN OTHERWISE STATED IN WRITING THE COPYRIGHT HOLDERS AND/OR OTHER PARTIES PROVIDE THE PROGRAM "AS IS" WITHOUT WARRANTY OF ANY KIND, EITHER EXPRESSED OR IMPLIED, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE. THE ENTIRE RISK AS TO THE QUALITY AND PERFORMANCE OF THE PROGRAM IS WITH YOU. SHOULD THE PROGRAM PROVE DEFECTIVE, YOU ASSUME THE COST OF ALL NECESSARY SERVICING, REPAIR OR CORRECTION. 12. IN NO EVENT UNLESS REQUIRED BY APPLICABLE LAW OR AGREED TO IN WRITING WILL ANY COPYRIGHT HOLDER, OR ANY OTHER PARTY WHO MAY MODIFY AND/OR REDISTRIBUTE THE PROGRAM AS PERMITTED ABOVE, BE LIABLE TO YOU FOR DAMAGES, INCLUDING ANY GENERAL, SPECIAL, INCIDENTAL OR CONSEQUENTIAL DAMAGES ARISING OUT OF THE USE OR INABILITY TO USE THE PROGRAM (INCLUDING BUT NOT LIMITED TO LOSS OF DATA OR DATA BEING RENDERED INACCURATE OR LOSSES SUSTAINED BY YOU OR THIRD PARTIES OR A FAILURE OF THE PROGRAM TO OPERATE WITH ANY OTHER PROGRAMS), EVEN IF SUCH HOLDER OR OTHER PARTY HAS BEEN ADVISED OF THE POSSIBILITY OF SUCH DAMAGES. END OF TERMS AND CONDITIONS How to Apply These Terms to Your New Programs If you develop a new program, and you want it to be of the greatest possible use to the public, the best way to achieve this is to make it free software which everyone can redistribute and change under these terms. To do so, attach the following notices to the program. It is safest to attach them to the start of each source file to most effectively convey the exclusion of warranty; and each file should have at least the "copyright" line and a pointer to where the full notice is found. {description} Copyright (C) {year} {fullname} This program is free software; you can redistribute it and/or modify it under the terms of the GNU General Public License as published by the Free Software Foundation; either version 2 of the License, or (at your option) any later version. This program is distributed in the hope that it will be useful, but WITHOUT ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the GNU General Public License for more details. You should have received a copy of the GNU General Public License along with this program; if not, write to the Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor, Boston, MA 02110-1301 USA. Also add information on how to contact you by electronic and paper mail. If the program is interactive, make it output a short notice like this when it starts in an interactive mode: Gnomovision version 69, Copyright (C) year name of author Gnomovision comes with ABSOLUTELY NO WARRANTY; for details type `show w'. This is free software, and you are welcome to redistribute it under certain conditions; type `show c' for details. The hypothetical commands `show w' and `show c' should show the appropriate parts of the General Public License. Of course, the commands you use may be called something other than `show w' and `show c'; they could even be mouse-clicks or menu items--whatever suits your program. You should also get your employer (if you work as a programmer) or your school, if any, to sign a "copyright disclaimer" for the program, if necessary. Here is a sample; alter the names: Yoyodyne, Inc., hereby disclaims all copyright interest in the program `Gnomovision' (which makes passes at compilers) written by James Hacker. {signature of Ty Coon}, 1 April 1989 Ty Coon, President of Vice This General Public License does not permit incorporating your program into proprietary programs. If your program is a subroutine library, you may consider it more useful to permit linking proprietary applications with the library. If this is what you want to do, use the GNU Lesser General Public License instead of this License. ================================================ FILE: README.md ================================================ ## 作者新方向，感谢支持 - [从开公司到开发全平台产品（文字版）](https://github.com/cdk8s/cdk8s-team-style/blob/master/full-stack/README.md) - [从开公司到开发全平台产品（视频版）](https://space.bilibili.com/1765486559/channel/seriesdetail?sid=2359281) ## 初衷(Original Intention) - 整理下自己所学。**但是比较随意，所以很多地方不够严谨，所以请带着批评的思维阅读。** - 带动更多的人进入 Linux 世界，特别是做 Java 开发的人 - Github 项目地址，欢迎 `Fork`、`Star`： - 文章中用到的一些安装包归纳整理： - Gitbook 在线阅读地址： - **学得越多越是明白一个人的力量是不够的，我只是起了一个引子，希望你能一起参与，真心希望！！！（鞠躬）** ## 优秀同行推荐 - [Linux工具快速教程](http://linuxtools-rst.readthedocs.io/zh_CN/latest/base/index.html) ## 目录(Contents) - [Linux 介绍](markdown-file/Linux.md) - [Ubuntu 介绍](markdown-file/Ubuntu.md) - [Ubuntu 安装](markdown-file/Ubuntu-Install.md) - [Ubuntu 设置（目录）](markdown-file/ubuntu-settings/ubuntu-settings-toc.md) - [Kali Linux 介绍和设置（目录）](markdown-file/kali-linux-settings/kali-linux-toc.md) - [CentOS 介绍](markdown-file/CentOS.md) - [CentOS 6 安装](markdown-file/CentOS-Install.md) - [CentOS 7 安装](markdown-file/CentOS-7-Install.md) - [CentOS 6 和 CentOS 7 差异](markdown-file/CentOS6-and-CentOS7.md) - [CentOS 设置（目录）](markdown-file/centos-settings/centos-settings-toc.md) - [Ubuntu 安装 VMware](markdown-file/Ubuntu-Install-VMware.md) - [VMware 克隆 CentOS 后网卡信息修改](markdown-file/CentOS-Virtual-Machine-Copy-Settings.md) - [Vim 安装、配置、快捷键列表](markdown-file/Vim-Install-And-Settings.md) - [SSH 免密登录](markdown-file/SSH-login-without-password.md) - [Bash 命令](markdown-file/Bash.md) - [Bash 其他常用命令](markdown-file/Bash-Other-Bash.md) - [安装的 rm（删除）](markdown-file/shell-safe-rm.md) - [Sed 命令](markdown-file/Sed.md) - [Linux 下常用压缩文件的解压、压缩](markdown-file/File-Extract-Compress.md) - [Yum 下载安装包及对应依赖包](markdown-file/Off-line-Yum-Install.md) - [Zsh 入门](markdown-file/Zsh.md) ================================================ FILE: SUMMARY.md ================================================ # Java 程序员眼中的 Linux * [Linux 介绍](markdown-file/Linux.md) * [Ubuntu 介绍](markdown-file/Ubuntu.md) * [Ubuntu 安装](markdown-file/Ubuntu-Install.md) * [Ubuntu 设置（目录）](markdown-file/ubuntu-settings/ubuntu-settings-toc.md) * [Kali Linux 介绍和设置（目录）](markdown-file/kali-linux-settings/kali-linux-toc.md) * [CentOS 介绍](markdown-file/CentOS.md) * [CentOS 6 安装](markdown-file/CentOS-Install.md) * [CentOS 7 安装](markdown-file/CentOS-7-Install.md) * [CentOS 6 和 CentOS 7 差异](markdown-file/CentOS6-and-CentOS7.md) * [CentOS 设置（目录）](markdown-file/centos-settings/centos-settings-toc.md) * [Ubuntu 安装 VMware](markdown-file/Ubuntu-Install-VMware.md) * [VMware 克隆 CentOS 后网卡信息修改](markdown-file/CentOS-Virtual-Machine-Copy-Settings.md) * [Vim 安装、配置、快捷键列表](markdown-file/Vim-Install-And-Settings.md) * [SSH 免密登录](markdown-file/SSH-login-without-password.md) * [Bash 命令](markdown-file/Bash.md) * [Bash 其他常用命令](markdown-file/Bash-Other-Bash.md) * [安装的 rm（删除）](markdown-file/shell-safe-rm.md) * [Sed 命令](markdown-file/Sed.md) * [Linux 下常用压缩文件的解压、压缩](markdown-file/File-Extract-Compress.md) * [Yum 下载安装包及对应依赖包](markdown-file/Off-line-Yum-Install.md) * [Zsh 入门](markdown-file/Zsh.md) * [终端测速](markdown-file/speedtest.md) * [日常维护](markdown-file/maintenance.md) * [日常监控](markdown-file/monitor.md) * [nmon 系统性能监控工具](markdown-file/Nmon.md) * [Glances 安装和配置](markdown-file/Glances-Install-And-Settings.md) * [SSH（Secure Shell）介绍](markdown-file/SSH.md) * [FTP（File Transfer Protocol）介绍](markdown-file/FTP.md) * [VPN（Virtual Private Network）介绍](markdown-file/VPN.md) * [NFS（Network FileSystem）介绍](markdown-file/NFS.md) * [NTP（Network Time Protocol）介绍](markdown-file/NTP.md) * [Samba 介绍](markdown-file/Samba.md) * [Crontab 介绍](markdown-file/Crontab.md) * [Iptables 介绍](markdown-file/Iptables.md) * [花生壳-安装介绍](markdown-file/Hsk-Install.md) * [JDK 安装](markdown-file/JDK-Install.md) * [Java bin 目录下的工具](markdown-file/Java-bin.md) * [SVN 安装和配置](markdown-file/SVN-Install-And-Settings.md) * [Tomcat 安装和配置、优化](markdown-file/Tomcat-Install-And-Settings.md) * [Jenkins 安装和配置](markdown-file/Jenkins-Install-And-Settings.md) * [Maven 安装和配置](markdown-file/Maven-Install-And-Settings.md) * [Nexus 安装和配置](markdown-file/Nexus-Install-And-Settings.md) * [PostgreSQL 安装和配置](markdown-file/PostgreSQL-Install-And-Settings.md) * [MySQL 安装和配置](markdown-file/Mysql-Install-And-Settings.md) * [MySQL 优化](markdown-file/Mysql-Optimize.md) * [MySQL 测试](markdown-file/Mysql-Test.md) * [MySQL 教程](markdown-file/Mysql-Tutorial.md) * [Percona XtraDB Cluster（PXC）安装和配置](markdown-file/PXC-Install-And-Settings.md) * [Redis 安装和配置](markdown-file/Redis-Install-And-Settings.md) * [MongoDB 安装和配置](markdown-file/MongoDB-Install-And-Settings.md) * [Solr 安装和配置](markdown-file/Solr-Install-And-Settings.md) * [Jira 安装和配置](markdown-file/Jira-Install-And-Settings.md) * [Confluence 安装和配置](markdown-file/Confluence-Install-And-Settings.md) * [Jenkins 安装和配置](markdown-file/Jenkins-Install-And-Settings.md) * [TeamCity 安装和配置](markdown-file/TeamCity-Install-And-Settings.md) * [Nginx 安装和配置](markdown-file/Nginx-Install-And-Settings.md) * [wrk 安装和配置](markdown-file/wrk-Install-And-Settings.md) * [FastDFS 安装和配置](markdown-file/FastDFS-Install-And-Settings.md) * [FastDFS 结合 GraphicsMagick](markdown-file/FastDFS-Nginx-Lua-GraphicsMagick.md) * [RabbitMQ 安装和配置](markdown-file/RabbitMQ-Install-And-Settings.md) * [Openfire 安装和配置](markdown-file/Openfire-Install-And-Settings.md) * [Rap 安装和配置](markdown-file/Rap-Install-And-Settings.md) * [Nginx + Keepalived 高可用](markdown-file/Nginx-Keepalived-Install-And-Settings.md) * [黑客入侵检查](markdown-file/Was-Hacked.md) * [Shadowsocks 安装和配置](markdown-file/http://code.youmeek.com/2016/08/19/2016/08/VPS/) * [Mycat 安装和配置](markdown-file/Mycat-Install-And-Settings.md) * [Zookeeper 安装和配置](markdown-file/Zookeeper-Install.md) * [Daemontools 工具介绍](markdown-file/Daemontools.md) * [Tmux 安装和配置](markdown-file/Tmux-Install-And-Settings.md) * [ELK 日志收集系统安装和配置](markdown-file/ELK-Install-And-Settings.md) * [Dubbo 安装和配置](markdown-file/Dubbo-Install-And-Settings.md) * [GitLab 安装和配置](markdown-file/Gitlab-Install-And-Settings.md) * [JMeter 安装和配置](markdown-file/JMeter-Install-And-Settings.md) * [Docker 安装和使用](markdown-file/Docker-Install-And-Usage.md) * [Harbor 安装和配置](markdown-file/Harbor-Install-And-Usage.md) * [LDAP 安装和使用](markdown-file/LDAP-Install-And-Settings.md) * [Alfresco 安装和使用](markdown-file/Alfresco-Install-And-Usage.md) * [Apache Thrift 安装和使用](markdown-file/Thrift-Install-And-Usage.md) * [Node.js 安装和使用](markdown-file/Node-Install-And-Usage.md) * [CI 整套服务安装和使用](markdown-file/CI-Install-And-Usage.md) * [YApi 安装和配置](markdown-file/YApi-Install-And-Settings.md) * [Kafka 安装和配置](markdown-file/Kafka-Install-And-Settings.md) * [Hadoop 安装和配置](markdown-file/Hadoop-Install-And-Settings.md) * [Showdoc 安装和配置](markdown-file/Showdoc-Install-And-Settings.md) * [WordPress 安装和配置](markdown-file/WordPress-Install-And-Settings.md) * [GoAccess 安装和配置](markdown-file/GoAccess-Install-And-Settings.md) * [Portainer 安装和配置](markdown-file/Portainer-Install-And-Settings.md) * [Influxdb 安装和配置](markdown-file/Influxdb-Install-And-Settings.md) * [Prometheus 安装和配置](markdown-file/Prometheus-Install-And-Settings.md) * [Grafana 安装和配置](markdown-file/Grafana-Install-And-Settings.md) * [Ansible 安装和配置](markdown-file/Ansible-Install-And-Settings.md) * [Wormhole + Flink 安装和配置](markdown-file/Wormhole-Install-And-Settings.md) * [SkyWalking 安装和配置](markdown-file/SkyWalking-Install-And-Settings.md) ================================================ FILE: TOC.md ================================================ - [Linux 介绍](markdown-file/Linux.md) - [Ubuntu 介绍](markdown-file/Ubuntu.md) - [Ubuntu 安装](markdown-file/Ubuntu-Install.md) - [Ubuntu 设置（目录）](markdown-file/ubuntu-settings/ubuntu-settings-toc.md) - [Kali Linux 介绍和设置（目录）](markdown-file/kali-linux-settings/kali-linux-toc.md) - [CentOS 介绍](markdown-file/CentOS.md) - [CentOS 6 安装](markdown-file/CentOS-Install.md) - [CentOS 7 安装](markdown-file/CentOS-7-Install.md) - [CentOS 6 和 CentOS 7 差异](markdown-file/CentOS6-and-CentOS7.md) - [CentOS 设置（目录）](markdown-file/centos-settings/centos-settings-toc.md) - [Ubuntu 安装 VMware](markdown-file/Ubuntu-Install-VMware.md) - [VMware 克隆 CentOS 后网卡信息修改](markdown-file/CentOS-Virtual-Machine-Copy-Settings.md) - [Vim 安装、配置、快捷键列表](markdown-file/Vim-Install-And-Settings.md) - [SSH 免密登录](markdown-file/SSH-login-without-password.md) - [Bash 命令](markdown-file/Bash.md) - [Bash 其他常用命令](markdown-file/Bash-Other-Bash.md) - [安装的 rm（删除）](markdown-file/shell-safe-rm.md) - [Sed 命令](markdown-file/Sed.md) - [Linux 下常用压缩文件的解压、压缩](markdown-file/File-Extract-Compress.md) - [Yum 下载安装包及对应依赖包](markdown-file/Off-line-Yum-Install.md) - [Zsh 入门](markdown-file/Zsh.md) - [终端测速](markdown-file/speedtest.md) - [日常维护](markdown-file/maintenance.md) - [日常监控](markdown-file/monitor.md) - [nmon 系统性能监控工具](markdown-file/Nmon.md) - [Glances 安装和配置](markdown-file/Glances-Install-And-Settings.md) - [SSH（Secure Shell）介绍](markdown-file/SSH.md) - [FTP（File Transfer Protocol）介绍](markdown-file/FTP.md) - [VPN（Virtual Private Network）介绍](markdown-file/VPN.md) - [NFS（Network FileSystem）介绍](markdown-file/NFS.md) - [NTP（Network Time Protocol）介绍](markdown-file/NTP.md) - [Samba 介绍](markdown-file/Samba.md) - [Crontab 介绍](markdown-file/Crontab.md) - [Iptables 介绍](markdown-file/Iptables.md) - [花生壳-安装介绍](markdown-file/Hsk-Install.md) - [JDK 安装](markdown-file/JDK-Install.md) - [Java bin 目录下的工具](markdown-file/Java-bin.md) - [SVN 安装和配置](markdown-file/SVN-Install-And-Settings.md) - [Tomcat 安装和配置、优化](markdown-file/Tomcat-Install-And-Settings.md) - [Jenkins 安装和配置](markdown-file/Jenkins-Install-And-Settings.md) - [Maven 安装和配置](markdown-file/Maven-Install-And-Settings.md) - [Nexus 安装和配置](markdown-file/Nexus-Install-And-Settings.md) - [PostgreSQL 安装和配置](markdown-file/PostgreSQL-Install-And-Settings.md) - [MySQL 安装和配置](markdown-file/Mysql-Install-And-Settings.md) - [MySQL 优化](markdown-file/Mysql-Optimize.md) - [MySQL 测试](markdown-file/Mysql-Test.md) - [MySQL 教程](markdown-file/Mysql-Tutorial.md) - [Percona XtraDB Cluster（PXC）安装和配置](markdown-file/PXC-Install-And-Settings.md) - [Redis 安装和配置](markdown-file/Redis-Install-And-Settings.md) - [MongoDB 安装和配置](markdown-file/MongoDB-Install-And-Settings.md) - [Solr 安装和配置](markdown-file/Solr-Install-And-Settings.md) - [Jira 安装和配置](markdown-file/Jira-Install-And-Settings.md) - [Confluence 安装和配置](markdown-file/Confluence-Install-And-Settings.md) - [Jenkins 安装和配置](markdown-file/Jenkins-Install-And-Settings.md) - [TeamCity 安装和配置](markdown-file/TeamCity-Install-And-Settings.md) - [Nginx 安装和配置](markdown-file/Nginx-Install-And-Settings.md) - [wrk 安装和配置](markdown-file/wrk-Install-And-Settings.md) - [FastDFS 安装和配置](markdown-file/FastDFS-Install-And-Settings.md) - [FastDFS 结合 GraphicsMagick](markdown-file/FastDFS-Nginx-Lua-GraphicsMagick.md) - [RabbitMQ 安装和配置](markdown-file/RabbitMQ-Install-And-Settings.md) - [Openfire 安装和配置](markdown-file/Openfire-Install-And-Settings.md) - [Rap 安装和配置](markdown-file/Rap-Install-And-Settings.md) - [Nginx + Keepalived 高可用](markdown-file/Nginx-Keepalived-Install-And-Settings.md) - [黑客入侵检查](markdown-file/Was-Hacked.md) - [Shadowsocks 安装和配置](markdown-file/http://code.youmeek.com/2016/08/19/2016/08/VPS/) - [Mycat 安装和配置](markdown-file/Mycat-Install-And-Settings.md) - [Zookeeper 安装和配置](markdown-file/Zookeeper-Install.md) - [Daemontools 工具介绍](markdown-file/Daemontools.md) - [Tmux 安装和配置](markdown-file/Tmux-Install-And-Settings.md) - [ELK 日志收集系统安装和配置](markdown-file/ELK-Install-And-Settings.md) - [Dubbo 安装和配置](markdown-file/Dubbo-Install-And-Settings.md) - [GitLab 安装和配置](markdown-file/Gitlab-Install-And-Settings.md) - [JMeter 安装和配置](markdown-file/JMeter-Install-And-Settings.md) - [Docker 安装和使用](markdown-file/Docker-Install-And-Usage.md) - [Harbor 安装和配置](markdown-file/Harbor-Install-And-Usage.md) - [LDAP 安装和使用](markdown-file/LDAP-Install-And-Settings.md) - [Alfresco 安装和使用](markdown-file/Alfresco-Install-And-Usage.md) - [Apache Thrift 安装和使用](markdown-file/Thrift-Install-And-Usage.md) - [Node.js 安装和使用](markdown-file/Node-Install-And-Usage.md) - [YApi 安装和配置](markdown-file/YApi-Install-And-Settings.md) - [Kafka 安装和配置](markdown-file/Kafka-Install-And-Settings.md) - [Hadoop 安装和配置](markdown-file/Hadoop-Install-And-Settings.md) - [Showdoc 安装和配置](markdown-file/Showdoc-Install-And-Settings.md) - [WordPress 安装和配置](markdown-file/WordPress-Install-And-Settings.md) - [GoAccess 安装和配置](markdown-file/GoAccess-Install-And-Settings.md) - [Portainer 安装和配置](markdown-file/Portainer-Install-And-Settings.md) - [Influxdb 安装和配置](markdown-file/Influxdb-Install-And-Settings.md) - [Prometheus 安装和配置](markdown-file/Prometheus-Install-And-Settings.md) - [Grafana 安装和配置](markdown-file/Grafana-Install-And-Settings.md) - [Ansible 安装和配置](markdown-file/Ansible-Install-And-Settings.md) - [Wormhole + Flink 安装和配置](markdown-file/Wormhole-Install-And-Settings.md) - [SkyWalking 安装和配置](markdown-file/SkyWalking-Install-And-Settings.md) ================================================ FILE: centos-settings/CentOS-Extra-Packages.md ================================================ # CentOS 源设置 ## 修改官方源 - 下面内容的一个简易集合版本脚本： ## 修改官方源 > 国内常用源配置方法（该源和官方源是一样的，只是因为服务器在国内会起到加速作用而已）： - 163 源： - 阿里源： - sohu： > CentOS 6 替换过程（这里以 163 源为例）： - 备份官网源：`sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.20151219.backup` - `cd /etc/yum.repos.d/` - 下载对应版本 repo 文件, 放入 **/etc/yum.repos.d/** - 下载源文件： - CentOS6：`sudo wget http://mirrors.163.com/.help/CentOS6-Base-163.repo` - `sudo mv CentOS6-Base-163.repo CentOS-Base.repo` - 导入key：`rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6` - `sudo yum clean all` - `sudo yum makecache` - `sudo yum update -y` > CentOS 7 替换过程（这里以 163 源为例）： - 备份官网源：`sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.20170219.backup` - `cd /etc/yum.repos.d/` - 下载对应版本 repo 文件, 放入 **/etc/yum.repos.d/** - 下载源文件： - CentOS7：`sudo wget http://mirrors.163.com/.help/CentOS7-Base-163.repo` - `sudo mv CentOS7-Base-163.repo CentOS-Base.repo` - 导入key：`rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-7` - `sudo yum clean all` - `sudo yum makecache` - `sudo yum update -y` ## 第三方源 > 加入第三方源主要是为了 yum 下载到官方没有提供的软件，在其他社区、第三方源里面有很多的软件包，有些软件是很好用的。CentOS 可以加入多个源，所以就存在一个源的优先级问题了，设置优先级的可以使用 yum-plugin-priorities 工具。一般我是建议官方的优先级是最高的，然后才是第三方的。 - 安装 yum-plugin-priorities： - CentOS 4 或 CentOS 6：`sudo yum install -y yum-plugin-priorities` - CentOS 5：`sudo yum install -y yum-priorities` - 安装完 yum-plugin-priorities 插件后，默认是开启的，如果要关闭可以这样设置： - `sudo vim /etc/yum/pluginconf.d/priorities.conf` - 把 enabled=1 改为 enabled=0 即可 - 设置默认源的优先级： - 一般默认的源配置里面 [base], [updates], [extras]，[centosplus] 的 priority=1， [contrib] 的 priority=2，其他第三的软件源为：priority=N （推荐 N > 10，N 可以为1到99的正整数，数值越小越优先） - `sudo vim /etc/yum.repos.d/CentOS-Base.repo` - 配置内容如下图 - ![CentOS 默认源的级别设置](../images/CentOS-Extra-Packages-a-1.jpg) - 安装 EPEL 源： - 官网中文材料： - 安装命令：`sudo yum install -y epel-release` - CentOS 6 导入 KEY：`rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6` - CentOS 7 导入 KEY：`rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-7` - 设置 EPEL 源的级别：`vim /etc/yum.repos.d/epel.repo`，追加：priority=11 - 卸载 EPEL 源 - 如果你暂时不想使用 EPEL 源的话，把 epel.repo 里的 enabled=1 改成 enabled=0 即可，如果你完全不需要了，那就直接卸载掉 `sudo rpm -e epel-release` - 安装 RepoForge 源：（旧的名字为 rpmforge） - 官网下载 RPM包： - 我是 CentOS 6.7 64 位，所以下载 EL 6 x86_64，下载 RMP 安装文件大小：12.3 KB - 下载命令：`wget http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm`（我这边 wget 不下来，需要开 VPN，所以你最好有这个心理准备） - 安装 RPM 文件：`sudo rpm -ivh rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm` - 导入 KEY：`sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-rpmforge-dag` - 设置 RepoForge 源的级别：`vim /etc/yum.repos.d/rpmforge.repo`，设置如下图 - ![RepoForge 源的级别设置](../images/CentOS-Extra-Packages-a-2.jpg) - 更新包信息： - `sudo yum clean all` - `sudo yum makecache` - `sudo yum update -y` - 测试： - 命令：`sudo yum check-update` - 看到显示的结果中包括 rpmforge 和 epel 的列表表示成功。 - `sudo yum install -y htop`（htop 官方源是没有的，所以如果能下载下来就表示已经使用了第三方源） ### 禁用源 - 编辑：`vim /etc/yum.repos.d/elasticsearch.repo` - 把 enabled=1 改为 enabled=0 ``` [elasticsearch-6.x] name=Elasticsearch repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md ``` > 资料： - - - - - - ================================================ FILE: centos-settings/CentOS-Network-Settings.md ================================================ # CentOS 网络设置 - 由于前面虚拟机中安装 CentOS 使用的是桥接模式，为了让虚拟机中的系统能上网，我们需要进行网络设置。 ## CentOS 6 ### 界面化下设置网络（新手推荐使用这种） - ![界面化设置](../images/CentOS-Network-Settings-a-1.jpg) - 选择上图箭头所示 - ![界面化设置](../images/CentOS-Network-Settings-a-2.jpg) - 如上图标注 3 所示：选择 `手动` 模式 - 如上图标注 4 所示：填写自己局域网内的子网掩码、默认网关，以及你要分配的内网 IP 地址。这三个参数你可以参考你当前使用的主机信息，在 Windows 系统上使用：`cmd --- ipconfig`，查看你当前连接的网卡信息。如果你是无线网卡则读取对应的无线网卡信息，如果你是本地连接，则读取对应的本地连接信息。 - 如上图标注 5 所示：填写你当前地区合适的 DNS 地址，我这边地区使用 360 测试出来的结果显示 114 的适合我，所以我这里填写该值 ### 命令行下设置网络 - 编辑网卡信息： - 备份：`cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth0-20160205Back` - 把备份文件移动到其他目录：`mv /etc/sysconfig/network-scripts/ifcfg-eth0-20160205Back /opt/myBack` - 编辑网卡文件：`vim /etc/sysconfig/network-scripts/ifcfg-eth0` - 把网卡中信息改为下面对应内容： ``` DEVICE=eth0 (系统默认值) TYPE=Ethernet (系统默认值) UUID=a2c17f0c-a224-43d5-a203-48af1f0d9113 (系统默认值) ONBOOT=yes (系统默认值是 no,我改为 yes) NM_CONTROLLED=yes (系统默认值) BOOTPROTO=none (系统默认值是 dhcp,我改为 none,代表手动) USERCTL=no (自己补充的) IPV6INIT=no (自己补充的) NETMASK=255.255.255.0 (自己补充的) IPADDR=192.168.0.110 (自己补充的) GATEWAY=192.168.0.1 (自己补充的) DNS1=114.114.114.114 (自己补充的) PREFIX=24 (使用图形界面设置后生成的) DEFROUTE=yes (使用图形界面设置后生成的) IPV4_FAILURE_FATAL=yes (使用图形界面设置后生成的) NAME="System eth0" (使用图形界面设置后生成的) HWADDR=00:0C:29:A9:37:D4 (使用图形界面设置后生成的) LAST_CONNECT=1454626679 (使用图形界面设置后生成的) ``` - 重启网络配置：`service network restart` ## CentOS 7.x ### 命令行下设置网络 - 查看系统下有哪些网卡：`ls /etc/sysconfig/network-scripts/`，新版本不叫 eth0 这类格式了，比如我当前这个叫做：ifcfg-ens33（你的肯定跟我不一样，但是格式类似） - 先备份：`cp /etc/sysconfig/network-scripts/ifcfg-ens33 /etc/sysconfig/network-scripts/ifcfg-ens33.bak` - 编辑该文件：`vim /etc/sysconfig/network-scripts/ifcfg-ens33`，改为如下信息：（IP 段自己改为自己的网络情况） ``` ini TYPE=Ethernet PROXY_METHOD=none BROWSER_ONLY=no BOOTPROTO=static IPADDR=192.168.0.127 NETMASK=255.255.255.0 GATEWAY=192.168.0.1 DNS1=8.8.8.8 DNS1=114.114.114.114 DEFROUTE=yes PEERDNS=yes PEERROUTES=yes IPV4_FAILURE_FATAL=no IPV6INIT=yes IPV6_AUTOCONF=yes IPV6_DEFROUTE=yes IPV6_PEERDNS=yes IPV6_PEERROUTES=yes IPV6_FAILURE_FATAL=no IPV6_ADDR_GEN_MODE=stable-privacy NAME=ens33 UUID=b9f01b7d-4ebf-4d3a-a4ec-ae203425bb11 DEVICE=ens33 ONBOOT=yes ``` - 修改后，重启网络服务：`systemctl restart network.service` ================================================ FILE: centos-settings/Clear-Cache.md ================================================ ## 清除系统缓存 ## 初衷 - 本身 Linux 有比较成熟的内存管理机制，但是不免也是会抽风的，有些程序在被 kill 掉之后系统内存依然没有大的变化，这时候就需要手动清除。 ## 清除缓存 - 官网说明： - 先查看目前系统内存使用情况：`free -m` - 同步缓存数据到硬盘：`sync` - 开始清理：`echo 3 > /proc/sys/vm/drop_caches` - 0：不清除 - 1：清除页缓存 - 2：清除目录项缓存与文件结点缓存 - 3：清除所有缓存（常用） - 再查看清除后效果：`free -m` ================================================ FILE: centos-settings/Clear-Tmp-Directory.md ================================================ ## 修改定时清理 /tmp 目录下的文件 ## 初衷 - 默认系统是超过 30 天不访问的文件自动清除的，但是有时候硬盘用得紧可以考虑修改周期 ## 设置方法 - 编辑配置文件：`vim /etc/cron.daily/tmpwatch` ``` nginx #! /bin/sh flags=-umc /usr/sbin/tmpwatch "$flags" -x /tmp/.X11-unix -x /tmp/.XIM-unix \ -x /tmp/.font-unix -x /tmp/.ICE-unix -x /tmp/.Test-unix \ -X '/tmp/hsperfdata_*' 10d /tmp /usr/sbin/tmpwatch "$flags" 30d /var/tmp for d in /var/{cache/man,catman}/{cat?,X11R6/cat?,local/cat?}; do if [ -d "$d" ]; then /usr/sbin/tmpwatch "$flags" -f 30d "$d" fi done ``` - 上面这句话：`/usr/sbin/tmpwatch "$flags" -f 30d "$d"`，其中 **30d** 表示 30 天表示要备删除的周期文件，该值最低为 1。 - 一般数据建议不要放在这个目录下，以免被系统误删 ================================================ FILE: centos-settings/Close-XWindow.md ================================================ ## CentOS 图形界面的关闭与开启 ## 初衷 - 本地开多个虚拟机搞集群测试，为了节省资源，关掉图形界面更好点 ## CentOS 6 设置方法 - 编辑配置文件：`vim /etc/inittab` - 把默认值：`id:5:initdefault:`，改为：`id:3:initdefault:` - 重启系统：`reboot`，重启后就只有 shell 界面了。 - 在 shell 界面中如果你还希望临时开启图形界面可以输入：`init 5` - 在图形界面中如果你希望临时关闭图形界面可以输入：`init 3` ## CentOS 7 设置方法 1 - 开机以命令模式启动，执行： - systemctl set-default multi-user.target - 开机以图形界面启动，执行： - systemctl set-default graphical.target ## CentOS 7 设置方法 2 - 关闭图形 - `mv /etc/systemd/system/default.target /etc/systemd/system/default.target.bak` (改名备份) - `ln -sf /lib/systemd/system/multi-user.target /etc/systemd/system/default.target` (重新软连接文本界面为启动默认值界面) - `systemctl reboot` (重启) - 恢复图形界面 - `rm -rf /etc/systemd/system/default.target` (移除当前配置链接) - `mv /etc/systemd/system/default.target.bak /etc/systemd/system/default.target` (恢复备份配置链接) - `systemctl reboot` ================================================ FILE: centos-settings/centos-settings-toc.md ================================================ - [CentOS 网络设置](CentOS-Network-Settings.md) - [CentOS 源设置](CentOS-Extra-Packages.md) - [CentOS 图形界面的关闭与开启](Close-XWindow.md) - [清除系统缓存](Clear-Cache.md) - [修改定时清理 /tmp 目录下的文件](Clear-Tmp-Directory.md) ================================================ FILE: config.json ================================================ { "name": "Java 程序员眼中的 Linux", "introduction": "笔者从 Java 开发角度，全方位讲解各种环境搭建及常用工具详解，是一部适合程序员的百科全书。" } ================================================ FILE: favorite-file/Keepalived-Settings/nginx_check.sh ================================================ #!/bin/bash # 如果进程中没有nginx则将keepalived进程kill掉 A=`ps -C nginx --no-header |wc -l` ## 查看是否有 nginx进程 把值赋给变量A if [ $A -eq 0 ];then ## 如果没有进程值得为 零 service keepalived stop ## 则结束 keepalived 进程 fi ================================================ FILE: favorite-file/MySQL-Settings/MySQL-5.6/1G-Memory-Machine/my-for-comprehensive.cnf ================================================ # 适用于 Mysql 5.6 # 该配置适合 1G 内存左右的机子，储存类型为 InnoDB # 官网配置说明：http://dev.mysql.com/doc/refman/5.6/en/mysqld-option-tables.html # 官网状态值说明：http://dev.mysql.com/doc/refman/5.6/en/server-status-variables.html # 官网环境变量说明：http://dev.mysql.com/doc/refman/5.6/en/server-system-variables.html # 在线生成配置工具：http://tools.percona.com（只是起到一个参考作用，生成的配置文件里面的参数名有的是用符号：-，而官网是用：_，所以这个也要注意改掉。） # 资料参考：https://blog.linuxeye.com/379.html # 注释内容为注释行下面的配置的解释 # 这是一个综合配置，不是单独为主库或是从库考虑 # 如果你需要主、从配置可以看： # 主的配置可以看：https://github.com/judasn/Linux-Tutorial/blob/master/MySQL-Settings/MySQL-5.6/1G-Memory-Machine/my-for-master.cnf # 从的配置可以看：https://github.com/judasn/Linux-Tutorial/blob/master/MySQL-Settings/MySQL-5.6/1G-Memory-Machine/my-for-salve.cnf # ============================================================================================================ # 客户端设置 [mysql] port = 3306 socket = /usr/program/mysql/data/mysql.sock default-character-set = utf8 # ============================================================================================================ # 服务端设置 [mysqld] user = mysql port = 3306 default-storage-engine = InnoDB socket = /usr/program/mysql/data/mysql.sock pid-file = /usr/program/mysql/data/mysql.pid collation-server = utf8_general_ci init_connect = 'SET NAMES utf8' character-set-server = utf8 basedir = /usr/program/mysql datadir = /usr/program/mysql/data log-error = /usr/program/mysql/data/mysql-error.log # （重点修改）表示是本机的序号为1,一般配合设置主从的时候一定要修改的地方 server-id = 1 # back_log 值指出在 MySQL 暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。如果 MySQL 的连接数据达到 max_connections 时，新来的请求将会被存在堆栈中，以等待某一连接释放资源，该堆栈的数量即 back_log，如果等待连接的数量超过 back_log，将不被授予连接资源。 # 另外，这值（back_log）限于您的操作系统对到来的 TCP/IP 连接的侦听队列的大小。你的操作系统在这个队列大小上有它自己的限制（可以检查你的 OS 文档找出这个变量的最大值），试图设定 back_log 高于你的操作系统的限制将是无效的。 back_log = 512 # MySQL 的最大并发连接数 max_connections = 1000 # 网络传输中一次小心传输量的最大值（最大值为 1G）；增加该变量的值十分安全，这是因为仅当需要时才会分配额外内存。例如，仅当你发出长查询或 MySQL 必须返回大的结果行时 MySQL 才会分配更多内存。该变量之所以取较小默认值是一种预防措施，以捕获客户端和服务器之间的错误信息包，并确保不会因偶然使用大的信息包而导致内存溢出。 max_allowed_packet = 16M # （这个参数有疑问）对于同一主机，如果有超出该参数值个数的中断错误连接，则该主机将被禁止连接。如需对该主机进行解禁，执行 Mysql 命令：FLUSH HOST。 max_connect_errors = 1000000 # 禁止MySQL对外部连接进行DNS解析，使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意，如果开启该选项，则所有远程主机连接授权都要使用IP地址方式，否则MySQL将无法正常处理连接请求 skip-name-resolve # MySQL打开的文件描述符限制 open_files_limit = 65535 # MySQL 每打开一个表，都会读入一些数据到 table_open_cache 缓存中，当 MySQL 在这个缓存中找不到相应信息时，才会去磁盘上读取。默认值 400，最大值：524288。假定系统有 200 个并发连接，则需将此参数设置为 200*N (N 为每个连接所需的文件描述符数目)；当把 table_open_cache 设置为很大时，如果系统处理不了那么多文件描述符，那么就会出现客户端失效，连接不上 table_open_cache = 2048 # 一个事务，在没有提交的时候，产生的日志，记录到 Cache 中；等到事务提交需要提交的时候，则把日志持久化到磁盘。默认 binlog_cache_size 大小32K binlog_cache_size = 1M # 定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变 max_heap_table_size = 32M # MySQL的heap（堆积）表缓冲大小。如果超过该值，则会将临时表写入磁盘。其范围值:1KB~4GB tmp_table_size = 32M # MySQL读入缓冲区大小。该参数对应的分配内存也是每连接独享，所以，如果有100连接，那占用的内存是：100X2M=200M，所以4G内存的服务器，建议该值是6~8M read_buffer_size = 2M # MySQL的随机读缓冲区大小。 read_rnd_buffer_size = 8M # MySQL执行排序使用的缓冲大小。该参数对应的分配内存也是每连接独享，所以，如果有100连接，那占用的内存是：100X2M=200M，所以4G内存的服务器，建议该值是6~8M sort_buffer_size = 2M # 联合查询操作所能使用的缓冲区大小，和sort_buffer_size一样，该参数对应的分配内存也是每连接独享，所以，如果有100连接，那占用的内存是：100X4M=400M，所以4G内存的服务器，建议该值是6~8M join_buffer_size = 4M # 指定用于索引的缓冲区大小，增加它可得到更好处理的索引(对所有读和多重写)，对于4GB内存的服务器，该参数可以设置为：256M或384M key_buffer_size = 64M # 这个值（默认8）表示可以重新利用保存在缓存中线程的数量，当断开连接时如果缓存中还有空间，那么客户端的线程将被放到缓存中， # 根据物理内存设置规则如下： # 1G —> 8 # 2G —> 16 # 3G —> 32 # 大于3G —> 64 thread_cache_size = 8 # 每个线程的堆栈大小，值范围：128K ~ 4GB，默认是192KB thread_stack = 256k # 0是关闭高速缓存，1是开启高速缓存 query_cache_type = 1 # 查询缓冲区的大小，如果是4G内存建议设置为64M。具体设置值还要根据运行环境来判断，你可以执行这个SQL语句：show status like 'Qcache%'; # 从SQL语句查询的结果中，查看Qcache_lowmem_prunes的值非常大表示查询缓冲不够，你应该增加该设置值 query_cache_size = 8M query_cache_limit = 2M # 分词词汇最小长度，默认4 ft_min_word_len = 4 log-bin = /usr/program/mysql/data/mysql-bin binlog-format = mixed expire_logs_days = 30 # 该参数的说明：http://blog.csdn.net/wulantian/article/details/9965905 sync_binlog = 0 # 是否开启慢查询记录，1表示开启，0表示关闭，如果是主从环境下，主库不要开启，从库开启 slow_query_log = 1 # 慢查询时间 超过3秒则为慢查询 long_query_time = 3 slow_query_log_file = /usr/program/mysql/data/mysql-slow.log performance_schema = 0 # 改参数的说明：http://www.cnblogs.com/digdeep/p/4727715.html explicit_defaults_for_timestamp = true # 数据库库名/表名是否区分大小写，0：区分大小写，1：不区分大小写 lower_case_table_names = 1 # MySQL选项以避免外部锁定，减少出错几率，增强稳定性 skip_external_locking # 在网络上不允许TCP/IP连接到MySQL。所有到MySQL的连接必须经由Unix socket进行。如果要允许TCP/IP连接，则注释当前行即可 # skip-networking table_definition_cache = 1024 # 该设置值取值为：服务器机子的逻辑CPU数量X2，比如你的服务器机子是 Linux 系统你可以执行：grep 'processor' /proc/cpuinfo | sort -u | wc -l，可以查看到逻辑CPU数量值，比如我取到的值是24，那我这里应该设置为：24X2=48 thread_concurrency = 2 # 强制为 innodb类型 innodb = FORCE innodb_file_per_table = 1 # 限制Innodb能打开的表的数据，如果库里的表特别多的情况，请增加这个。这个值默认是300 innodb_open_files = 500 # InnoDB使用一个缓冲池来保存索引和原始数据, 不像MyISAM. # 这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少. # 在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的70%左右 # 不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸. innodb_buffer_pool_size = 592M # innodb使用后台线程处理数据页上的读写 I/O(输入输出)请求,根据你的 CPU 核数来更改,默认是4 # 注:这两个参数不支持动态改变,需要把该参数加入到my.cnf里，修改完后重启MySQL服务,允许值的范围从 1-64 innodb_write_io_threads = 4 innodb_read_io_threads = 4 # 默认设置为 0,表示不限制并发数，这里推荐设置为0，更好去发挥CPU多核处理能力，提高并发量 innodb_thread_concurrency = 0 innodb_purge_threads = 1 innodb_flush_log_at_trx_commit = 1 innodb_log_buffer_size = 2M innodb_log_file_size = 64M innodb_log_files_in_group = 3 innodb_max_dirty_pages_pct = 90 innodb_lock_wait_timeout = 120 innodb_additional_mem_pool_size = 2M bulk_insert_buffer_size = 8M # 用于设置在 REPAIR TABLE 和 CREATE INDEX 创建索引或 ALTER TABLE 的过程中排序索引所分配的缓冲区大小，可设置范围：4MB~4GB，默认8MB，4G内存的服务器可以设置为32M~64M myisam_sort_buffer_size = 8M # 32位系统默认值是2147483648=2G，64位系统，默认值是9223372036854775807，单位是bytes. myisam_max_sort_file_size = 100G myisam_repair_threads = 1 # 服务器关闭交互式连接前等待活动的秒数。单位秒 interactive_timeout = 28800 # 服务器关闭非交互连接之前等待活动的秒数。单位秒。通过show processlist命令查看当前系统的连接状态，如果发现有大量的sleep状态的连接进程，则说明该参数设置的过大。默认值:28800 wait_timeout = 3600 # ============================================================================================================ [mysqldump] quick # 服务器发送和接受的最大包长度 max_allowed_packet = 16M [myisamchk] key_buffer_size = 8M sort_buffer_size = 8M read_buffer = 4M write_buffer = 4M ================================================ FILE: favorite-file/MySQL-Settings/MySQL-5.6/1G-Memory-Machine/my-for-master.cnf ================================================ # 适用于 Mysql 5.6 # 该配置适合 1G 内存左右的机子，储存类型为 InnoDB # 官网配置说明：http://dev.mysql.com/doc/refman/5.6/en/mysqld-option-tables.html # 官网状态值说明：http://dev.mysql.com/doc/refman/5.6/en/server-status-variables.html # 官网环境变量说明：http://dev.mysql.com/doc/refman/5.6/en/server-system-variables.html # 在线生成配置工具：http://tools.percona.com（只是起到一个参考作用，生成的配置文件里面的参数名有的是用符号：-，而官网是用：_，所以这个也要注意改掉。） # 资料参考：https://blog.linuxeye.com/379.html # 注释内容为注释行下面的配置的解释 # 这是一个综合配置，不是单独为主库或是从库考虑 # ============================================================================================================ # 客户端设置 [mysql] port = 3306 socket = /usr/program/mysql/data/mysql.sock default-character-set = utf8 # ============================================================================================================ # 服务端设置 [mysqld] user = mysql port = 3306 default-storage-engine = InnoDB socket = /usr/program/mysql/data/mysql.sock pid-file = /usr/program/mysql/data/mysql.pid collation-server = utf8_general_ci init_connect = 'SET NAMES utf8' character-set-server = utf8 basedir = /usr/program/mysql datadir = /usr/program/mysql/data log-error = /usr/program/mysql/data/mysql-error.log # （重点修改）表示是本机的序号为1,一般配合设置主从的时候一定要修改的地方 server-id = 1 # back_log 值指出在 MySQL 暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。如果 MySQL 的连接数据达到 max_connections 时，新来的请求将会被存在堆栈中，以等待某一连接释放资源，该堆栈的数量即 back_log，如果等待连接的数量超过 back_log，将不被授予连接资源。 # 另外，这值（back_log）限于您的操作系统对到来的 TCP/IP 连接的侦听队列的大小。你的操作系统在这个队列大小上有它自己的限制（可以检查你的 OS 文档找出这个变量的最大值），试图设定 back_log 高于你的操作系统的限制将是无效的。 back_log = 512 # MySQL 的最大并发连接数 max_connections = 1000 # 网络传输中一次小心传输量的最大值（最大值为 1G）；增加该变量的值十分安全，这是因为仅当需要时才会分配额外内存。例如，仅当你发出长查询或 MySQL 必须返回大的结果行时 MySQL 才会分配更多内存。该变量之所以取较小默认值是一种预防措施，以捕获客户端和服务器之间的错误信息包，并确保不会因偶然使用大的信息包而导致内存溢出。 max_allowed_packet = 16M # 对于同一主机，如果有超出该参数值个数的中断错误连接，则该主机将被禁止连接。如需对该主机进行解禁，执行 Mysql 命令：FLUSH HOST。 max_connect_errors = 1000000 # 禁止MySQL对外部连接进行DNS解析，使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意，如果开启该选项，则所有远程主机连接授权都要使用IP地址方式，否则MySQL将无法正常处理连接请求 skip-name-resolve # MySQL打开的文件描述符限制 open_files_limit = 65535 # MySQL 每打开一个表，都会读入一些数据到 table_open_cache 缓存中，当 MySQL 在这个缓存中找不到相应信息时，才会去磁盘上读取。默认值 400，最大值：524288。假定系统有 200 个并发连接，则需将此参数设置为 200*N (N 为每个连接所需的文件描述符数目)；当把 table_open_cache 设置为很大时，如果系统处理不了那么多文件描述符，那么就会出现客户端失效，连接不上 table_open_cache = 2048 # 一个事务，在没有提交的时候，产生的日志，记录到 Cache 中；等到事务提交需要提交的时候，则把日志持久化到磁盘。默认 binlog_cache_size 大小32K binlog_cache_size = 1M # 定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变 max_heap_table_size = 32M # MySQL的heap（堆积）表缓冲大小。如果超过该值，则会将临时表写入磁盘。其范围值:1KB~4GB tmp_table_size = 32M # MySQL读入缓冲区大小。该参数对应的分配内存也是每连接独享，所以，如果有100连接，那占用的内存是：100X2M=200M，所以4G内存的服务器，建议该值是6~8M read_buffer_size = 2M # MySQL的随机读缓冲区大小。 read_rnd_buffer_size = 8M # MySQL执行排序使用的缓冲大小。该参数对应的分配内存也是每连接独享，所以，如果有100连接，那占用的内存是：100X2M=200M，所以4G内存的服务器，建议该值是6~8M sort_buffer_size = 2M # 联合查询操作所能使用的缓冲区大小，和sort_buffer_size一样，该参数对应的分配内存也是每连接独享，所以，如果有100连接，那占用的内存是：100X4M=400M，所以4G内存的服务器，建议该值是6~8M join_buffer_size = 4M # 指定用于索引的缓冲区大小，增加它可得到更好处理的索引(对所有读和多重写)，对于4GB内存的服务器，该参数可以设置为：256M或384M key_buffer_size = 64M # 这个值（默认8）表示可以重新利用保存在缓存中线程的数量，当断开连接时如果缓存中还有空间，那么客户端的线程将被放到缓存中， # 根据物理内存设置规则如下： # 1G —> 8 # 2G —> 16 # 3G —> 32 # 大于3G —> 64 thread_cache_size = 8 # 每个线程的堆栈大小，值范围：128K ~ 4GB，默认是192KB thread_stack = 256k # 0是关闭高速缓存，1是开启高速缓存 query_cache_type = 0 # 查询缓冲区的大小，如果是4G内存建议设置为64M。具体设置值还要根据运行环境来判断，你可以执行这个SQL语句：show status like 'Qcache%'; # 从SQL语句查询的结果中，查看Qcache_lowmem_prunes的值非常大表示查询缓冲不够，你应该增加该设置值 query_cache_size = 0 query_cache_limit = 2M # 分词词汇最小长度，默认4 ft_min_word_len = 4 log-bin = /usr/program/mysql/data/mysql-bin binlog-format = mixed expire_logs_days = 30 # 该参数的说明：http://blog.csdn.net/wulantian/article/details/9965905 sync_binlog = 1 # 是否开启慢查询记录，1表示开启，0表示关闭，如果是主从环境下，主库不要开启，从库开启 slow_query_log = 0 # 慢查询时间 超过3秒则为慢查询 long_query_time = 3 slow_query_log_file = /usr/program/mysql/data/mysql-slow.log performance_schema = 0 # 改参数的说明：http://www.cnblogs.com/digdeep/p/4727715.html explicit_defaults_for_timestamp = true # 数据库库名/表名是否区分大小写，0：区分大小写，1：不区分大小写 lower_case_table_names = 1 # MySQL选项以避免外部锁定，减少出错几率，增强稳定性 skip_external_locking # 在网络上不允许TCP/IP连接到MySQL。所有到MySQL的连接必须经由Unix socket进行。如果要允许TCP/IP连接，则注释当前行即可 # skip-networking table_definition_cache = 1024 # 该设置值取值为：服务器机子的逻辑CPU数量X2，比如你的服务器机子是 Linux 系统你可以执行：grep 'processor' /proc/cpuinfo | sort -u | wc -l，可以查看到逻辑CPU数量值，比如我取到的值是24，那我这里应该设置为：24X2=48 thread_concurrency = 2 # 强制为 innodb类型 innodb = FORCE innodb_file_per_table = 1 # 限制Innodb能打开的表的数据，如果库里的表特别多的情况，请增加这个。这个值默认是300 innodb_open_files = 500 # InnoDB使用一个缓冲池来保存索引和原始数据, 不像MyISAM. # 这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少. # 在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的70%左右 # 不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸. innodb_buffer_pool_size = 592M # innodb使用后台线程处理数据页上的读写 I/O(输入输出)请求,根据你的 CPU 核数来更改,默认是4 # 注:这两个参数不支持动态改变,需要把该参数加入到my.cnf里，修改完后重启MySQL服务,允许值的范围从 1-64 innodb_write_io_threads = 4 innodb_read_io_threads = 4 # 默认设置为 0,表示不限制并发数，这里推荐设置为0，更好去发挥CPU多核处理能力，提高并发量 innodb_thread_concurrency = 0 innodb_purge_threads = 1 innodb_flush_log_at_trx_commit = 1 innodb_log_buffer_size = 2M innodb_log_file_size = 64M innodb_log_files_in_group = 3 innodb_max_dirty_pages_pct = 90 innodb_lock_wait_timeout = 120 innodb_additional_mem_pool_size = 2M bulk_insert_buffer_size = 8M # 用于设置在 REPAIR TABLE 和 CREATE INDEX 创建索引或 ALTER TABLE 的过程中排序索引所分配的缓冲区大小，可设置范围：4MB~4GB，默认8MB，4G内存的服务器可以设置为32M~64M myisam_sort_buffer_size = 8M # 32位系统默认值是2147483648=2G，64位系统，默认值是9223372036854775807，单位是bytes. myisam_max_sort_file_size = 100G myisam_repair_threads = 1 # 服务器关闭交互式连接前等待活动的秒数。单位秒 interactive_timeout = 28800 # 服务器关闭非交互连接之前等待活动的秒数。单位秒。通过show processlist命令查看当前系统的连接状态，如果发现有大量的sleep状态的连接进程，则说明该参数设置的过大。默认值:28800 wait_timeout = 3600 # ============================================================================================================ [mysqldump] quick # 服务器发送和接受的最大包长度 max_allowed_packet = 16M [myisamchk] key_buffer_size = 8M sort_buffer_size = 8M read_buffer = 4M write_buffer = 4M ================================================ FILE: favorite-file/MySQL-Settings/MySQL-5.6/1G-Memory-Machine/my-for-salve.cnf ================================================ # 适用于 Mysql 5.6 # 该配置适合 1G 内存左右的机子，储存类型为 InnoDB # 官网配置说明：http://dev.mysql.com/doc/refman/5.6/en/mysqld-option-tables.html # 官网状态值说明：http://dev.mysql.com/doc/refman/5.6/en/server-status-variables.html # 官网环境变量说明：http://dev.mysql.com/doc/refman/5.6/en/server-system-variables.html # 在线生成配置工具：http://tools.percona.com（只是起到一个参考作用，生成的配置文件里面的参数名有的是用符号：-，而官网是用：_，所以这个也要注意改掉。） # 资料参考：https://blog.linuxeye.com/379.html # 注释内容为注释行下面的配置的解释 # 这是一个综合配置，不是单独为主库或是从库考虑 # ============================================================================================================ # 客户端设置 [mysql] port = 3306 socket = /usr/program/mysql/data/mysql.sock default-character-set = utf8 # ============================================================================================================ # 服务端设置 [mysqld] user = mysql port = 3306 default-storage-engine = InnoDB socket = /usr/program/mysql/data/mysql.sock pid-file = /usr/program/mysql/data/mysql.pid collation-server = utf8_general_ci init_connect = 'SET NAMES utf8' character-set-server = utf8 basedir = /usr/program/mysql datadir = /usr/program/mysql/data log-error = /usr/program/mysql/data/mysql-error.log # （重点修改）表示是本机的序号为1,一般配合设置主从的时候一定要修改的地方 server-id = 1 # 从库特有的设置 start read_only = true # 从库不自动开启主从设置，需要使用命令：START SLAVE; skip-slave-start = true log-slave-updates = true relay-log = /usr/program/mysql/data/relay-bin # 单位秒 slave-net-timeout = 60 sync_master_info = 1 sync_relay_log = 1 sync_relay_log_info = 1 # 从库特有的设置 end # back_log 值指出在 MySQL 暂时停止回答新请求之前的短时间内多少个请求可以被存在堆栈中。如果 MySQL 的连接数据达到 max_connections 时，新来的请求将会被存在堆栈中，以等待某一连接释放资源，该堆栈的数量即 back_log，如果等待连接的数量超过 back_log，将不被授予连接资源。 # 另外，这值（back_log）限于您的操作系统对到来的 TCP/IP 连接的侦听队列的大小。你的操作系统在这个队列大小上有它自己的限制（可以检查你的 OS 文档找出这个变量的最大值），试图设定 back_log 高于你的操作系统的限制将是无效的。 back_log = 512 # MySQL 的最大并发连接数 max_connections = 1000 # 网络传输中一次小心传输量的最大值（最大值为 1G）；增加该变量的值十分安全，这是因为仅当需要时才会分配额外内存。例如，仅当你发出长查询或 MySQL 必须返回大的结果行时 MySQL 才会分配更多内存。该变量之所以取较小默认值是一种预防措施，以捕获客户端和服务器之间的错误信息包，并确保不会因偶然使用大的信息包而导致内存溢出。 max_allowed_packet = 16M # 对于同一主机，如果有超出该参数值个数的中断错误连接，则该主机将被禁止连接。如需对该主机进行解禁，执行 Mysql 命令：FLUSH HOST。 max_connect_errors = 1000000 # 禁止MySQL对外部连接进行DNS解析，使用这一选项可以消除MySQL进行DNS解析的时间。但需要注意，如果开启该选项，则所有远程主机连接授权都要使用IP地址方式，否则MySQL将无法正常处理连接请求 skip-name-resolve # MySQL打开的文件描述符限制 open_files_limit = 65535 # MySQL 每打开一个表，都会读入一些数据到 table_open_cache 缓存中，当 MySQL 在这个缓存中找不到相应信息时，才会去磁盘上读取。默认值 400，最大值：524288。假定系统有 200 个并发连接，则需将此参数设置为 200*N (N 为每个连接所需的文件描述符数目)；当把 table_open_cache 设置为很大时，如果系统处理不了那么多文件描述符，那么就会出现客户端失效，连接不上 table_open_cache = 2048 # 一个事务，在没有提交的时候，产生的日志，记录到 Cache 中；等到事务提交需要提交的时候，则把日志持久化到磁盘。默认 binlog_cache_size 大小32K binlog_cache_size = 1M # 定义了用户可以创建的内存表(memory table)的大小。这个值用来计算内存表的最大行数值。这个变量支持动态改变 max_heap_table_size = 32M # MySQL的heap（堆积）表缓冲大小。如果超过该值，则会将临时表写入磁盘。其范围值:1KB~4GB tmp_table_size = 32M # MySQL读入缓冲区大小。该参数对应的分配内存也是每连接独享，所以，如果有100连接，那占用的内存是：100X2M=200M，所以4G内存的服务器，建议该值是6~8M read_buffer_size = 2M # MySQL的随机读缓冲区大小。 read_rnd_buffer_size = 8M # MySQL执行排序使用的缓冲大小。该参数对应的分配内存也是每连接独享，所以，如果有100连接，那占用的内存是：100X2M=200M，所以4G内存的服务器，建议该值是6~8M sort_buffer_size = 2M # 联合查询操作所能使用的缓冲区大小，和sort_buffer_size一样，该参数对应的分配内存也是每连接独享，所以，如果有100连接，那占用的内存是：100X4M=400M，所以4G内存的服务器，建议该值是6~8M join_buffer_size = 4M # 指定用于索引的缓冲区大小，增加它可得到更好处理的索引(对所有读和多重写)，对于4GB内存的服务器，该参数可以设置为：256M或384M key_buffer_size = 64M # 这个值（默认8）表示可以重新利用保存在缓存中线程的数量，当断开连接时如果缓存中还有空间，那么客户端的线程将被放到缓存中， # 根据物理内存设置规则如下： # 1G —> 8 # 2G —> 16 # 3G —> 32 # 大于3G —> 64 thread_cache_size = 8 # 每个线程的堆栈大小，值范围：128K ~ 4GB，默认是192KB thread_stack = 256k # 0是关闭高速缓存，1是开启高速缓存 query_cache_type = 1 # 查询缓冲区的大小，如果是4G内存建议设置为64M。具体设置值还要根据运行环境来判断，你可以执行这个SQL语句：show status like 'Qcache%'; # 从SQL语句查询的结果中，查看Qcache_lowmem_prunes的值非常大表示查询缓冲不够，你应该增加该设置值 query_cache_size = 8M query_cache_limit = 2M # 分词词汇最小长度，默认4 ft_min_word_len = 4 log-bin = /usr/program/mysql/data/mysql-bin binlog-format = mixed expire_logs_days = 30 # 该参数的说明：http://blog.csdn.net/wulantian/article/details/9965905 sync_binlog = 0 # 是否开启慢查询记录，1表示开启，0表示关闭，如果是主从环境下，主库不要开启，从库开启 slow_query_log = 1 # 慢查询时间 超过3秒则为慢查询 long_query_time = 3 slow_query_log_file = /usr/program/mysql/data/mysql-slow.log performance_schema = 0 # 改参数的说明：http://www.cnblogs.com/digdeep/p/4727715.html explicit_defaults_for_timestamp = true # 数据库库名/表名是否区分大小写，0：区分大小写，1：不区分大小写 lower_case_table_names = 1 # MySQL选项以避免外部锁定，减少出错几率，增强稳定性 skip_external_locking # 在网络上不允许TCP/IP连接到MySQL。所有到MySQL的连接必须经由Unix socket进行。如果要允许TCP/IP连接，则注释当前行即可 # skip-networking table_definition_cache = 1024 # 该设置值取值为：服务器机子的逻辑CPU数量X2，比如你的服务器机子是 Linux 系统你可以执行：grep 'processor' /proc/cpuinfo | sort -u | wc -l，可以查看到逻辑CPU数量值，比如我取到的值是24，那我这里应该设置为：24X2=48 thread_concurrency = 2 # 强制为 innodb类型 innodb = FORCE innodb_file_per_table = 1 # 限制Innodb能打开的表的数据，如果库里的表特别多的情况，请增加这个。这个值默认是300 innodb_open_files = 500 # InnoDB使用一个缓冲池来保存索引和原始数据, 不像MyISAM. # 这里你设置越大,你在存取表里面数据时所需要的磁盘I/O越少. # 在一个独立使用的数据库服务器上,你可以设置这个变量到服务器物理内存大小的70%左右 # 不要设置过大,否则,由于物理内存的竞争可能导致操作系统的换页颠簸. innodb_buffer_pool_size = 592M # innodb使用后台线程处理数据页上的读写 I/O(输入输出)请求,根据你的 CPU 核数来更改,默认是4 # 注:这两个参数不支持动态改变,需要把该参数加入到my.cnf里，修改完后重启MySQL服务,允许值的范围从 1-64 innodb_write_io_threads = 4 innodb_read_io_threads = 4 # 默认设置为 0,表示不限制并发数，这里推荐设置为0，更好去发挥CPU多核处理能力，提高并发量 innodb_thread_concurrency = 0 innodb_purge_threads = 1 innodb_flush_log_at_trx_commit = 1 innodb_log_buffer_size = 2M innodb_log_file_size = 64M innodb_log_files_in_group = 3 innodb_max_dirty_pages_pct = 90 innodb_lock_wait_timeout = 120 innodb_additional_mem_pool_size = 2M bulk_insert_buffer_size = 8M # 用于设置在 REPAIR TABLE 和 CREATE INDEX 创建索引或 ALTER TABLE 的过程中排序索引所分配的缓冲区大小，可设置范围：4MB~4GB，默认8MB，4G内存的服务器可以设置为32M~64M myisam_sort_buffer_size = 8M # 32位系统默认值是2147483648=2G，64位系统，默认值是9223372036854775807，单位是bytes. myisam_max_sort_file_size = 100G myisam_repair_threads = 1 # 服务器关闭交互式连接前等待活动的秒数。单位秒 interactive_timeout = 28800 # 服务器关闭非交互连接之前等待活动的秒数。单位秒。通过show processlist命令查看当前系统的连接状态，如果发现有大量的sleep状态的连接进程，则说明该参数设置的过大。默认值:28800 wait_timeout = 3600 # ============================================================================================================ [mysqldump] quick # 服务器发送和接受的最大包长度 max_allowed_packet = 16M [myisamchk] key_buffer_size = 8M sort_buffer_size = 8M read_buffer = 4M write_buffer = 4M ================================================ FILE: favorite-file/MySQL-Settings/MySQL-5.6/8G-Memory-Machine/my.cnf ================================================ [mysql] port = 3306 socket = /usr/program/mysql/data/mysql.sock default-character-set = utf8 [mysqld] user = mysql port = 3306 server-id = 100866 default-storage-engine = InnoDB socket = /usr/program/mysql/data/mysql.sock pid-file = /usr/program/mysql/data/mysql.pid collation-server = utf8_general_ci init_connect = 'SET NAMES utf8' character-set-server = utf8 basedir = /usr/program/mysql datadir = /usr/program/mysql/data log-error = /usr/program/mysql/data/mysql-error.log back_log = 512 max_connections = 1000 max_allowed_packet = 120M max_connect_errors = 1000000 skip-name-resolve open_files_limit = 65535 table_open_cache = 2048 binlog_cache_size = 20M max_heap_table_size = 40M tmp_table_size = 64M read_buffer_size = 20M read_rnd_buffer_size = 20M sort_buffer_size = 20M join_buffer_size = 20M key_buffer_size = 40M thread_cache_size = 100 thread_stack = 20M # 5.6.8之后这个不再建议开启了，所以要关掉 query_cache_type = 0 query_cache_size = 40M query_cache_limit = 10M ft_min_word_len = 4 log-bin = /usr/program/mysql/data/mysql-bin binlog-format = mixed expire_logs_days = 14 sync_binlog = 0 log-queries-not-using-indexes = 1 slow_query_log = 0 long_query_time = 3 slow_query_log_file = /usr/program/mysql/data/mysql-slow.log performance_schema = 0 explicit_defaults_for_timestamp = true lower_case_table_names = 1 skip_external_locking table_definition_cache = 1024 thread_concurrency = 2 innodb = FORCE innodb_flush_method = O_DIRECT innodb_file_per_table = 1 innodb_open_files = 500 innodb_thread_concurrency = 0 innodb_purge_threads = 1 innodb_flush_log_at_trx_commit = 1 innodb_log_buffer_size = 20M innodb_log_file_size = 256M innodb_log_files_in_group = 2 innodb_lock_wait_timeout = 120 innodb_additional_mem_pool_size = 20M innodb_buffer_pool_size = 3G innodb_read_io_threads = 8 innodb_write_io_threads = 8 innodb_io_capacity = 2000 innodb_max_dirty_pages_pct = 90 bulk_insert_buffer_size = 64M myisam_sort_buffer_size = 64M myisam_max_sort_file_size = 10G myisam_repair_threads = 1 interactive_timeout = 28800 wait_timeout = 3600 [mysqldump] quick max_allowed_packet = 120M [myisamchk] key_buffer_size = 20M sort_buffer_size = 20M read_buffer = 20M write_buffer = 20M ================================================ FILE: favorite-file/MySQL-Settings/MySQL-5.6/developer/my-Windows-8G-开发机.ini ================================================ [client] no-beep port=3306 [mysql] default-character-set=utf8 [mysqld] port=3306 basedir="C:/Program Files/MySQL/MySQL Server 5.6/" datadir="C:/ProgramData/MySQL/MySQL Server 5.6/data\" character-set-server=utf8 default-storage-engine=INNODB sql-mode="STRICT_TRANS_TABLES,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION" log-output=NONE general-log=0 general_log_file="AJBC-1540.log" slow-query-log=0 slow_query_log_file="AJBC-1540-slow.log" long_query_time=10 log-error="AJBC-1540.err" max_connections=1000 query_cache_size=10M table_open_cache=2000 tmp_table_size=37M thread_cache_size=32 myisam_max_sort_file_size=100G myisam_sort_buffer_size=72M key_buffer_size=256M read_buffer_size=6M read_rnd_buffer_size=8M sort_buffer_size=2M innodb_additional_mem_pool_size=5M innodb_flush_log_at_trx_commit=1 innodb_log_buffer_size=3M innodb_buffer_pool_size=592M innodb_log_file_size=64M innodb_thread_concurrency=9 innodb_autoextend_increment=64M innodb_buffer_pool_instances=8 innodb_concurrency_tickets=5000 innodb_old_blocks_time=1000 innodb_open_files=500 innodb_stats_on_metadata=0 innodb_file_per_table=1 innodb_checksum_algorithm=0 back_log=512 flush_time=0 join_buffer_size=4M max_allowed_packet=50M max_connect_errors=1000000 open_files_limit=65535 query_cache_type=1 table_definition_cache=1400 binlog_row_event_max_size=8K sync_master_info=10000 sync_relay_log=10000 sync_relay_log_info=10000 innodb_write_io_threads = 4 innodb_read_io_threads = 4 innodb_purge_threads = 1 innodb_log_files_in_group = 3 innodb_max_dirty_pages_pct = 90 innodb_lock_wait_timeout = 120 max_heap_table_size = 32M thread_stack = 256k ft_min_word_len = 4 performance_schema = 0 explicit_defaults_for_timestamp = true skip_external_locking bulk_insert_buffer_size = 8M wait_timeout = 3600 interactive_timeout = 28800 myisam_repair_threads = 1 query_cache_limit = 5M ================================================ FILE: favorite-file/Nginx-Settings/nginx ================================================ #!/bin/bash #nginx执行程序路径需要修改 nginxd=/usr/local/nginx/sbin/nginx # nginx配置文件路径需要修改 nginx_config=/usr/local/nginx/conf/nginx.conf # pid 地址需要修改 nginx_pid=/var/local/nginx/nginx.pid RETVAL=0 prog="nginx" # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ ${NETWORKING} = "no" ] && exit 0 [ -x $nginxd ] || exit 0 # Start nginx daemons functions. start() { if [ -e $nginx_pid ];then echo "nginx already running...." exit 1 fi echo -n $"Starting $prog: " daemon $nginxd -c ${nginx_config} RETVAL=$? echo [ $RETVAL = 0 ] && touch /var/lock/subsys/nginx return $RETVAL } # Stop nginx daemons functions. # pid 地址需要修改 stop() { echo -n $"Stopping $prog: " killproc $nginxd RETVAL=$? echo [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /var/local/nginx/nginx.pid } # reload nginx service functions. reload() { echo -n $"Reloading $prog: " #kill -HUP `cat ${nginx_pid}` killproc $nginxd -HUP RETVAL=$? echo } # See how we were called. case "$1" in start) start ;; stop) stop ;; reload) reload ;; restart) stop start ;; status) status $prog RETVAL=$? ;; *) echo $"Usage: $prog {start|stop|restart|reload|status|help}" exit 1 esac exit $RETVAL ================================================ FILE: favorite-file/Nginx-Settings/nginx-front.conf ================================================ user root; worker_processes auto; pid /run/nginx.pid; events { use epoll; multi_accept on; worker_connections 1024; } http { # 必须加这两个，不然 CSS 无法正常加载 include mime.types; default_type application/octet-stream; sendfile on; tcp_nopush on; tcp_nodelay on; keepalive_timeout 65; types_hash_max_size 2048; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" "$request_time"'; access_log /var/log/nginx/access.log main; error_log /var/log/nginx/error.log; gzip on; gzip_buffers 8 16k; gzip_min_length 512; gzip_disable "MSIE [1-6]\.(?!.*SV1)"; gzip_http_version 1.1; gzip_types text/plain text/css application/javascript application/x-javascript application/json application/xml; server { listen 8001; server_name localhost 127.0.0.1 139.159.190.24 platform.gitnavi.com; location / { root /root/.jenkins/workspace/nestle-platform-front-test/dist; index index.html index.htm; try_files $uri /index.html; } ## 二级目录方式，记得 package.json 添加："homepage": "cdk8s-markdown", location ^~ /cdk8s-markdown { root /root/.jenkins/workspace; index index.html; try_files $uri /cdk8s-markdown/index.html; } location ^~ /platform/ { proxy_pass http://127.0.0.1:28081; proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } location ~ .*\.(js|css)?$ { root /root/.jenkins/workspace/nestle-platform-front-test/dist; } location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|ico|woff|woff2|ttf|eot|txt|svg)$ { root /root/.jenkins/workspace/nestle-platform-front-test/dist; } error_page 404 /404.html; location = /usr/share/nginx/html/40x.html { } error_page 500 502 503 504 /50x.html; location = /usr/share/nginx/html/50x.html { } } server { listen 8002; server_name localhost 127.0.0.1 139.159.190.24 store.gitnavi.com; location / { root /root/.jenkins/workspace/nestle-store-front-test/dist; index index.html index.htm; try_files $uri /index.html; } location ^~ /store/ { proxy_pass http://127.0.0.1:28082; proxy_redirect off; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; } location ~ .*\.(js|css)?$ { root /root/.jenkins/workspace/nestle-store-front-test/dist; } location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|ico|woff|woff2|ttf|eot|txt|svg)$ { root /root/.jenkins/workspace/nestle-store-front-test/dist; } error_page 404 /404.html; location = /usr/share/nginx/html/40x.html { } error_page 500 502 503 504 /50x.html; location = /usr/share/nginx/html/50x.html { } } } ================================================ FILE: favorite-file/Tomcat-Settings/server.xml ================================================ ================================================ FILE: favorite-file/gravitee-docker-compose/README.md ================================================ # graviteeio api gateway docker-compose running fork from graviteeio project && change some deps image - - ## how to run ```code cd platform && docker-compose up -d ``` ## manager ui * api portal ```code open https://localhost/apim/portal ``` * access manager ui ```code open https://localhost/am/ui/ ``` ## Note: - environments directory has some demos with ci && traefik gateway - portal account admin amdin - access manager ui account admin adminadmin ================================================ FILE: favorite-file/gravitee-docker-compose/environments/ci/docker-compose.yml ================================================ #------------------------------------------------------------------------------- # Copyright (C) 2015 The Gravitee team (http://gravitee.io) # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # http://www.apache.org/licenses/LICENSE-2.0 # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. #------------------------------------------------------------------------------- version: '2' services: ci: image: graviteeio/jenkins:latest container_name: ci network_mode: "bridge" expose: - 50022 ports: - "50022:50022" labels: - "traefik.frontend.rule=Host:ci.gravitee.io" - "traefik.port=8080" volumes: - /var/jenkins_home:/var/jenkins_home - /var/run/docker.sock:/var/run/docker.sock links: - redis-test - qa redis-test: image: redis:3 container_name: redis-test network_mode: "bridge" qa: image: sonarqube:alpine container_name: qa network_mode: "bridge" environment: - SONARQUBE_JDBC_URL=jdbc:postgresql://sonarqube-db:5432/sonar labels: - "traefik.frontend.rule=Host:qa.gravitee.io" volumes: - /opt/sonarqube/conf:/opt/sonarqube/conf - /opt/sonarqube/data:/opt/sonarqube/data - /opt/sonarqube/extensions:/opt/sonarqube/extensions - /opt/sonarqube/bundled-plugins:/opt/sonarqube/lib/bundled-plugins links: - sonarqube-db sonarqube-db: image: postgres:alpine network_mode: "bridge" environment: - POSTGRES_USER=sonar - POSTGRES_PASSWORD=sonar volumes: - /opt/sonarqube/postgresql/data:/var/lib/postgresql/data ================================================ FILE: favorite-file/gravitee-docker-compose/environments/demo/common.yml ================================================ #------------------------------------------------------------------------------- # Copyright (C) 2015 The Gravitee team (http://gravitee.io) # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # http://www.apache.org/licenses/LICENSE-2.0 # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. #------------------------------------------------------------------------------- version: '2' volumes: datamongo: {} dataelasticsearch: {} services: elasticsearch: hostname: demo-elasticsearch image: docker.elastic.co/elasticsearch/elasticsearch:5.4.3 volumes: - dataelasticsearch:/usr/share/elasticsearch/data environment: - http.host=0.0.0.0 - transport.host=0.0.0.0 - xpack.security.enabled=false - xpack.monitoring.enabled=false - cluster.name=elasticsearch - bootstrap.memory_lock=true - "ES_JAVA_OPTS=-Xms512m -Xmx512m" ulimits: memlock: soft: -1 hard: -1 nofile: 65536 mongodb: hostname: demo-mongodb image: mongo:3.4 volumes: - datamongo:/data/db gateway: hostname: demo-gateway image: graviteeio/gateway:latest environment: - gravitee_management_mongodb_uri=mongodb://mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_ratelimit_mongodb_uri=mongodb://mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_reporters_elasticsearch_endpoints_0=http://elasticsearch:9200 managementui: hostname: demo-managementui image: graviteeio/management-ui:latest managementapi: hostname: demo-managementapi image: graviteeio/management-api:latest environment: - gravitee_management_mongodb_uri=mongodb://mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_analytics_elasticsearch_endpoints_0=http://elasticsearch:9200 ================================================ FILE: favorite-file/gravitee-docker-compose/environments/demo/docker-compose-local.yml ================================================ #------------------------------------------------------------------------------- # Copyright (C) 2015 The Gravitee team (http://gravitee.io) # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # http://www.apache.org/licenses/LICENSE-2.0 # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. #------------------------------------------------------------------------------- version: '2' volumes: local_datamongo: {} local_dataelasticsearch: {} services: local_elasticsearch: extends: file: common.yml service: elasticsearch volumes: - local_dataelasticsearch:/usr/share/elasticsearch/data - ./logs/elasticsearch:/var/log/elasticsearch local_mongodb: extends: file: common.yml service: mongodb volumes: - local_datamongo:/data/db - ./logs/mongodb:/var/log/mongodb local_gateway: extends: file: common.yml service: gateway links: - "local_mongodb:demo-mongodb" - "local_elasticsearch:demo-elasticsearch" ports: - "8000:8082" volumes: - ./logs/gateway:/etc/gravitee.io/log environment: - gravitee_management_mongodb_uri=mongodb://demo-mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_ratelimit_mongodb_uri=mongodb://demo-mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_reporters_elasticsearch_endpoints_0=http://demo-elasticsearch:9200 local_managementui: extends: file: common.yml service: managementui ports: - "8002:80" volumes: - ./logs/management-ui:/var/log/httpd environment: - MGMT_API_URL=http:\/\/localhost:8005\/management\/ local_managementapi: extends: file: common.yml service: managementapi ports: - "8005:8083" volumes: - ./logs/management-api:/home/gravitee/logs links: - "local_mongodb:demo-mongodb" - "local_elasticsearch:demo-elasticsearch" environment: - gravitee_management_mongodb_uri=mongodb://demo-mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_analytics_elasticsearch_endpoints_0=http://demo-elasticsearch:9200 ================================================ FILE: favorite-file/gravitee-docker-compose/environments/demo/docker-compose-traefik-latest.yml ================================================ #------------------------------------------------------------------------------- # Copyright (C) 2015 The Gravitee team (http://gravitee.io) # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # http://www.apache.org/licenses/LICENSE-2.0 # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. #------------------------------------------------------------------------------- version: '2' volumes: latest_datamongo: {} latest_dataelasticsearch: {} services: latest_elasticsearch: network_mode: "bridge" extends: file: common.yml service: elasticsearch volumes: - latest_dataelasticsearch:/usr/share/elasticsearch/data latest_mongodb: network_mode: "bridge" extends: file: common.yml service: mongodb volumes: - latest_datamongo:/data/db latest_gateway: network_mode: "bridge" extends: file: common.yml service: gateway links: - latest_mongodb - latest_elasticsearch labels: - "traefik.backend=graviteeio-gateway" - "traefik.frontend.rule=Host:demo.gravitee.io;PathPrefixStrip:/gateway" environment: - gravitee_management_mongodb_uri=mongodb://demo-mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_ratelimit_mongodb_uri=mongodb://demo-mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_reporters_elasticsearch_endpoints_0=http://demo-elasticsearch:9200 latest_managementui: network_mode: "bridge" extends: file: common.yml service: managementui labels: - "traefik.backend=graviteeio-managementui" - "traefik.frontend.rule=Host:demo.gravitee.io" environment: - MGMT_API_URL=https:\/\/demo.gravitee.io\/management\/ latest_managementapi: network_mode: "bridge" extends: file: common.yml service: managementapi labels: - "traefik.backend=graviteeio-managementapi" - "traefik.frontend.rule=Host:demo.gravitee.io;PathPrefix:/management" links: - latest_mongodb - latest_elasticsearch environment: - gravitee_management_mongodb_uri=mongodb://demo-mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_analytics_elasticsearch_endpoints_0=http://demo-elasticsearch:9200 ================================================ FILE: favorite-file/gravitee-docker-compose/environments/demo/docker-compose-traefik-nightly.yml ================================================ #------------------------------------------------------------------------------- # Copyright (C) 2015 The Gravitee team (http://gravitee.io) # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # http://www.apache.org/licenses/LICENSE-2.0 # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. #------------------------------------------------------------------------------- version: '2' volumes: nightly_datamongo: {} nightly_dataelasticsearch: {} services: nightly_elasticsearch: network_mode: "bridge" extends: file: common.yml service: elasticsearch volumes: - nightly_dataelasticsearch:/usr/share/elasticsearch/data nightly_mongodb: network_mode: "bridge" extends: file: common.yml service: mongodb volumes: - nightly_datamongo:/data/db nightly_gateway: image: graviteeio/gateway:nightly network_mode: "bridge" extends: file: common.yml service: gateway links: - nightly_mongodb - nightly_elasticsearch labels: - "traefik.backend=nightly-graviteeio-gateway" - "traefik.frontend.rule=Host:nightly.gravitee.io;PathPrefixStrip:/gateway" environment: - gravitee_management_mongodb_uri=mongodb://demo-mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_ratelimit_mongodb_uri=mongodb://demo-mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_reporters_elasticsearch_endpoints_0=http://demo-elasticsearch:9200 nightly_managementui: image: graviteeio/management-ui:nightly network_mode: "bridge" extends: file: common.yml service: managementui labels: - "traefik.backend=nightly-graviteeio-managementui" - "traefik.frontend.rule=Host:nightly.gravitee.io" environment: - MGMT_API_URL=https:\/\/nightly.gravitee.io\/management\/ nightly_managementapi: image: graviteeio/management-api:nightly network_mode: "bridge" extends: file: common.yml service: managementapi labels: - "traefik.backend=nightly-graviteeio-managementapi" - "traefik.frontend.rule=Host:nightly.gravitee.io;PathPrefix:/management" links: - nightly_mongodb - nightly_elasticsearch environment: - gravitee_management_mongodb_uri=mongodb://demo-mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_analytics_elasticsearch_endpoints_0=http://demo-elasticsearch:9200 ================================================ FILE: favorite-file/gravitee-docker-compose/environments/demo/launch.sh ================================================ #!/bin/bash #------------------------------------------------------------------------------- # Copyright (C) 2015 The Gravitee team (http://gravitee.io) # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # http://www.apache.org/licenses/LICENSE-2.0 # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. #------------------------------------------------------------------------------- readonly WORKDIR="$HOME/graviteeio-demo" readonly DIRNAME=`dirname $0` readonly PROGNAME=`basename $0` readonly color_title='\033[32m' readonly color_text='\033[1;36m' # OS specific support (must be 'true' or 'false'). declare cygwin=false declare darwin=false declare linux=false declare dc_exec="docker-compose -f docker-compose-local.yml up" welcome() { echo echo -e " ${color_title} _____ _____ __ _______ _______ ______ ______ _____ ____ \033[0m" echo -e " ${color_title} / ____| __ \ /\ \ / /_ _|__ __| ____| ____| |_ _/ __ \ \033[0m" echo -e " ${color_title}| | __| |__) | / \ \ / / | | | | | |__ | |__ | || | | | \033[0m" echo -e " ${color_title}| | |_ | _ / / /\ \ \/ / | | | | | __| | __| | || | | | \033[0m" echo -e " ${color_title}| |__| | | \ \ / ____ \ / _| |_ | | | |____| |____ _ _| || |__| | \033[0m" echo -e " ${color_title} \_____|_| \_\/_/ \_\/ |_____| |_| |______|______(_)_____\____/ \033[0m" echo -e " ${color_title} | | \033[0m${color_text}http://gravitee.io\033[0m" echo -e " ${color_title} __| | ___ _ __ ___ ___ \033[0m" echo -e " ${color_title} / _\` |/ _ \ '_ \` _ \ / _ \ \033[0m" echo -e " ${color_title}| (_| | __/ | | | | | (_) | \033[0m" echo -e " ${color_title} \__,_|\___|_| |_| |_|\___/ \033[0m" echo } init_env() { local dockergrp # define env case "`uname`" in CYGWIN*) cygwin=true ;; Darwin*) darwin=true ;; Linux) linux=true ;; esac # test if docker must be run with sudo dockergrp=$(groups | grep -c docker) if [[ $darwin == false && $dockergrp == 0 ]]; then dc_exec="sudo $dc_exec"; fi } init_dirs() { echo "Init log directory in $WORKDIR ..." mkdir -p "$WORKDIR/logs/" echo } main() { welcome init_env if [[ $? != 0 ]]; then exit 1 fi set -e init_dirs pushd $WORKDIR > /dev/null echo "Download docker compose files ..." curl -L https://raw.githubusercontent.com/gravitee-io/gravitee-docker/master/environments/demo/common.yml -o "common.yml" curl -L https://raw.githubusercontent.com/gravitee-io/gravitee-docker/master/environments/demo/docker-compose-local.yml -o "docker-compose-local.yml" echo echo "Launch GraviteeIO demo ..." $dc_exec popd > /dev/null } main ================================================ FILE: favorite-file/gravitee-docker-compose/environments/sample-apis/docker-compose-sample-apis.yml ================================================ #------------------------------------------------------------------------------- # Copyright (C) 2015 The Gravitee team (http://gravitee.io) # Licensed under the Apache License, Version 2.0 (the "License"); # you may not use this file except in compliance with the License. # You may obtain a copy of the License at # http://www.apache.org/licenses/LICENSE-2.0 # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. #------------------------------------------------------------------------------- version: '2' services: sample-api-index: image: graviteeio/gravitee-sample-index:latest network_mode: "bridge" labels: - "traefik.backend=gravitee-sample-index" - "traefik.frontend.rule=Host:api.gravitee.io" - "traefik.frontend.entryPoints=https" sample-api-echo: image: graviteeio/gravitee-echo-api:nightly network_mode: "bridge" labels: - "traefik.backend=gravitee-echo-api" - "traefik.frontend.rule=Host:api.gravitee.io;PathPrefix:/echo" - "traefik.frontend.entryPoints=https" sample-api-whoami: image: graviteeio/gravitee-whoami-api:latest network_mode: "bridge" labels: - "traefik.backend=gravitee-whoami-api" - "traefik.frontend.rule=Host:api.gravitee.io;PathPrefix:/whoami" - "traefik.frontend.entryPoints=https" sample-api-whattimeisit: image: graviteeio/gravitee-whattimeisit-api:latest network_mode: "bridge" labels: - "traefik.backend=gravitee-whattimeisit-api" - "traefik.frontend.rule=Host:api.gravitee.io;PathPrefix:/whattimeisit" - "traefik.frontend.entryPoints=https" ================================================ FILE: favorite-file/gravitee-docker-compose/platform/docker-compose.yml ================================================ version: '3' networks: default: services: nginx: image: nginx:1.15-alpine container_name: gio_platform_nginx volumes: - ./nginx/nginx.conf:/etc/nginx/nginx.conf - ./nginx/ssl/gio-selfsigned.crt:/etc/ssl/certs/gio-selfsigned.crt - ./nginx/ssl/gio-selfsigned.key:/etc/ssl/private/gio-selfsigned.key - ./nginx/ssl/gio.pem:/etc/ssl/certs/gio.pem ports: - "80:80" - "443:443" depends_on: - apim_gateway - apim_portal - apim_management - am_gateway - am_management - am_webui mongodb: image: mongo:3.4 container_name: gio_platform_mongo ports: - 27017:27017 environment: - MONGO_INITDB_DATABASE=gravitee volumes: - ./mongo/docker-entrypoint-initdb.d:/docker-entrypoint-initdb.d - ./data/mongo:/data/db - ./logs/mongodb:/var/log/mongodb elasticsearch: image: elasticsearch:6.4.0 container_name: gio_platform_elasticsearch ports: - 9200:9200 environment: - http.host=0.0.0.0 - transport.host=0.0.0.0 - xpack.security.enabled=false - xpack.monitoring.enabled=false - cluster.name=elasticsearch ulimits: nofile: 65536 volumes: - ./data/elasticsearch:/usr/share/elasticsearch/data - ./logs/elasticsearch:/var/log/elasticsearch apim_gateway: image: graviteeio/gateway:latest container_name: gio_platform_apim_gateway volumes: - ./logs/apim-gateway:/opt/graviteeio-gateway/logs environment: - gravitee_management_mongodb_uri=mongodb://mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_ratelimit_mongodb_uri=mongodb://mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_reporters_elasticsearch_endpoints_0=http://elasticsearch:9200 - gravitee_services_metrics_enabled=true - gravitee_services_metrics_prometheus.enabled=true depends_on: - mongodb - elasticsearch apim_portal: image: graviteeio/management-ui:latest container_name: gio_platform_apim_portal environment: - MGMT_API_URL=https:\/\/localhost\/apim\/management\/ depends_on: - apim_management apim_management: image: graviteeio/management-api:latest container_name: gio_platform_apim_mgmt_api volumes: - ./logs/apim-management-api:/opt/graviteeio-management-api/logs environment: - gravitee_management_mongodb_uri=mongodb://mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_ratelimit_mongodb_uri=mongodb://mongodb:27017/gravitee?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_analytics_elasticsearch_endpoints_0=http://elasticsearch:9200 - gravitee_jwt_cookiepath=/apim/management - gravitee_jwt_cookiesecure=true depends_on: - mongodb - elasticsearch am_gateway: image: graviteeio/am-gateway:2 container_name: gio_platform_am_gateway volumes: - ./logs/am-gateway:/opt/graviteeio-am-gateway/logs environment: - gravitee_management_mongodb_uri=mongodb://mongodb:27017/gravitee-am?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_oauth2_mongodb_uri=mongodb://mongodb:27017/gravitee-am?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 depends_on: - mongodb am_management: image: graviteeio/am-management-api:2 container_name: gio_platform_am_management volumes: - ./logs/am-management-api:/opt/graviteeio-am-management-api/logs environment: - gravitee_management_mongodb_uri=mongodb://mongodb:27017/gravitee-am?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_oauth2_mongodb_uri=mongodb://mongodb:27017/gravitee-am?serverSelectionTimeoutMS=5000&connectTimeoutMS=5000&socketTimeoutMS=5000 - gravitee_jwt_cookiepath=/am/management - gravitee_jwt_cookiesecure=true depends_on: - mongodb grafana: image: grafana/grafana ports: - "3000:3000" prometheus: image: prom/prometheus volumes: - "./prometheus.yml:/etc/prometheus/prometheus.yml" ports: - "9090:9090" am_webui: image: graviteeio/am-management-ui:2 container_name: gio_platform_am_webui environment: - MGMT_API_URL=https:\/\/localhost\/am\/ - MGMT_UI_URL=https:\/\/localhost\/am\/ui\/ volumes: - ./logs/am-webui:/var/log/nginx depends_on: - am_management ================================================ FILE: favorite-file/gravitee-docker-compose/platform/mongo/docker-entrypoint-initdb.d/create-index.js ================================================ // "apis" collection db.apis.dropIndexes(); db.apis.createIndex( { "visibility" : 1 } ); db.apis.createIndex( { "group" : 1 } ); db.apis.reIndex(); // "applications" collection db.applications.dropIndexes(); db.applications.createIndex( { "group" : 1 } ); db.applications.createIndex( { "name" : 1 } ); db.applications.createIndex( { "status" : 1 } ); db.applications.reIndex(); // "events" collection db.events.dropIndexes(); db.events.createIndex( { "type" : 1 } ); db.events.createIndex( { "updatedAt" : 1 } ); db.events.createIndex( { "properties.api_id" : 1 } ); db.events.createIndex( { "properties.api_id":1, "type":1} ); db.events.reIndex(); // "plans" collection db.plans.dropIndexes(); db.plans.createIndex( { "apis" : 1 } ); db.plans.reIndex(); // "subscriptions" collection db.subscriptions.dropIndexes(); db.subscriptions.createIndex( { "plan" : 1 } ); db.subscriptions.createIndex( { "application" : 1 } ); db.subscriptions.reIndex(); // "keys" collection db.keys.dropIndexes(); db.keys.createIndex( { "plan" : 1 } ); db.keys.createIndex( { "application" : 1 } ); db.keys.createIndex( { "updatedAt" : 1 } ); db.keys.createIndex( { "revoked" : 1 } ); db.keys.createIndex( { "plan" : 1 , "revoked" : 1, "updatedAt" : 1 } ); db.keys.reIndex(); // "pages" collection db.pages.dropIndexes(); db.pages.createIndex( { "api" : 1 } ); db.pages.reIndex(); // "memberships" collection db.memberships.dropIndexes(); db.memberships.createIndex( {"_id.userId":1, "_id.referenceId":1, "_id.referenceType":1}, { unique: true } ); db.memberships.createIndex( {"_id.referenceId":1, "_id.referenceType":1} ); db.memberships.createIndex( {"_id.referenceId":1, "_id.referenceType":1, "roles":1} ); db.memberships.createIndex( {"_id.userId":1, "_id.referenceType":1} ); db.memberships.createIndex( {"_id.userId":1, "_id.referenceType":1, "roles":1} ); db.memberships.reIndex(); // "roles" collection db.roles.dropIndexes(); db.roles.createIndex( {"_id.scope": 1 } ); db.roles.reIndex(); // "audits" collection db.audits.dropIndexes(); db.audits.createIndex( { "referenceType": 1, "referenceId": 1 } ); db.audits.createIndex( { "createdAt": 1 } ); db.audits.reIndex(); // "rating" collection db.rating.dropIndexes(); db.rating.createIndex( { "api" : 1 } ); db.rating.reIndex(); // "ratingAnswers" collection db.ratingAnswers.dropIndexes(); db.ratingAnswers.createIndex( { "rating" : 1 } ); // "portalnotifications" collection db.portalnotifications.dropIndexes(); db.portalnotifications.createIndex( { "user" : 1 } ); db.portalnotifications.reIndex(); // "portalnotificationconfigs" collection db.portalnotificationconfigs.dropIndexes(); db.portalnotificationconfigs.createIndex( {"_id.user":1, "_id.referenceId":1, "_id.referenceType":1}, { unique: true } ); db.portalnotificationconfigs.createIndex( {"_id.referenceId":1, "_id.referenceType":1, "hooks":1}); db.portalnotificationconfigs.reIndex(); // "genericnotificationconfigs" collection db.genericnotificationconfigs.dropIndexes(); db.genericnotificationconfigs.createIndex( {"referenceId":1, "referenceType":1, "hooks":1}); db.genericnotificationconfigs.createIndex( {"referenceId":1, "referenceType":1}); db.genericnotificationconfigs.reIndex(); ================================================ FILE: favorite-file/gravitee-docker-compose/platform/nginx/nginx.conf ================================================ worker_processes 4; events { worker_connections 1024; } http { include /etc/nginx/mime.types; resolver 127.0.0.11 ipv6=off; upstream apim_management { server apim_management:8083; } upstream apim_gateway { server apim_gateway:8082; } upstream apim_portal { server apim_portal:80; } upstream am_management { server am_management:8093; } upstream am_gateway { server am_gateway:8092; } upstream am_webui { server am_webui:80; } server { listen 80; server_name localhost; return 301 https://$server_name$request_uri; #Redirection } server { listen 443 ssl; listen [::]:443 ssl; server_name localhost; ssl_certificate /etc/ssl/certs/gio-selfsigned.crt; ssl_certificate_key /etc/ssl/private/gio-selfsigned.key; ssl_dhparam /etc/ssl/certs/gio.pem; error_page 500 502 503 504 /50x.html; location /apim/portal/ { proxy_pass http://apim_portal/; proxy_redirect $scheme://$host:$server_port/ $scheme://$http_host/apim/portal/; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Host $server_name; } location /apim/management/ { proxy_pass http://apim_management/management/; proxy_redirect $scheme://$host:$server_port/management/ /apim/management/; sub_filter "/management/" "/apim/management/"; sub_filter_types application/json; sub_filter_once off; proxy_cookie_path /management /apim/management; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Host $server_name; proxy_set_header X-Forwarded-Proto $scheme; } location /apim/ { proxy_pass http://apim_gateway/; proxy_cookie_path / /apim; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Host $server_name; } location /am/ui/ { proxy_pass http://am_webui/; proxy_set_header Host $host; proxy_set_header X-Real-IP $remote_addr; proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for; proxy_set_header X-Forwarded-Host $server_name; sub_filter '/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart| reload|orce-reload}" exit 2 esac ================================================ FILE: favorite-file/shell/crontab-redis-restart.sh ================================================ #!/bin/sh redis-cli -h 127.0.0.1 -p 6379 -a 123456789 shutdown sleep 5s /usr/local/bin/redis-server /etc/redis.conf ================================================ FILE: favorite-file/shell/crontab-test.sh ================================================ #!/bin/sh time1=$(date "+%Y-%m-%d %H:%M:%S") echo "${time1}" >> /opt/1.txt sleep 5s time2=$(date "+%Y-%m-%d %H:%M:%S") echo "${time2}" >> /opt/1.txt ================================================ FILE: favorite-file/shell/install_common_tool_CentOS.sh ================================================ #!/bin/sh echo "开始常用工具安装" yum install -y zip unzip lrzsz git epel-release wget htop deltarpm echo "开始常用工具结束" ================================================ FILE: favorite-file/shell/install_common_tool_ubuntu.sh ================================================ #!/bin/sh echo "开始常用工具安装" sudo apt-get install -y zip unzip unrar lrzsz git wget htop echo "开始常用工具结束" ================================================ FILE: favorite-file/shell/install_common_vim.sh ================================================ #!/bin/sh echo "-----------------------------------------开始常用工具安装" yum install -y zip unzip lrzsz git epel-release echo "-----------------------------------------开始安装 vim" yum install -y vim echo "-----------------------------------------设置 vim 配置" curl https://raw.githubusercontent.com/wklken/vim-for-server/master/vimrc > ~/.vimrc ================================================ FILE: favorite-file/shell/install_common_vim_zsh.sh ================================================ #!/bin/sh echo "-----------------------------------------禁用防火墙" systemctl stop firewalld.service systemctl disable firewalld.service echo "-----------------------------------------开始常用工具安装" yum install -y zip unzip lrzsz git epel-release echo "-----------------------------------------开始常用工具结束" echo "-----------------------------------------开始安装 zsh" yum install -y zsh echo "-----------------------------------------开始安装 oh-my-zsh" wget https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh -O - | sh echo "-----------------------------------------设置默认终端为 oh-my-zsh" chsh -s /bin/zsh root echo "-----------------------------------------开始安装 vim" yum install -y vim echo "-----------------------------------------设置 vim 配置" curl https://raw.githubusercontent.com/wklken/vim-for-server/master/vimrc > ~/.vimrc ================================================ FILE: favorite-file/shell/install_docker_centos7.sh ================================================ #!/bin/sh echo "安装 docker 所需环境" yum install -y yum-utils device-mapper-persistent-data lvm2 echo "添加 repo（可能网络会很慢，有时候会报：Timeout，所以要多试几次）" yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo yum makecache fast echo "开始安装 docker" yum install -y docker-ce echo "启动 Docker" systemctl start docker.service echo "安装结束" echo "运行 hello world 镜像" docker run hello-world echo "安装 docker compose" curl -L https://github.com/docker/compose/releases/download/1.18.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose echo "输出 docker compose 版本号" docker-compose --version systemctl restart docker.service systemctl enable docker.service ================================================ FILE: favorite-file/shell/install_docker_disable_firewalld_centos7-aliyun.sh ================================================ #!/bin/sh echo "-----------------------------------------禁用防火墙" systemctl stop firewalld.service systemctl disable firewalld.service echo "-----------------------------------------安装 docker 所需环境" yum install -y yum-utils device-mapper-persistent-data lvm2 echo "-----------------------------------------添加 repo（可能网络会很慢，有时候会报：Timeout，所以要多试几次）" echo "-----------------------------------------官网的地址 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo" echo "-----------------------------------------这里用阿里云进行加速，不然可能会出现无法安装，阿里云官网说明：https://help.aliyun.com/document_detail/60742.html" yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum makecache fast echo "-----------------------------------------开始安装 docker" yum install -y docker-ce echo "-----------------------------------------启动 Docker" systemctl start docker.service echo "-----------------------------------------安装结束" echo "-----------------------------------------docker 加速" touch /etc/docker/daemon.json cat << EOF >> /etc/docker/daemon.json { "registry-mirrors": ["https://ldhc17y9.mirror.aliyuncs.com"] } EOF systemctl daemon-reload systemctl restart docker echo "-----------------------------------------运行 hello world 镜像" docker run hello-world echo "-----------------------------------------安装 docker compose" echo "docker compose 的版本检查：https://docs.docker.com/compose/install/#install-compose" curl -L "https://github.com/docker/compose/releases/download/1.23.1/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose echo "-----------------------------------------输出 docker compose 版本号" docker-compose --version ================================================ FILE: favorite-file/shell/install_docker_disable_firewalld_centos7.sh ================================================ #!/bin/sh echo "-----------------------------------------禁用防火墙" systemctl stop firewalld.service systemctl disable firewalld.service echo "-----------------------------------------安装 docker 所需环境" yum install -y yum-utils device-mapper-persistent-data lvm2 echo "-----------------------------------------添加 repo（可能网络会很慢，有时候会报：Timeout，所以要多试几次）" yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo yum makecache fast echo "-----------------------------------------开始安装 docker" yum install -y docker-ce echo "-----------------------------------------启动 Docker" systemctl start docker.service echo "-----------------------------------------安装结束" echo "-----------------------------------------运行 hello world 镜像" docker run hello-world echo "-----------------------------------------安装 docker compose" echo "docker compose 的版本检查：https://docs.docker.com/compose/install/#install-compose" curl -L https://github.com/docker/compose/releases/download/1.21.2/docker-compose-$(uname -s)-$(uname -m) -o /usr/local/bin/docker-compose chmod +x /usr/local/bin/docker-compose echo "-----------------------------------------输出 docker compose 版本号" docker-compose --version systemctl restart docker.service systemctl enable docker.service ================================================ FILE: favorite-file/shell/install_docker_k8s_disable_firewalld_centos7-aliyun.sh ================================================ #!/bin/sh echo "-----------------------------------------禁用防火墙" systemctl stop firewalld.service systemctl disable firewalld.service echo "-----------------------------------------安装 docker 所需环境" yum install -y yum-utils device-mapper-persistent-data lvm2 echo "-----------------------------------------添加 repo（可能网络会很慢，有时候会报：Timeout，所以要多试几次）" echo "-----------------------------------------官网的地址 yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo" echo "-----------------------------------------这里用阿里云进行加速，不然可能会出现无法安装，阿里云官网说明：https://help.aliyun.com/document_detail/60742.html" yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum makecache fast echo "-----------------------------------------开始安装 docker" yum install -y docker-ce-18.06.1.ce-3.el7 echo "-----------------------------------------启动 Docker" systemctl start docker.service systemctl enable docker.service echo "-----------------------------------------安装结束" echo "-----------------------------------------docker 加速" touch /etc/docker/daemon.json cat << EOF >> /etc/docker/daemon.json { "registry-mirrors": ["https://ldhc17y9.mirror.aliyuncs.com"] } EOF systemctl daemon-reload systemctl restart docker echo "-----------------------------------------运行 hello world 镜像" docker run hello-world ================================================ FILE: favorite-file/shell/install_jdk_offline_to_bash.sh ================================================ #!/bin/sh echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi echo "判断 JDK 压缩包是否存在" if [ ! -f "/opt/setups/jdk-8u181-linux-x64.tar.gz" ]; then echo "JDK 压缩包不存在" exit 1 fi echo "开始解压 JDK" cd /opt/setups ; tar -zxf jdk-8u181-linux-x64.tar.gz if [ ! -d "/opt/setups/jdk1.8.0_181" ]; then echo "JDK 解压失败，结束脚本" exit 1 fi echo "JDK 解压包移到 /usr/local/ 目录下" mv jdk1.8.0_181/ /usr/local/ echo "JDK 写入系统变量到 profile" cat << EOF >> /etc/profile # JDK JAVA_HOME=/usr/local/jdk1.8.0_181 JRE_HOME=\$JAVA_HOME/jre PATH=\$PATH:\$JAVA_HOME/bin CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar export JAVA_HOME export JRE_HOME export PATH export CLASSPATH EOF echo "JDK 设置完成，需要你手动设置：source /etc/profile" ================================================ FILE: favorite-file/shell/install_jdk_offline_to_zsh.sh ================================================ #!/bin/sh echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi echo "判断 JDK 压缩包是否存在" if [ ! -f "/opt/setups/jdk-8u191-linux-x64.tar.gz" ]; then echo "JDK 压缩包不存在" exit 1 fi echo "开始解压 JDK" cd /opt/setups ; tar -zxf jdk-8u191-linux-x64.tar.gz if [ ! -d "/opt/setups/jdk1.8.0_191" ]; then echo "JDK 解压失败，结束脚本" exit 1 fi echo "JDK 解压包移到 /usr/local/ 目录下" mv jdk1.8.0_191/ /usr/local/ echo "JDK 写入系统变量到 zshrc" cat << EOF >> ~/.zshrc # JDK JAVA_HOME=/usr/local/jdk1.8.0_191 JRE_HOME=\$JAVA_HOME/jre PATH=\$PATH:\$JAVA_HOME/bin CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar export JAVA_HOME export JRE_HOME export PATH export CLASSPATH EOF echo "JDK 设置完成，需要你手动设置：source ~/.zshrc" ================================================ FILE: favorite-file/shell/install_jdk_online.sh ================================================ #!/bin/sh echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi if [ ! -d "/usr/program" ]; then mkdir /usr/program fi echo "下载 JDK" cd /opt/setups wget -c --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/8u151-b12/e758a0de34e24606bca991d704f6dcbf/jdk-8u151-linux-x64.tar.gz if [ ! -f "/opt/setups/jdk-8u151-linux-x64.tar.gz" ]; then echo "JDK 下载失败，结束脚本" exit 1 fi echo "JDK 下载成功，开始解压 JDK" tar -zxf jdk-8u151-linux-x64.tar.gz if [ ! -d "/opt/setups/jdk1.8.0_151" ]; then echo "JDK 解压失败，结束脚本" exit 1 fi echo "JDK 解压包移到 /usr/program/ 目录下" mv jdk1.8.0_151/ /usr/program/ echo "JDK 写入系统变量到 zshrc" cat << EOF >> ~/.zshrc # JDK JAVA_HOME=/usr/local/jdk1.8.0_151 JRE_HOME=\$JAVA_HOME/jre PATH=\$PATH:\$JAVA_HOME/bin CLASSPATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/lib/tools.jar export JAVA_HOME export JRE_HOME export PATH export CLASSPATH EOF echo "JDK 设置完成，需要你手动设置：source ~/.zshrc" ================================================ FILE: favorite-file/shell/install_maven_offline_to_bash.sh ================================================ #!/bin/sh echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi echo "判断 Maven 压缩包是否存在" if [ ! -f "/opt/setups/apache-maven-3.5.4-bin.tar.gz" ]; then echo "Maven 压缩包不存在" exit 1 fi echo "开始解压 Maven" cd /opt/setups ; tar -zxf apache-maven-3.5.4-bin.tar.gz if [ ! -d "/opt/setups/apache-maven-3.5.4" ]; then echo "Maven 解压失败，结束脚本" exit 1 fi echo "Maven 解压包移到 /usr/local/ 目录下" mv apache-maven-3.5.4/ /usr/local/ echo "Maven 写入系统变量到 profile" cat << EOF >> /etc/profile # Maven M3_HOME=/usr/local/apache-maven-3.5.4 MAVEN_HOME=/usr/local/apache-maven-3.5.4 PATH=\$PATH:\$M3_HOME/bin MAVEN_OPTS="-Xms256m -Xmx356m" export M3_HOME export MAVEN_HOME export PATH export MAVEN_OPTS EOF echo "Maven 设置完成，需要你手动设置：source /etc/profile" ================================================ FILE: favorite-file/shell/install_maven_offline_to_zsh.sh ================================================ #!/bin/sh echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi echo "判断 Maven 压缩包是否存在" if [ ! -f "/opt/setups/apache-maven-3.5.4-bin.tar.gz" ]; then echo "Maven 压缩包不存在" exit 1 fi echo "开始解压 Maven" cd /opt/setups ; tar -zxf apache-maven-3.5.4-bin.tar.gz if [ ! -d "/opt/setups/apache-maven-3.5.4" ]; then echo "Maven 解压失败，结束脚本" exit 1 fi echo "Maven 解压包移到 /usr/local/ 目录下" mv apache-maven-3.5.4/ /usr/local/ echo "Maven 写入系统变量到 zshrc" cat << EOF >> ~/.zshrc # Maven M3_HOME=/usr/local/apache-maven-3.5.4 MAVEN_HOME=/usr/local/apache-maven-3.5.4 PATH=\$PATH:\$M3_HOME/bin MAVEN_OPTS="-Xms256m -Xmx356m" export M3_HOME export MAVEN_HOME export PATH export MAVEN_OPTS EOF echo "Maven 设置完成，需要你手动设置：source ~/.zshrc" ================================================ FILE: favorite-file/shell/install_mycat_offline.sh ================================================ #!/bin/sh echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi echo "判断是否有 JDK 环境" if [ -z $JAVA_HOME ];then echo "没有 JAVA_HOME 环境变量" exit 1 fi echo "判断 /opt 目录下 mycat 压缩包是否存在" if [ ! -f "/opt/setups/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz" ]; then echo "mycat 压缩包是否存在不存在" exit 1 fi echo "解压压缩包" cd /opt/setups ; tar -zxf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz echo "把解压后目录移到 /usr/local/ 目录下" mv /opt/setups/mycat /usr/local/ echo "写入系统变量到 zshrc" echo 'MYCAT_HOME=/usr/local/mycat' >> ~/.zshrc echo 'PATH=$PATH:$MYCAT_HOME/bin' >> ~/.zshrc echo 'export MYCAT_HOME' >> ~/.zshrc echo 'export PATH' >> ~/.zshrc echo "mycat 设置完成，需要你手动设置：source ~/.zshrc" ================================================ FILE: favorite-file/shell/install_mysql5.6_offline_centos6.sh ================================================ #!/bin/sh echo "安装 mysql 开始" cd /opt/setups tar zxvf mysql-5.6.35.tar.gz mv /opt/setups/mysql-5.6.35 /usr/program/ yum install -y make gcc-c++ cmake bison-devel ncurses-devel cd /usr/program/mysql-5.6.35/ mkdir -p /usr/program/mysql/data cmake -DCMAKE_INSTALL_PREFIX=/usr/program/mysql -DMYSQL_DATADIR=/usr/program/mysql/data -DMYSQL_UNIX_ADDR=/tmp/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_EXTRA_CHARSETS:STRING=utf8 -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DENABLED_LOCAL_INFILE=1 make make install cp /usr/program/mysql-5.6.35/support-files/mysql.server /etc/init.d/mysql chmod 755 /etc/init.d/mysql chkconfig mysql on cp /usr/program/mysql-5.6.35/support-files/my-default.cnf /etc/my.cnf rm -rf /usr/program/mysql-5.6.35/ groupadd mysql useradd -g mysql mysql -s /bin/false chown -R mysql:mysql /usr/program/mysql/data /usr/program/mysql/scripts/mysql_install_db --basedir=/usr/program/mysql --datadir=/usr/program/mysql/data --skip-name-resolve --user=mysql ln -s /usr/program/mysql/bin/mysql /usr/bin ln -s /usr/program/mysql/bin/mysqladmin /usr/bin ln -s /usr/program/mysql/bin/mysqldump /usr/bin ln -s /usr/program/mysql/bin/mysqlslap /usr/bin iptables -I INPUT -p tcp -m tcp --dport 3306 -j ACCEPT service iptables save service iptables restart echo "安装 mysql 结束，现在需要手动设置防火墙和禁用 selinux." ================================================ FILE: favorite-file/shell/install_mysql5.6_offline_centos7.sh ================================================ #!/bin/sh echo "安装 mysql 开始" echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi echo "判断 JDK 压缩包是否存在" if [ ! -f "/opt/setups/mysql-5.6.35.tar.gz" ]; then echo "mysql 压缩包不存在" exit 1 fi cd /opt/setups tar zxvf mysql-5.6.35.tar.gz mv /opt/setups/mysql-5.6.35 /usr/local/ yum install -y make gcc-c++ cmake bison-devel ncurses-devel autoconf cd /usr/local/mysql-5.6.35/ mkdir -p /usr/local/mysql/data cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/usr/local/mysql/data -DMYSQL_UNIX_ADDR=/tmp/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_EXTRA_CHARSETS:STRING=utf8 -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DENABLED_LOCAL_INFILE=1 make make install cp /usr/local/mysql-5.6.35/support-files/mysql.server /etc/init.d/mysql chmod 755 /etc/init.d/mysql chkconfig mysql on cp /usr/local/mysql-5.6.35/support-files/my-default.cnf /etc/my.cnf rm -rf /usr/local/mysql-5.6.35/ groupadd mysql useradd -g mysql mysql -s /bin/false chown -R mysql:mysql /usr/local/mysql/data /usr/local/mysql/scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --skip-name-resolve --user=mysql ln -s /usr/local/mysql/bin/mysql /usr/bin ln -s /usr/local/mysql/bin/mysqladmin /usr/bin ln -s /usr/local/mysql/bin/mysqldump /usr/bin ln -s /usr/local/mysql/bin/mysqlslap /usr/bin echo "防火墙放行 3306 端口" systemctl restart firewalld.service firewall-cmd --zone=public --add-port=3306/tcp --permanent firewall-cmd --reload systemctl stop firewalld.service echo "安装 mysql 结束，现在需要手动设置防火墙和禁用 selinux." ================================================ FILE: favorite-file/shell/install_mysql5.7_offline_centos7.sh ================================================ #!/bin/sh echo "安装 mysql 开始" echo "必须准备两个文件：mysql-5.7.21.tar.gz 和 boost_1_59_0.tar.gz" echo "mysql 5.7 依赖 boost，官网说明：https://dev.mysql.com/doc/mysql-sourcebuild-excerpt/5.7/en/source-installation.html" echo "boost 下载地址（79M）：http://www.boost.org/users/history/version_1_59_0.html" if [ ! -f "/opt/setups/mysql-5.7.21.tar.gz" ]; then echo "缺少 mysql-5.7.21.tar.gz 文件，结束脚本" exit 1 fi if [ ! -f "/opt/setups/boost_1_59_0.tar.gz" ]; then echo "缺少 boost_1_59_0.tar.gz 文件，结束脚本" exit 1 fi cd /opt/setups tar zxvf mysql-5.7.21.tar.gz mv /opt/setups/mysql-5.7.21 /usr/local/ tar zxvf boost_1_59_0.tar.gz mv /opt/setups/boost_1_59_0 /usr/local/ yum install -y make gcc-c++ cmake bison-devel ncurses-devel cd /usr/local/mysql-5.7.21/ mkdir -p /usr/local/mysql/data cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/usr/local/mysql/data -DWITH_BOOST=/usr/local/boost_1_59_0 -DMYSQL_UNIX_ADDR=/tmp/mysql.sock -DDEFAULT_CHARSET=utf8 -DDEFAULT_COLLATION=utf8_general_ci -DWITH_EXTRA_CHARSETS:STRING=utf8 -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DENABLED_LOCAL_INFILE=1 make make install cp /usr/local/mysql-5.7.21/support-files/mysql.server /etc/init.d/mysql chmod 755 /etc/init.d/mysql chkconfig mysql on echo "mysql 5.7 这个文件没了，需要自己创建一个" cp /usr/local/mysql-5.7.21/support-files/my-default.cnf /etc/my.cnf rm -rf /usr/local/mysql-5.7.21/ groupadd mysql useradd -g mysql mysql -s /bin/false chown -R mysql:mysql /usr/local/mysql/data /usr/local/mysql/scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --skip-name-resolve --user=mysql ln -s /usr/local/mysql/bin/mysql /usr/bin ln -s /usr/local/mysql/bin/mysqladmin /usr/bin ln -s /usr/local/mysql/bin/mysqldump /usr/bin ln -s /usr/local/mysql/bin/mysqlslap /usr/bin echo "防火墙放行 3306 端口" systemctl restart firewalld.service firewall-cmd --zone=public --add-port=3306/tcp --permanent firewall-cmd --reload systemctl stop firewalld.service echo "安装 mysql 结束，现在需要手动设置防火墙和禁用 selinux." ================================================ FILE: favorite-file/shell/install_nginx_centos6.sh ================================================ #!/bin/sh echo "安装 nginx" echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi if [ ! -d "/usr/program" ]; then mkdir /usr/program fi if [ ! -d "/usr/local/nginx" ]; then mkdir -p /usr/local/nginx fi if [ ! -d "/var/log/nginx" ]; then mkdir -p /var/log/nginx fi if [ ! -d "/var/temp/nginx" ]; then mkdir -p /var/temp/nginx fi if [ ! -d "/var/lock/nginx" ]; then mkdir -p /var/lock/nginx fi echo "下载 Nginx" cd /opt/setups wget https://nginx.org/download/nginx-1.12.2.tar.gz if [ ! -f "/opt/setups/nginx-1.12.2.tar.gz" ]; then echo "Nginx 下载失败，结束脚本" exit 1 fi echo "Nginx 下载成功，开始解压 Nginx" tar -zxf nginx-1.12.2.tar.gz if [ ! -d "/opt/setups/nginx-1.12.2" ]; then echo "Nginx 解压失败，结束脚本" exit 1 fi echo "安装源码安装依赖" yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel echo "开始安装 Nginx" cd nginx-1.12.2/ ./configure --prefix=/usr/local/nginx --pid-path=/var/local/nginx/nginx.pid --lock-path=/var/lock/nginx/nginx.lock --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --with-http_ssl_module --http-scgi-temp-path=/var/temp/nginx/scgi make make install echo "防火墙放行 80 端口" iptables -I INPUT -p tcp -m tcp --dport 80 -j ACCEPT service iptables save service iptables restart echo "启动 Nginx" /usr/local/nginx/sbin/nginx ================================================ FILE: favorite-file/shell/install_nginx_centos7.sh ================================================ #!/bin/sh echo "安装 nginx" echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi if [ ! -d "/usr/local/nginx" ]; then mkdir -p /usr/local/nginx fi if [ ! -d "/var/log/nginx" ]; then mkdir -p /var/log/nginx fi if [ ! -d "/var/temp/nginx" ]; then mkdir -p /var/temp/nginx fi if [ ! -d "/var/lock/nginx" ]; then mkdir -p /var/lock/nginx fi echo "下载 Nginx" cd /opt/setups wget https://nginx.org/download/nginx-1.14.0.tar.gz if [ ! -f "/opt/setups/nginx-1.14.0.tar.gz" ]; then echo "Nginx 下载失败，结束脚本" exit 1 fi echo "Nginx 下载成功，开始解压 Nginx" tar -zxf nginx-1.14.0.tar.gz if [ ! -d "/opt/setups/nginx-1.14.0" ]; then echo "Nginx 解压失败，结束脚本" exit 1 fi echo "安装源码安装依赖" yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel echo "开始安装 Nginx" cd nginx-1.14.0/ ./configure --prefix=/usr/local/nginx --pid-path=/var/local/nginx/nginx.pid --lock-path=/var/lock/nginx/nginx.lock --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --with-http_ssl_module --http-scgi-temp-path=/var/temp/nginx/scgi make make install echo "防火墙放行 80 端口" systemctl restart firewalld.service firewall-cmd --zone=public --add-port=80/tcp --permanent firewall-cmd --reload systemctl restart firewalld.service echo "启动 Nginx" /usr/local/nginx/sbin/nginx ================================================ FILE: favorite-file/shell/install_redis_centos6.sh ================================================ #!/bin/sh echo "安装 redis" echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi if [ ! -d "/usr/program" ]; then mkdir /usr/program fi echo "下载 redis" cd /opt/setups wget http://download.redis.io/releases/redis-4.0.6.tar.gz if [ ! -f "/opt/setups/redis-4.0.6.tar.gz" ]; then echo "redis 下载失败，结束脚本" exit 1 fi echo "reids 下载成功" echo "安装开始" yum install -y gcc-c++ tcl cd /opt/setups tar zxvf redis-4.0.6.tar.gz if [ ! -d "/opt/setups/redis-4.0.6" ]; then echo "redis 解压失败，结束脚本" exit 1 fi mv redis-4.0.6/ /usr/program/ cd /usr/program/redis-4.0.6 make make install cp /usr/program/redis-4.0.6/redis.conf /etc/ sed -i 's/daemonize no/daemonize yes/g' /etc/redis.conf echo "/usr/local/bin/redis-server /etc/redis.conf" >> /etc/rc.local iptables -I INPUT -p tcp -m tcp --dport 6379 -j ACCEPT service iptables save service iptables restart rm -rf /usr/program/redis-4.0.6 echo "安装结束" ================================================ FILE: favorite-file/shell/install_redis_centos7.sh ================================================ #!/bin/sh echo "安装 redis" echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi echo "下载 redis" cd /opt/setups wget http://download.redis.io/releases/redis-4.0.6.tar.gz if [ ! -f "/opt/setups/redis-4.0.6.tar.gz" ]; then echo "redis 下载失败，结束脚本" exit 1 fi echo "reids 下载成功" echo "安装开始" yum install -y gcc-c++ tcl cd /opt/setups tar zxvf redis-4.0.6.tar.gz if [ ! -d "/opt/setups/redis-4.0.6" ]; then echo "redis 解压失败，结束脚本" exit 1 fi mv redis-4.0.6/ /usr/local/ cd /usr/local/redis-4.0.6 make make install cp /usr/local/redis-4.0.6/redis.conf /etc/ sed -i 's/daemonize no/daemonize yes/g' /etc/redis.conf echo "/usr/local/bin/redis-server /etc/redis.conf" >> /etc/rc.local echo "防火墙放行 6379 端口" firewall-cmd --zone=public --add-port=6379/tcp --permanent firewall-cmd --reload rm -rf /usr/local/redis-4.0.6 echo "安装结束" ================================================ FILE: favorite-file/shell/install_tomcat_centos6.sh ================================================ #!/bin/sh echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi if [ ! -d "/usr/program" ]; then mkdir /usr/program fi echo "下载 Tomcat" cd /opt/setups wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.0.47/bin/apache-tomcat-8.0.47.tar.gz if [ ! -f "/opt/setups/apache-tomcat-8.0.47.tar.gz" ]; then echo "Tomcat 下载失败，结束脚本" exit 1 fi echo "Tomcat 下载成功，开始解压 Tomcat" tar -zxf apache-tomcat-8.0.47.tar.gz if [ ! -d "/opt/setups/apache-tomcat-8.0.47" ]; then echo "Tomcat 解压失败，结束脚本" exit 1 fi echo "Tomcat 解压包移到 /usr/program/ 目录下" mv apache-tomcat-8.0.47/ /usr/program/ mv /usr/program/apache-tomcat-8.0.47/ /usr/program/tomcat8/ echo "防火墙放行 8080 端口" iptables -I INPUT -p tcp -m tcp --dport 8080 -j ACCEPT service iptables save service iptables restart echo "运行 Tomcat" sh /usr/program/tomcat8/bin/startup.sh ; tail -200f /usr/program/tomcat8/logs/catalina.out ================================================ FILE: favorite-file/shell/install_tomcat_centos7.sh ================================================ #!/bin/sh echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi echo "下载 Tomcat" cd /opt/setups wget http://apache.fayea.com/tomcat/tomcat-8/v8.0.46/bin/apache-tomcat-8.0.46.tar.gz if [ ! -f "/opt/setups/apache-tomcat-8.0.46.tar.gz" ]; then echo "Tomcat 下载失败，结束脚本" exit 1 fi echo "Tomcat 下载成功，开始解压 Tomcat" tar -zxf apache-tomcat-8.0.46.tar.gz if [ ! -d "/opt/setups/apache-tomcat-8.0.46" ]; then echo "Tomcat 解压失败，结束脚本" exit 1 fi echo "Tomcat 解压包移到 /usr/local/ 目录下" mv apache-tomcat-8.0.46/ /usr/local/ mv /usr/local/apache-tomcat-8.0.46/ /usr/local/tomcat8/ echo "防火墙放行 8080 端口" firewall-cmd --zone=public --add-port=8080/tcp --permanent firewall-cmd --reload echo "运行 Tomcat" sh /usr/local/tomcat8/bin/startup.sh ; tail -200f /usr/local/tomcat8/logs/catalina.out ================================================ FILE: favorite-file/shell/install_tomcat_offline_centos7.sh ================================================ #!/bin/sh echo "判断常见的文件夹是否存在" if [ ! -d "/opt/setups" ]; then mkdir /opt/setups fi echo "判断 tomcat 压缩包是否存在" if [ ! -f "/opt/setups/apache-tomcat-8.0.46.tar.gz" ]; then echo "JDK 压缩包不存在" exit 1 fi cd /opt/setups echo "开始解压 Tomcat" tar -zxf apache-tomcat-8.0.46.tar.gz if [ ! -d "/opt/setups/apache-tomcat-8.0.46" ]; then echo "Tomcat 解压失败，结束脚本" exit 1 fi echo "Tomcat 解压包移到 /usr/local/ 目录下" mv apache-tomcat-8.0.46/ /usr/local/ mv /usr/local/apache-tomcat-8.0.46/ /usr/local/tomcat8/ echo "防火墙放行 8080 端口" firewall-cmd --zone=public --add-port=8080/tcp --permanent firewall-cmd --reload echo "运行 Tomcat" sh /usr/local/tomcat8/bin/startup.sh ; tail -200f /usr/local/tomcat8/logs/catalina.out ================================================ FILE: favorite-file/shell/mysql_backup.sh ================================================ #!/bin/bash backupDatetime=$1 if [ "$backupDatetime" = "" ]; then echo -e "\033[0;31m 请输入备份日期 \033[0m" exit 1 fi echo "备份日期 = $backupDatetime" /usr/bin/mysqldump -u root --password=123456 数据库名 > /opt/mydb-"$backupDatetime".sql ================================================ FILE: favorite-file/shell/repo_install_centos6.sh ================================================ #!/bin/sh # 本文原内容来自：https://github.com/judasn/Linux-Tutorial/blob/master/CentOS-Extra-Packages.md echo "源设置开始" echo "备份默认源设置" sudo mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup cd /etc/yum.repos.d/ echo "下载网易 centos6 源" sudo wget http://mirrors.163.com/.help/CentOS6-Base-163.repo echo "安装网易 centos6 源" sudo mv CentOS6-Base-163.repo CentOS-Base.repo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-6 echo "清除缓存后更新程序" sudo yum clean all sudo yum makecache sudo yum update -y echo "使用第三方源" echo "安装 EPEL 源" sudo yum install -y epel-release rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-EPEL-6 echo "安装 RepoForge 源" wget http://pkgs.repoforge.org/rpmforge-release/rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm sudo rpm -ivh rpmforge-release-0.5.3-1.el6.rf.x86_64.rpm sudo rpm --import /etc/pki/rpm-gpg/RPM-GPG-KEY-rpmforge-dag echo "清除缓存后更新程序" sudo yum clean all sudo yum makecache sudo yum update -y echo "测试安装 htop" sudo yum install -y htop echo "完成源设置" ================================================ FILE: favorite-file/shell/shell-for.sh ================================================ #!/bin/bash # 循环总次数 totalDegree=$1 # 如果没有传参，则默认值是 10 if [ "$totalDegree" = "" ]; then totalDegree=10 fi for((timeTemp = 0; timeTemp <= $totalDegree; timeTemp = timeTemp + 5)) do echo "timeTemp=$timeTemp" done ================================================ FILE: favorite-file/shell/shell-with-param-demo.sh ================================================ #!/bin/bash methodParam=$1 SpringBoot=$2 SpringBootPath=$3 if [ "$methodParam" = "" ]; then echo -e "\033[0;31m 未输入操作名 \033[0m \033[0;34m {start|stop|restart|status} \033[0m" exit 1 fi if [ "$SpringBoot" = "" ]; then echo -e "\033[0;31m 未输入应用名 \033[0m" exit 1 fi if [ "$SpringBootPath" = "" ]; then echo -e "\033[0;31m 未输入应用路径 \033[0m" exit 1 fi echo "操作名 = $methodParam" echo "应用名 = $2" echo "应用路径 = $3" function start() { count=`ps -ef |grep java|grep $SpringBoot|grep -v grep|wc -l` if [ $count != 0 ];then echo "$SpringBoot is running..." else echo "Start $SpringBoot success..." cd $SpringBootPath BUILD_ID=dontKillMe nohup java -jar $SpringBoot > /opt/run-log.log 2>&1 & fi } function stop() { echo "Stop $SpringBoot" boot_id=`ps -ef |grep java|grep $SpringBoot|grep -v grep|awk '{print $2}'` count=`ps -ef |grep java|grep $SpringBoot|grep -v grep|wc -l` if [ $count != 0 ];then kill $boot_id count=`ps -ef |grep java|grep $SpringBoot|grep -v grep|wc -l` boot_id=`ps -ef |grep java|grep $SpringBoot|grep -v grep|awk '{print $2}'` kill -9 $boot_id fi } function restart() { stop sleep 2 start } function status() { count=`ps -ef |grep java|grep $SpringBoot|grep -v grep|wc -l` if [ $count != 0 ];then echo "$SpringBoot is running..." else echo "$SpringBoot is not running..." fi } case $methodParam in start) start;; stop) stop;; restart) restart;; status) status;; *) echo -e "\033[0;31m Usage: \033[0m \033[0;34m sh $0 {start|stop|restart|status} {SpringBootJarName} \033[0m\033[0;31m Example: \033[0m\033[0;33m sh $0 start esmart-test.jar \033[0m" esac ================================================ FILE: favorite-file/zsh/.zshrc ================================================ # If you come from bash you might have to change your $PATH. # export PATH=$HOME/bin:/usr/local/bin:$PATH # Path to your oh-my-zsh installation. export ZSH=/root/.oh-my-zsh # Set name of the theme to load. Optionally, if you set this to "random" # it'll load a random theme each time that oh-my-zsh is loaded. # See https://github.com/robbyrussell/oh-my-zsh/wiki/Themes ZSH_THEME="avit" # Uncomment the following line to use case-sensitive completion. # CASE_SENSITIVE="true" # Uncomment the following line to use hyphen-insensitive completion. Case # sensitive completion must be off. _ and - will be interchangeable. # HYPHEN_INSENSITIVE="true" # Uncomment the following line to disable bi-weekly auto-update checks. # DISABLE_AUTO_UPDATE="true" # Uncomment the following line to change how often to auto-update (in days). # export UPDATE_ZSH_DAYS=13 # Uncomment the following line to disable colors in ls. # DISABLE_LS_COLORS="true" # Uncomment the following line to disable auto-setting terminal title. # DISABLE_AUTO_TITLE="true" # Uncomment the following line to enable command auto-correction. # ENABLE_CORRECTION="true" # Uncomment the following line to display red dots whilst waiting for completion. # COMPLETION_WAITING_DOTS="true" # Uncomment the following line if you want to disable marking untracked files # under VCS as dirty. This makes repository status check for large repositories # much, much faster. # DISABLE_UNTRACKED_FILES_DIRTY="true" # Uncomment the following line if you want to change the command execution time # stamp shown in the history command output. # The optional three formats: "mm/dd/yyyy"|"dd.mm.yyyy"|"yyyy-mm-dd" # HIST_STAMPS="mm/dd/yyyy" # Would you like to use another custom folder than $ZSH/custom? # ZSH_CUSTOM=/path/to/new-custom-folder # Which plugins would you like to load? (plugins can be found in ~/.oh-my-zsh/plugins/*) # Custom plugins may be added to ~/.oh-my-zsh/custom/plugins/ # Example format: plugins=(rails git textmate ruby lighthouse) # Add wisely, as too many plugins slow down shell startup. plugins=(git) source $ZSH/oh-my-zsh.sh # User configuration # export MANPATH="/usr/local/man:$MANPATH" # You may need to manually set your language environment # export LANG=en_US.UTF-8 # Preferred editor for local and remote sessions # if [[ -n $SSH_CONNECTION ]]; then # export EDITOR='vim' # else # export EDITOR='mvim' # fi # Compilation flags # export ARCHFLAGS="-arch x86_64" # ssh # export SSH_KEY_PATH="~/.ssh/rsa_id" # Set personal aliases, overriding those provided by oh-my-zsh libs, # plugins, and themes. Aliases can be placed here, though oh-my-zsh # users are encouraged to define aliases within the ZSH_CUSTOM folder. # For a full list of active aliases, run `alias`. # # Example aliases # alias zshconfig="mate ~/.zshrc" # alias ohmyzsh="mate ~/.oh-my-zsh" JAVA_HOME=/usr/program/jdk1.8.0_121 JRE_HOME=$JAVA_HOME/jre PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export JRE_HOME export PATH export CLASSPATH ================================================ FILE: markdown-file/Alfresco-Install-And-Usage.md ================================================ # Alfresco 使用 ## Alfresco 介绍 - 官网： - 开源社区版下载： - 官网文档说明： - 开源社区版本安装说明： - Linux 版本安装说明： - 我的目的：用来管理公司发布的文档，比如：Word、Excel、记事本等这类，该系统支持在线预览文件。 ## 环境说明 - CentOS 7.3 带有图形桌面（需要有） - 下载下来的软件：**alfresco-community-installer-201704-linux-x64_3.bin**，大小：822M - 安装包存放目录：/opt ## 开始安装： - 使用 Linux 桌面方式进入系统，打开终端： - 切换目录：`cd /opt` - 赋予权限：`chmod +x alfresco-community-installer-201704-linux-x64_3.bin` - `./alfresco-community-installer-201704-linux-x64_3.bin` - 然后会出现如下图这种步骤引导安装界面，带有简体中文版，选择 `简单` 的基本流程安装方式，默认都是下一步下一步。其实选择 `高级` 也基本上是下一步下一步的，只是可以看到更多细节。 - 在设置管理员密码上，我是：123456（默认用户名是：admin） ![alfresco 安装](../images/Alfresco-Install-And-Settings-a-1.jpg) ![alfresco 安装](../images/Alfresco-Install-And-Settings-a-2.jpg) - 安装完成后，可以选择开始启动程序。建议不勾选，我们来使用下面命令。 - 程序默认是安装在：**/opt/alfresco-community** - 所以我们需要打开终端： - 切换目录：`cd /opt/alfresco-community` - 启动程序：`./alfresco.sh start` - 停止程序：`./alfresco.sh stop` - 启动完成后，用浏览器打开：（如果你 Linux 防火墙关闭了，也可以直接用其他机子直接访问，把这台机子当做服务器用），可以看到如下内容： ![alfresco 安装](../images/Alfresco-Install-And-Settings-a-3.jpg) ![alfresco 安装](../images/Alfresco-Install-And-Settings-a-4.jpg) ================================================ FILE: markdown-file/Ansible-Install-And-Settings.md ================================================ # Ansible 安装和配置 ## Ansible 说明 - Ansible 官网： - Ansible 官网 Github： - Ansible 官网文档： - 简单讲：它的作用就是把写 shell 这件事变成标准化、模块化。方便更好的自动化运维 ## 安装 - 官网说明： - CentOS：`sudo yum install -y ansible` - 查看版本：`ansible --version` ------------------------------------------------------------------- ## 配置基本概念 #### Ansible 基本配置文件顺序 - Ansible 执行的时候会按照以下顺序查找配置项，所以修改的时候要特别注意改的是哪个文件 ``` ANSIBLE_CONFIG (环境变量) ansible.cfg (脚本所在当前目录下) ~/.ansible.cfg (用户家目录下，默认没有) /etc/ansible/ansible.cfg（安装后会自动生成） ``` #### 配置远程主机地址 (Ansible 称这些地址为 Inventory) - 假设我有 3 台机子： - 192.168.0.223 - 192.168.0.70 - 192.168.0.103 - 官网对此的配置说明： ###### 给这三台机子设置免密登录的情况（一般推荐方式） - 编辑 Ansible 配置文件：`vim /etc/ansible/hosts` - 添加如下内容 ``` [hadoop-host] 192.168.0.223 192.168.0.70 192.168.0.103 ``` - 其中 `[hadoop-host]` 表示这些主机代表的一个组名 ###### 如果不设置免密，直接采用账号密码（容易泄露信息） - 编辑 Ansible 配置文件：`vim /etc/ansible/hosts` - 添加如下内容 ``` [hadoop-host] hadoop-master ansible_host=192.168.0.223 ansible_user=root ansible_ssh_pass=123456 hadoop-node1 ansible_host=192.168.0.70 ansible_user=root ansible_ssh_pass=123456 hadoop-node2 ansible_host=192.168.0.103 ansible_user=root ansible_ssh_pass=123456 ``` ## 简单使用（`ad hoc`方式） - ad hoc 官网： ##### 运行 Ansible - 运行 Ansible 的 `ping` 命令，看看配置正确时输出如下： ``` sudo ansible --private-key ~/.ssh/id_rsa all -m ping ``` - 让远程所有主机都执行 `ps` 命令，输出如下 ``` ansible all -a 'ps' ``` - 让远程所有 hadoop-host 组的主机都执行 `ps` 命令，输出如下 ``` ansible hadoop-host -a 'ps' ``` ------------------------------------------------------------------- ## Playbook 脚本方式 - 官网： - 一些语法： - playbook（剧本），顾名思义，就是需要定义一个脚本或者说配置文件，然后定义好要做什么。之后 ansible 就会根据 playbook 脚本对远程主机进行操作 #### 简单脚本 - 下面脚本让所有远程主机执行 `whoami` 命令，并把结果（当前用户名）输出到 `/opt/whoami.txt` 文件 - 创建脚本文件：`vim /opt/simple-playbook.yml` ``` - hosts: all tasks: - name: whoami shell: 'whoami > /opt/whoami.txt' ``` - 执行命令：`ansible-playbook /opt/simple-playbook.yml`，结果如下，并且 opt 下也有文件生成 ``` PLAY [all] ************************************************************************************************************************** TASK [Gathering Facts] ************************************************************************************************************** ok: [192.168.0.223] ok: [192.168.0.103] ok: [192.168.0.70] TASK [whoami] *********************************************************************************************************************** changed: [192.168.0.103] changed: [192.168.0.223] changed: [192.168.0.70] PLAY RECAP ************************************************************************************************************************** 192.168.0.103 : ok=2 changed=1 unreachable=0 failed=0 192.168.0.223 : ok=2 changed=1 unreachable=0 failed=0 192.168.0.70 : ok=2 changed=1 unreachable=0 failed=0 ``` ------------------------------------------------------------------- ## 平时用来测试 - 创建脚本文件：`vim /opt/test-playbook.yml` ``` - hosts: hadoop-test remote_user: root vars: java_install_folder: /usr/local tasks: # 按行的方式写入 - name: Set JAVA_HOME 1 lineinfile: dest=/etc/profile line="JAVA_HOME={{ java_install_folder }}/jdk1.8.0_181" # 按块的方式写入，#{mark} 会被自动替换成：begin 和 end 字符来包裹整块内容（我这里自己定义了词语） - name: Set JAVA_HOME 2 blockinfile: path: /etc/profile marker: "#{mark} JDK ENV" marker_begin: "开始" marker_end: "结束" block: | export JAVA_HOME={{ java_install_folder }}/jdk1.8.0_181 export PATH=$PATH:$JAVA_HOME/bin ``` - 执行命令：`ansible-playbook /opt/test-playbook.yml` ------------------------------------------------------------------- ## 更多 playbook 实战 #### 禁用防火墙（CentOS 7.x） - 创建脚本文件：`vim /opt/disable-firewalld-playbook.yml` ``` - hosts: all remote_user: root tasks: - name: Disable SELinux at next reboot selinux: state: disabled - name: disable firewalld command: "{{ item }}" with_items: - systemctl stop firewalld - systemctl disable firewalld - setenforce 0 ``` #### 基础环境（CentOS 7.x） - 创建脚本文件：`vim /opt/install-basic-playbook.yml` ``` - hosts: all remote_user: root tasks: - name: Disable SELinux at next reboot selinux: state: disabled - name: disable firewalld command: "{{ item }}" with_items: - systemctl stop firewalld - systemctl disable firewalld - setenforce 0 - name: install-basic command: "{{ item }}" with_items: - yum install -y zip unzip lrzsz git epel-release wget htop deltarpm - name: install-vim shell: "{{ item }}" with_items: - yum install -y vim - curl https://raw.githubusercontent.com/wklken/vim-for-server/master/vimrc > ~/.vimrc - name: install-docker shell: "{{ item }}" with_items: - yum install -y yum-utils device-mapper-persistent-data lvm2 - yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo - yum makecache fast - yum install -y docker-ce - systemctl start docker.service - docker run hello-world - name: install-docker-compose shell: "{{ item }}" with_items: - curl -L https://github.com/docker/compose/releases/download/1.18.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose - chmod +x /usr/local/bin/docker-compose - docker-compose --version - systemctl restart docker.service - systemctl enable docker.service ``` - 执行命令：`ansible-playbook /opt/install-basic-playbook.yml` #### 修改 hosts - 创建脚本文件：`vim /opt/hosts-playbook.yml` ``` - hosts: all remote_user: root tasks: - name: update hosts blockinfile: path: /etc/hosts block: | 192.168.0.223 linux01 192.168.0.223 linux02 192.168.0.223 linux03 192.168.0.223 linux04 192.168.0.223 linux05 ``` - 执行命令：`ansible-playbook /opt/hosts-playbook.yml` #### 部署 JDK - 创建脚本文件：`vim /opt/jdk8-playbook.yml` ``` - hosts: hadoop-host remote_user: root vars: java_install_folder: /usr/local tasks: - name: copy jdk copy: src=/opt/jdk-8u181-linux-x64.tar.gz dest={{ java_install_folder }} - name: tar jdk shell: chdir={{ java_install_folder }} tar zxf jdk-8u181-linux-x64.tar.gz - name: set JAVA_HOME blockinfile: path: /etc/profile marker: "#{mark} JDK ENV" block: | JAVA_HOME={{ java_install_folder }}/jdk1.8.0_181 JRE_HOME=$JAVA_HOME/jre PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export JRE_HOME export PATH export CLASSPATH - name: source profile shell: source /etc/profile ``` - 执行命令：`ansible-playbook /opt/jdk8-playbook.yml` #### 部署 Hadoop 集群 - 创建脚本文件：`vim /opt/hadoop-playbook.yml` - 刚学 Ansible，不好动配置文件，所以就只保留环境部分的设置，其他部分自行手工~ ``` - hosts: hadoop-host remote_user: root tasks: - name: Creates directory file: path: /data/hadoop/hdfs/name state: directory - name: Creates directory file: path: /data/hadoop/hdfs/data state: directory - name: Creates directory file: path: /data/hadoop/hdfs/tmp state: directory - name: set HADOOP_HOME blockinfile: path: /etc/profile marker: "#{mark} HADOOP ENV" block: | HADOOP_HOME=/usr/local/hadoop PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_HOME export PATH - name: source profile shell: source /etc/profile ``` - 执行命令：`ansible-playbook /opt/hadoop-playbook.yml` ------------------------------------------------------------------- ## 资料 - [ANSIBLE模块 - shell和command区别](https://www.jianshu.com/p/081139f73613) - - - ================================================ FILE: markdown-file/Bash-Other-Bash.md ================================================ # Bash 其他常用命令 ## 其他常用命令 - 编辑 hosts 文件：`vim /etc/hosts`，添加内容格式：`127.0.0.1 www.youmeek.com` - RPM 文件操作命令： - 安装 - `rpm -i example.rpm`，安装 example.rpm 包 - `rpm -iv example.rpm`，安装 example.rpm 包并在安装过程中显示正在安装的文件信息 - `rpm -ivh example.rpm`，安装 example.rpm 包并在安装过程中显示正在安装的文件信息及安装进度 - 查询 - `rpm -qa | grep jdk`，查看 jdk 是否被安装 - `rpm -ql jdk`，查看 jdk 是否被安装 - 卸载 - `rpm -e jdk`，卸载 jdk（一般卸载的时候都要先用 rpm -qa 看下整个软件的全名） - YUM 软件管理： - `yum install -y httpd`，安装 apache - `yum remove -y httpd`，卸载 apache - `yum info -y httpd`，查看 apache 版本信息 - `yum list --showduplicates httpd`，查看可以安装的版本 - `yum install httpd-查询到的版本号`，安装指定版本 - 更多命令可以看： - 查看某个配置文件，排除掉里面以 # 开头的注释内容： - `grep '^[^#]' /etc/openvpn/server.conf` - 查看某个配置文件，排除掉里面以 # 开头和 ; 开头的注释内容： - `grep '^[^#;]' /etc/openvpn/server.conf` ## 资料 - ================================================ FILE: markdown-file/Bash.md ================================================ # Bash 常用命令 ## 基础常用命令 - `某个命令 --h`，对这个命令进行解释 - `某个命令 --help`，解释这个命令(更详细) - `man某个命令`，文档式解释这个命令(更更详细)(执行该命令后,还可以按/+关键字进行查询结果的搜索) - `Ctrl + c`，结束命令 - `TAB键`，自动补全命令（按一次自动补全，连续按两次，提示所有以输入开头字母的所有命令） - `键盘上下键`，输入临近的历史命令 - `history`，查看所有的历史命令 - `Ctrl + r`，进入历史命令的搜索功能模式 - `clear`，清除屏幕里面的所有命令 - `pwd`，显示当前目录路径（常用） - `firefox&`，最后后面的 **&** 符号，表示使用后台方式打开 Firefox，然后显示该进程的 PID 值 - `jobs`，查看后台运行的程序列表 - `ifconfig`，查看内网 IP 等信息（常用） - `curl ifconfig.me`，查看外网 IP 信息 - `curl ip.cn`，查看外网 IP 信息 - `locate 搜索关键字`，快速搜索系统文件/文件夹（类似 Windows 上的 everything 索引式搜索）（常用） - `updatedb`，配合上面的 locate，给 locate 的索引更新（locate 默认是一天更新一次索引）（常用） - `date`，查看系统时间（常用） - `date -s20080103`，设置日期（常用） - `date -s18:24`，设置时间，如果要同时更改 BIOS 时间，再执行 `hwclock --systohc`（常用） - `cal`，在终端中查看日历，肯定没有农历显示的 - `uptime`，查看系统已经运行了多久，当前有几个用户等信息（常用） - `cat 文件路名`，显示文件内容（属于打印语句） - `cat -n 文件名`，显示文件，并每一行内容都编号 - `more 文件名`，用分页的方式查看文件内容（按 space 翻下一页，按 *Ctrl + B* 返回上页） - `less`文件名，用分页的方式查看文件内容（带上下翻页） - 按 **j** 向下移动，按 **k** 向上移动 - 按 **/** 后，输入要查找的字符串内容，可以对文件进行向下查询，如果存在多个结果可以按 **n** 调到下一个结果出 - 按 **？** 后，输入要查找的字符串内容，可以对文件进行向上查询，如果存在多个结果可以按 **n** 调到下一个结果出 - `shutdown` - `shutdown -hnow`，立即关机 - `shutdown -h+10`，10 分钟后关机 - `shutdown -h23:30`，23:30 关机 - `shutdown -rnew`，立即重启 - `poweroff`，立即关机（常用） - `reboot`，立即重启（常用） - `zip mytest.zip /opt/test/`，把 /opt 目录下的 test/ 目录进行压缩，压缩成一个名叫 mytest 的 zip 文件 - `unzip mytest.zip`，对 mytest.zip 这个文件进行解压，解压到当前所在目录 - `unzip mytest.zip -d /opt/setups/`，对 mytest.zip 这个文件进行解压，解压到 /opt/setups/ 目录下 - `tar -cvf mytest.tar mytest/`，对 mytest/ 目录进行归档处理（归档和压缩不一样） - `tar -xvf mytest.tar`，释放 mytest.tar 这个归档文件，释放到当前目录 - `tar -xvf mytest.tar -C /opt/setups/`，释放 mytest.tar 这个归档文件，释放到 /opt/setups/ 目录下 - `last`，显示最近登录的帐户及时间 - `lastlog`，显示系统所有用户各自在最近登录的记录，如果没有登录过的用户会显示 **从未登陆过** - `ls`，列出当前目录下的所有没有隐藏的文件 / 文件夹。 - `ls -a`，列出包括以.号开头的隐藏文件 / 文件夹（也就是所有文件） - `ls -R`，显示出目录下以及其所有子目录的文件 / 文件夹（递归地方式，不显示隐藏的文件） - `ls -a -R`，显示出目录下以及其所有子目录的文件 / 文件夹（递归地方式，显示隐藏的文件） - `ls -al`，列出目录下所有文件（包含隐藏）的权限、所有者、文件大小、修改时间及名称（也就是显示详细信息） - `ls -ld 目录名`，显示该目录的基本信息 - `ls -t`，依照文件最后修改时间的顺序列出文件名。 - `ls -F`，列出当前目录下的文件名及其类型。以 **/** 结尾表示为目录名，以 **\*** 结尾表示为可执行文件，以 **@** 结尾表示为符号连接 - `ls -lg`，同上，并显示出文件的所有者工作组名。 - `ls -lh`，查看文件夹类文件详细信息，文件大小，文件修改时间 - `ls /opt | head -5`，显示 opt 目录下前 5 条记录 - `ls -l | grep '.jar'`，查找当前目录下所有 jar 文件 - `ls -l /opt |grep "^-"|wc -l`，统计 opt 目录下文件的个数，不会递归统计 - `ls -lR /opt |grep "^-"|wc -l`，统计 opt 目录下文件的个数，会递归统计 - `ls -l /opt |grep "^d"|wc -l`，统计 opt 目录下目录的个数，不会递归统计 - `ls -lR /opt |grep "^d"|wc -l`，统计 opt 目录下目录的个数，会递归统计 - `ls -lR /opt |grep "js"|wc -l`，统计 opt 目录下 js 文件的个数，会递归统计 - `ls -l`，列出目录下所有文件的权限、所有者、文件大小、修改时间及名称（也就是显示详细信息，不显示隐藏文件）。显示出来的效果如下： ``` nginx -rwxr-xr-x. 1 root root 4096 3月 26 10:57，其中最前面的 - 表示这是一个普通文件 lrwxrwxrwx. 1 root root 4096 3月 26 10:57，其中最前面的 l 表示这是一个链接文件，类似 Windows 的快捷方式 drwxr-xr-x. 5 root root 4096 3月 26 10:57，其中最前面的 d 表示这是一个目录 ``` - `cd`，目录切换 - `cd ..`，改变目录位置至当前目录的父目录(上级目录)。 - `cd ~`，改变目录位置至用户登录时的工作目录。 - `cd 回车`，回到家目录 - `cd -`，上一个工作目录 - `cd dir1/`，改变目录位置至 dir1 目录下。 - `cd ~user`，改变目录位置至用户的工作目录。 - `cd ../user`，改变目录位置至相对路径user的目录下。 - `cd /../..`，改变目录位置至绝对路径的目录位置下。 - `cp 源文件 目标文件`，复制文件 - `cp -r 源文件夹 目标文件夹`，复制文件夹 - `cp -r -v 源文件夹 目标文件夹`，复制文件夹(显示详细信息，一般用于文件夹很大，需要查看复制进度的时候) - `cp /usr/share/easy-rsa/2.0/keys/{ca.crt,server.{crt,key},dh2048.pem,ta.key} /etc/openvpn/keys/`，复制同目录下花括号中的文件 - `tar cpf - . | tar xpf - -C /opt`，复制当前所有文件到 /opt 目录下，一般如果文件夹文件多的情况下用这个更好，用 cp 比较容易出问题 - `mv 文件 目标文件夹`，移动文件到目标文件夹 - `mv 文件`，不指定目录重命名后的名字，用来重命名文件 - `touch 文件名`，创建一个空白文件/更新已有文件的时间(后者少用) - `mkdir 文件夹名`，创建文件夹 - `mkdir -p /opt/setups/nginx/conf/`，创建一个名为 conf 文件夹，如果它的上级目录 nginx 没有也会跟着一起生成，如果有则跳过 - `rmdir 文件夹名`，删除文件夹(只能删除文件夹里面是没有东西的文件夹) - `rm 文件`，删除文件 - `rm -r 文件夹`，删除文件夹 - `rm -r -i 文件夹`，在删除文件夹里的文件会提示(要的话,在提示后面输入yes) - `rm -r -f 文件夹`，强制删除 - `rm -r -f 文件夹1/ 文件夹2/ 文件夹3/`删除多个 - `find`，高级查找 - `find . -name *lin*`，其中 . 代表在当前目录找，-name 表示匹配文件名 / 文件夹名，\*lin\* 用通配符搜索含有lin的文件或是文件夹 - `find . -iname *lin*`，其中 . 代表在当前目录找，-iname 表示匹配文件名 / 文件夹名（忽略大小写差异），\*lin\* 用通配符搜索含有lin的文件或是文件夹 - `find / -name *.conf`，其中 / 代表根目录查找，*.conf代表搜索后缀会.conf的文件 - `find /opt -name .oh-my-zsh`，其中 /opt 代表目录名，.oh-my-zsh 代表搜索的是隐藏文件 / 文件夹名字为 oh-my-zsh 的 - `find /opt -type f -iname .oh-my-zsh`，其中 /opt 代表目录名，-type f 代表只找文件，.oh-my-zsh 代表搜索的是隐藏文件名字为 oh-my-zsh 的 - `find /opt -type d -iname .oh-my-zsh`，其中 /opt 代表目录名，-type d 代表只找目录，.oh-my-zsh 代表搜索的是隐藏文件夹名字为 oh-my-zsh 的 - `find . -name "lin*" -exec ls -l {} \;`，当前目录搜索lin开头的文件，然后用其搜索后的结果集，再执行ls -l的命令（这个命令可变，其他命令也可以），其中 -exec 和 {} \; 都是固定格式 - `find /opt -type f -size +800M -print0 | xargs -0 du -h | sort -nr`，找出 /opt 目录下大于 800 M 的文件 - `find / -name "*tower*" -exec rm {} \;`，找到文件并删除 - `find / -name "*tower*" -exec mv {} /opt \;`，找到文件并移到 opt 目录 - `find . -name "*" |xargs grep "youmeek"`，递归查找当前文件夹下所有文件内容中包含 youmeek 的文件 - `find . -size 0 | xargs rm -f &`，删除当前目录下文件大小为0的文件 - `du -hm --max-depth=2 | sort -nr | head -12`，找出系统中占用容量最大的前 12 个目录 - `cat /etc/resolv.conf`，查看 DNS 设置 - `netstat -tlunp`，查看当前运行的服务，同时可以查看到：运行的程序已使用端口情况 - `env`，查看所有系统变量 - `export`，查看所有系统变量 - `echo` - `echo $JAVA_HOME`，查看指定系统变量的值，这里查看的是自己配置的 JAVA_HOME。 - `echo "字符串内容"`，输出 "字符串内容" - `echo > aa.txt`，清空 aa.txt 文件内容（类似的还有：`: > aa.txt`，其中 : 是一个占位符, 不产生任何输出） - `unset $JAVA_HOME`，删除指定的环境变量 - `ln -s /opt/data /opt/logs/data`，表示给 /opt/logs 目录下创建一个名为 data 的软链接，该软链接指向到 /opt/data - `grep` - `shell grep -H '安装' *.sh`，查找当前目录下所有 sh 类型文件中，文件内容包含 `安装` 的当前行内容 - `grep 'test' java*`，显示当前目录下所有以 java 开头的文件中包含 test 的行 - `grep 'test' spring.ini docker.sh`，显示当前目录下 spring.ini docker.sh 两个文件中匹配 test 的行 - `ps` - `ps –ef|grep java`，查看当前系统中有关 java 的所有进程 - `ps -ef|grep --color java`，高亮显示当前系统中有关 java 的所有进程 - `kill` - `kill 1234`，结束 pid 为 1234 的进程 - `kill -9 1234`，强制结束 pid 为 1234 的进程（慎重） - `killall java`，结束同一进程组内的所有为 java 进程 - `ps -ef|grep hadoop|grep -v grep|cut -c 9-15|xargs kill -9`，结束包含关键字 hadoop 的所有进程 - `head` - `head -n 10 spring.ini`，查看当前文件的前 10 行内容 - `tail` - `tail -n 10 spring.ini`，查看当前文件的后 10 行内容 - `tail -200f 文件名`，查看文件被更新的新内容尾 200 行，如果文件还有在新增可以动态查看到（一般用于查看日记文件） ## 用户、权限-相关命令 - 使用 pem 证书登录：`ssh -i /opt/mykey.pem root@192.168.0.70` - 证书权限不能太大，不然无法使用：`chmod 600 mykey.pem` - `hostname`，查看当前登陆用户全名 - `cat /etc/group`，查看所有组 - `cat /etc/passwd`，查看所有用户 - `groups youmeek`，查看 youmeek 用户属于哪个组 - `useradd youmeek -g judasn`，添加用户并绑定到 judasn 组下 - `userdel -r youmeek`，删除名字为 youmeek 的用户 - 参数：`-r`，表示删除用户的时候连同用户的家目录一起删除 - 修改普通用户 youmeek 的权限跟 root 权限一样： - 常用方法（原理是把该用户加到可以直接使用 sudo 的一个权限状态而已）： - 编辑配置文件：`vim /etc/sudoers` - 找到 98 行（预估），有一个：`root ALL=(ALL) ALL`，在这一行下面再增加一行，效果如下： ``` nginx root ALL=(ALL) ALL youmeek ALL=(ALL) ALL ``` - 另一种方法： - 编辑系统用户的配置文件：`vim /etc/passwd`，找到 **root** 和 **youmeek** 各自开头的那一行，比如 root 是：`root:x:0:0:root:/root:/bin/zsh`，这个代表的含义为：*用户名:密码:UserId:GroupId:描述:家目录:登录使用的 shell* - 通过这两行对比，我们可以直接修改 youmeek 所在行的 UserId 值 和 GroupId 值，都改为 0。 - `groupadd judasn`，添加一个名为 judasn 的用户组 - `groupdel judasn`，删除一个名为 judasn 的用户组（前提：先删除组下面的所有用户） - `usermod 用户名 -g 组名`，把用户修改到其他组下 - `passwd youmeek`，修改 youmeek 用户的密码（前提：只有 root 用户才有修改其他用户的权限，其他用户只能修改自己的） - `chmod 777 文件名/目录`，给指定文件增加最高权限，系统中的所有人都可以进行读写。 - linux 的权限分为 rwx。r 代表：可读，w 代表：可写，x 代表：可执行 - 这三个权限都可以转换成数值表示，r = 4，w = 2，x = 1，- = 0，所以总和是 7，也就是最大权限。第一个 7 是所属主（user）的权限，第二个 7 是所属组（group）的权限，最后一位 7 是非本群组用户（others）的权限。 - `chmod -R 777 目录` 表示递归目录下的所有文件夹，都赋予 777 权限 - `chown myUsername:myGroupName myFile` 表示修改文件所属用户、组 - `chown -R myUsername:myGroupName myFolder` 表示递归修改指定目录下的所有文件权限 - `su`：切换到 root 用户，终端目录还是原来的地方（常用） - `su -`：切换到 root 用户，其中 **-** 号另起一个终端并切换账号 - `su 用户名`，切换指定用户帐号登陆，终端目录还是原来地方。 - `su - 用户名`，切换到指定用户帐号登陆，其中 **-** 号另起一个终端并切换账号 - `exit`，注销当前用户（常用） - `sudo 某个命令`，使用管理员权限使用命令，使用 sudo 回车之后需要输入当前登录账号的密码。（常用） - `passwd`，修改当前用户密码（常用） - 添加临时账号，并指定用户根目录，并只有可读权限方法 - 添加账号并指定根目录（用户名 tempuser）：`useradd -d /data/logs -m tempuser` - 设置密码：`passwd tempuser` 回车设置密码 - 删除用户（该用户必须退出 SSH 才能删除成功），也会同时删除组：`userdel tempuser` ## 磁盘管理 - `df -h`，自动以合适的磁盘容量单位查看磁盘大小和使用空间 - `df -k`，以磁盘容量单位 K 为数值结果查看磁盘使用情况 - `df -m`，以磁盘容量单位 M 为数值结果查看磁盘使用情况 - `du -sh /opt`，查看 opt 这个文件夹大小 （h 的意思 human-readable 用人类可读性较好方式显示，系统会自动调节单位，显示合适大小的单位） - `du -sh ./*`，查看当前目录下所有文件夹大小 （h 的意思 human-readable 用人类可读性较好方式显示，系统会自动调节单位，显示合适大小的单位） - `du -sh /opt/setups/`，显示 /opt/setups/ 目录所占硬盘空间大小（s 表示 –summarize 仅显示总计，即当前目录的大小。h 表示 –human-readable 以 KB，MB，GB 为单位，提高信息的可读性） - `mount /dev/sdb5 /newDir/`，把分区 sdb5 挂载在根目录下的一个名为 newDir 的空目录下，需要注意的是：这个目录最好为空，不然已有的那些文件将看不到，除非卸载挂载。 - 挂载好之后，通过：`df -h`，查看挂载情况。 - `umount /newDir/`，卸载挂载，用目录名 - 如果这样卸载不了可以使用：`umount -l /newDir/` - `umount /dev/sdb5`，卸载挂载，用分区名 ## wget 下载文件 - 常规下载：`wget http://www.gitnavi.com/index.html` - 自动断点下载：`wget -c http://www.gitnavi.com/index.html` - 后台下载：`wget -b http://www.gitnavi.com/index.html` - 伪装代理名称下载：`wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://www.gitnavi.com/index.html` - 限速下载：`wget --limit-rate=300k http://www.gitnavi.com/index.html` - 批量下载：`wget -i /opt/download.txt`，一个下载地址一行 - 后台批量下载：`wget -b -c -i /opt/download.txt`，一个下载地址一行 ## 资料 - - - ================================================ FILE: markdown-file/CI-Install-And-Usage.md ================================================ # CI 一整套服务 ## 环境说明 - CentOS 7.3 - 两台机子（一台机子也是可以，内存至少要 8G） - 一台：Gitlab + Redis + Postgresql - 硬件推荐：内存 4G - 端口安排 - Gitlab：10080 - 一台：Nexus + Jenkins + SonarQube + Postgresql - 硬件推荐：内存 8G - 端口安排 - SonarQube：19000 - Nexus：18081 - Jenkins：18080 ## Gitlab + Redis + Postgresql - 预计会使用内存：2G 左右 - 这套方案来自（部分内容根据自己情况进行了修改）： - 创建宿主机挂载目录：`mkdir -p /data/docker/gitlab/gitlab /data/docker/gitlab/redis /data/docker/gitlab/postgresql` - 赋权（避免挂载的时候，一些程序需要容器中的用户的特定权限使用）：`chmod -R 777 /data/docker/gitlab/gitlab /data/docker/gitlab/redis /data/docker/gitlab/postgresql` - 这里使用 docker-compose 的启动方式，所以需要创建 docker-compose.yml 文件： ```yaml version: '2' services: redis: restart: always image: sameersbn/redis:latest command: - --loglevel warning volumes: - /data/docker/gitlab/redis:/var/lib/redis:Z postgresql: restart: always image: sameersbn/postgresql:9.6-2 volumes: - /data/docker/gitlab/postgresql:/var/lib/postgresql:Z environment: - DB_USER=gitlab - DB_PASS=password - DB_NAME=gitlabhq_production - DB_EXTENSION=pg_trgm gitlab: restart: always image: sameersbn/gitlab:10.4.2-1 depends_on: - redis - postgresql ports: - "10080:80" - "10022:22" volumes: - /data/docker/gitlab/gitlab:/home/git/data:Z environment: - DEBUG=false - DB_ADAPTER=postgresql - DB_HOST=postgresql - DB_PORT=5432 - DB_USER=gitlab - DB_PASS=password - DB_NAME=gitlabhq_production - REDIS_HOST=redis - REDIS_PORT=6379 - TZ=Asia/Shanghai - GITLAB_TIMEZONE=Beijing - GITLAB_HTTPS=false - SSL_SELF_SIGNED=false - GITLAB_HOST=192.168.0.105 - GITLAB_PORT=10080 - GITLAB_SSH_PORT=10022 - GITLAB_RELATIVE_URL_ROOT= - GITLAB_SECRETS_DB_KEY_BASE=long-and-random-alphanumeric-string - GITLAB_SECRETS_SECRET_KEY_BASE=long-and-random-alphanumeric-string - GITLAB_SECRETS_OTP_KEY_BASE=long-and-random-alphanumeric-string - GITLAB_ROOT_PASSWORD= - GITLAB_ROOT_EMAIL= - GITLAB_NOTIFY_ON_BROKEN_BUILDS=true - GITLAB_NOTIFY_PUSHER=false - GITLAB_EMAIL=notifications@example.com - GITLAB_EMAIL_REPLY_TO=noreply@example.com - GITLAB_INCOMING_EMAIL_ADDRESS=reply@example.com - GITLAB_BACKUP_SCHEDULE=daily - GITLAB_BACKUP_TIME=01:00 - SMTP_ENABLED=false - SMTP_DOMAIN=www.example.com - SMTP_HOST=smtp.gmail.com - SMTP_PORT=587 - SMTP_USER=mailer@example.com - SMTP_PASS=password - SMTP_STARTTLS=true - SMTP_AUTHENTICATION=login - IMAP_ENABLED=false - IMAP_HOST=imap.gmail.com - IMAP_PORT=993 - IMAP_USER=mailer@example.com - IMAP_PASS=password - IMAP_SSL=true - IMAP_STARTTLS=false - OAUTH_ENABLED=false - OAUTH_AUTO_SIGN_IN_WITH_PROVIDER= - OAUTH_ALLOW_SSO= - OAUTH_BLOCK_AUTO_CREATED_USERS=true - OAUTH_AUTO_LINK_LDAP_USER=false - OAUTH_AUTO_LINK_SAML_USER=false - OAUTH_EXTERNAL_PROVIDERS= - OAUTH_CAS3_LABEL=cas3 - OAUTH_CAS3_SERVER= - OAUTH_CAS3_DISABLE_SSL_VERIFICATION=false - OAUTH_CAS3_LOGIN_URL=/cas/login - OAUTH_CAS3_VALIDATE_URL=/cas/p3/serviceValidate - OAUTH_CAS3_LOGOUT_URL=/cas/logout - OAUTH_GOOGLE_API_KEY= - OAUTH_GOOGLE_APP_SECRET= - OAUTH_GOOGLE_RESTRICT_DOMAIN= - OAUTH_FACEBOOK_API_KEY= - OAUTH_FACEBOOK_APP_SECRET= - OAUTH_TWITTER_API_KEY= - OAUTH_TWITTER_APP_SECRET= - OAUTH_GITHUB_API_KEY= - OAUTH_GITHUB_APP_SECRET= - OAUTH_GITHUB_URL= - OAUTH_GITHUB_VERIFY_SSL= - OAUTH_GITLAB_API_KEY= - OAUTH_GITLAB_APP_SECRET= - OAUTH_BITBUCKET_API_KEY= - OAUTH_BITBUCKET_APP_SECRET= - OAUTH_SAML_ASSERTION_CONSUMER_SERVICE_URL= - OAUTH_SAML_IDP_CERT_FINGERPRINT= - OAUTH_SAML_IDP_SSO_TARGET_URL= - OAUTH_SAML_ISSUER= - OAUTH_SAML_LABEL="Our SAML Provider" - OAUTH_SAML_NAME_IDENTIFIER_FORMAT=urn:oasis:names:tc:SAML:2.0:nameid-format:transient - OAUTH_SAML_GROUPS_ATTRIBUTE= - OAUTH_SAML_EXTERNAL_GROUPS= - OAUTH_SAML_ATTRIBUTE_STATEMENTS_EMAIL= - OAUTH_SAML_ATTRIBUTE_STATEMENTS_NAME= - OAUTH_SAML_ATTRIBUTE_STATEMENTS_FIRST_NAME= - OAUTH_SAML_ATTRIBUTE_STATEMENTS_LAST_NAME= - OAUTH_CROWD_SERVER_URL= - OAUTH_CROWD_APP_NAME= - OAUTH_CROWD_APP_PASSWORD= - OAUTH_AUTH0_CLIENT_ID= - OAUTH_AUTH0_CLIENT_SECRET= - OAUTH_AUTH0_DOMAIN= - OAUTH_AZURE_API_KEY= - OAUTH_AZURE_API_SECRET= - OAUTH_AZURE_TENANT_ID= ``` - 启动：`docker-compose up -d`，启动比较慢，等个 2 分钟左右。 - 浏览器访问 Gitlab： - 默认用户是 root，密码首次访问必须重新设置，并且最小长度为 8 位，我习惯设置为：aa123456 - 添加 SSH key： - Gitlab 的具体使用可以看另外文章：[Gitlab 的使用](Gitlab-Install-And-Settings.md) ## Nexus + Jenkins + SonarQube - 预计会使用内存：4G 左右 - 创建宿主机挂载目录：`mkdir -p /data/docker/ci/nexus /data/docker/ci/jenkins /data/docker/ci/jenkins/lib /data/docker/ci/jenkins/home /data/docker/ci/sonarqube /data/docker/ci/postgresql /data/docker/ci/gatling/results` - 赋权（避免挂载的时候，一些程序需要容器中的用户的特定权限使用）：`chmod -R 777 /data/docker/ci/nexus /data/docker/ci/jenkins/lib /data/docker/ci/jenkins/home /data/docker/ci/sonarqube /data/docker/ci/postgresql /data/docker/ci/gatling/results` - 下面有一个细节要特别注意：yml 里面不能有中文。还有就是 sonar 的挂载目录不能直接挂在 /opt/sonarqube 上，不然会启动不了。 - 这里使用 docker-compose 的启动方式，所以需要创建 docker-compose.yml 文件： ```yaml version: '3' networks: prodnetwork: driver: bridge services: sonardb: image: postgres:9.6.6 restart: always ports: - "5433:5432" networks: - prodnetwork volumes: - /data/docker/ci/postgresql:/var/lib/postgresql environment: - POSTGRES_USER=sonar - POSTGRES_PASSWORD=sonar sonar: image: sonarqube:6.7.1 restart: always ports: - "19000:9000" - "19092:9092" networks: - prodnetwork depends_on: - sonardb volumes: - /data/docker/ci/sonarqube/conf:/opt/sonarqube/conf - /data/docker/ci/sonarqube/data:/opt/sonarqube/data - /data/docker/ci/sonarqube/extension:/opt/sonarqube/extensions - /data/docker/ci/sonarqube/bundled-plugins:/opt/sonarqube/lib/bundled-plugins environment: - SONARQUBE_JDBC_URL=jdbc:postgresql://sonardb:5432/sonar - SONARQUBE_JDBC_USERNAME=sonar - SONARQUBE_JDBC_PASSWORD=sonar nexus: image: sonatype/nexus3 restart: always ports: - "18081:8081" networks: - prodnetwork volumes: - /data/docker/ci/nexus:/nexus-data jenkins: image: wine6823/jenkins:1.1 restart: always ports: - "18080:8080" networks: - prodnetwork volumes: - /var/run/docker.sock:/var/run/docker.sock - /usr/bin/docker:/usr/bin/docker - /etc/localtime:/etc/localtime:ro - $HOME/.ssh:/root/.ssh - /data/docker/ci/jenkins/lib:/var/lib/jenkins/ - /data/docker/ci/jenkins/home:/var/jenkins_home depends_on: - nexus - sonar environment: - NEXUS_PORT=8081 - SONAR_PORT=9000 - SONAR_DB_PORT=5432 ``` - 启动：`docker-compose up -d`，启动比较慢，等个 2 分钟左右。 - 浏览器访问 SonarQube： - 默认用户名：admin - 默认密码：admin - 插件安装地址： - 代码检查规范选择： - 如果没有安装相关检查插件，默认是没有内容可以设置，建议现在插件市场安装 FindBugs，这样也可以帮你生成插件目录：`/extension/plugins` - 如果你有其他额外插件，可以把 jar 放在 `${SONAR_HOME}/extension/plugins` 目录下，然后重启下 sonar - 浏览器访问 Nexus： - 默认用户名：admin - 默认密码：admin123 - 浏览器访问 Jenkins： - 首次进入 Jenkins 的 Web UI 界面是一个解锁页面 Unlock Jenkins，需要让你输入：Administrator password - 这个密码放在：`/var/jenkins_home/secrets/initialAdminPassword`，你需要先：`docker exec -it ci_jenkins_1 /bin/bash` - 然后：`cat /var/jenkins_home/secrets/initialAdminPassword`，找到初始化密码 --------------------------------- ## 配置 Jenkins 拉取代码权限 - 因为 dockerfile 中我已经把宿主机的 .ssh 下的挂载在 Jenkins 的容器中 - 所以读取宿主机的 pub：`cat ~/.ssh/id_rsa.pub`，然后配置在 Gitlab 中： - Jenkinsfile 中 Git URL 使用：ssh 协议，比如：`ssh://git@192.168.0.105:10022/gitnavi/spring-boot-ci-demo.git` ## Jenkins 特殊配置（减少权限问题，如果是内网的话） - 访问： - 去掉 `防止跨站点请求伪造` - 勾选 `登录用户可以做任何事` 下面的：`Allow anonymous read access` ## 配置 Gitlab Webhook - Jenkins 访问： - 在 `Build Triggers` 勾选：`触发远程构建 (例如,使用脚本)`，在 `身份验证令牌` 输入框填写任意字符串，这个等下 Gitlab 会用到，假设我这里填写：112233 - Gitlab 访问： - 在 `URL` 中填写：`http://192.168.0.105:18080/job/任务名/build?token=112233` ## 资料 - ================================================ FILE: markdown-file/CentOS-7-Install.md ================================================ # CentOS 7 安装 ## 概括 - 本教程中主要演示了 VMware Workstation 下安装 `CentOS 7.3` 的过程。 - VMware 的使用细节可以看这篇：[CentOS 6 安装](CentOS-Install.md) - 如果你是要安装到 PC 机中，你需要准备一个 U 盘，以及 Windows 下载这个软件：[USBWriter（提取码：5aa2）](https://pan.baidu.com/s/1gg83h9T) - 如果你是要安装到 PC 机中，你需要准备一个 U 盘，以及 macOS 下载这个软件：[balenaEtcher（提取码：oqp9）](https://pan.baidu.com/s/1l5K48tfuCKdn0wR_62PjJA) - USBWriter 的使用很简单，如下图即可制作一个 CentOS 系统盘 ![VMware 下安装](../images/CentOS-7-Install-a-0.jpg) ## VMware 下安装 CentOS 过程 - VMware Workstation 的介绍和下载 - 官网： - wiki： - 百度 wiki： - 百度云下载（64 位）： - 官网下载： - 安装细节开始： ![VMware 下安装](../images/CentOS-7-Install-a-1.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-2.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-3.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-4.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-5.jpg) - 如上图，默认是最小安装，点击进去，选择桌面安装。 - 如上图，默认是自动分区，如果懂得分区，点击进去，进行手动分区，CentOS 7 少了主分区，逻辑分区的选择了。 ![VMware 下安装](../images/CentOS-7-Install-a-6.jpg) - 如上图，root 密码必须设置，我习惯测试的时候是：123456 - 我没有创建用户，喜欢用 root ![VMware 下安装](../images/CentOS-7-Install-a-7.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-8.jpg) - 如上图，许可证必须点击进去勾选同意相关协议。 - 如上图，网络可以稍后在设置，主机名可以现在先填写 ![VMware 下安装](../images/CentOS-7-Install-a-9.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-10.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-11.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-12.jpg) - 如上图右上角，一般我们都选择跳过 ![VMware 下安装](../images/CentOS-7-Install-a-13.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-14.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-15.jpg) ![VMware 下安装](../images/CentOS-7-Install-a-16.jpg) - 到此完成，其他该做啥就做啥 ================================================ FILE: markdown-file/CentOS-Install.md ================================================ # CentOS 安装 ## 概括 - 本教程中主要演示了 VirtualBox 和 VMware Workstation 下安装 `CentOS 6.6` 的过程。 - VirtualBox 是免费开源，我个人在使用经历中遇到过很多次崩溃、安装有问题等，所以它不是我主推的虚拟机 - VMware Workstation 是商业软件，很好用，一些辅助功能也很到位，主推该虚拟机。 - 如果你是要安装到 PC 机中，你需要准备一个 U 盘，以及下载这个软件：[USBWriter（提取码：5aa2）](https://pan.baidu.com/s/1gg83h9T) - USBWriter 的使用很简单，如下图即可制作一个 CentOS 系统盘 ![VMware 下安装](../images/CentOS-7-Install-a-0.jpg) ## VirtualBox 下安装 CentOS 过程 - VirtualBox 的介绍和下载 - 官网： - wiki： - 百度 wiki： - 百度云下载（32 位和 64 位一体）： - 官网下载： #### VirtualBox 安装细节开始： - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-1.jpg) - 如上图标注 1 所示：点击 `新建` 一个虚拟机。 - 如上图标注 2 所示：在填写 `名称` 的时候，输入 `CentOS` 相关字眼的时候，下面的版本类型会跟着变化，自动识别为 `Red Hat` - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-2.jpg) - 如上图标注 1 所示：我们装的是 64 位系统，如果你本机内存足够大，建议可以给 2 ~ 4 G 的容量 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-3.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-4.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-5.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-6.jpg) - 如上图所示，命名最好规范，最好要带上系统版本号，硬盘大小建议在 8 ~ 20 G - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-b-1.gif) - 如上图 gif 演示，当我们创建好虚拟机之后，需要选择模拟光驱进行系统镜像安装 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-7.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-8.jpg) - 如上图箭头所示，我们这里选择 `Skip`，跳过对镜像的检查，这个一般需要检查很久，而且我们用 iso 文件安装的，一般没这个必要 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-9.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-12.jpg) - 如上图标注 1 所示，建议 Linux 纯新手使用简体中文环境 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-13.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-14.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-15.jpg) - 如上图标注 1 所示，因为我们是用全新的虚拟机，虚拟出来的硬盘都是空的，所以这里可以忽略所有数据 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-16.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-17.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-18.jpg) - 再次强调下，root 账号也就是图上所说的 `根账号`，它是最顶级账号，密码最好别忘记了 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-19.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-20.jpg) - 如上图标注 1 所示，因为我们是用全新的虚拟机，所以这里选择 `使用所有空间` ，然后 CentOS 会按它默认的方式进行分区 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-21.jpg) - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-22.jpg) - `Desktop` 代表：图形界面版，会默认安装很多软件，建议新手选择此模式，我后面其他文章的讲解都是基于此系统下，如果你不是此模式的系统可能在安装某些软件的时候会出现某些依赖包没有安装的情况 - `basic sever` 代表：命令行界面，有良好基础的基本都会喜欢这个 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-23.jpg) - 上一步我选择的是 `Desktop` 所以有很多软件需要安装，这个过程大概需要 5 ~ 10 分钟 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-24.jpg) - 安装完成 - ![VirtualBox 下安装](../images/CentOS-Install-VirtualBox-a-25.jpg) - 安装完成后一定要把盘片删除，防止系统启动的时候去读盘，重新进入安装系统模式 ## VMware 下安装 CentOS 过程 - VMware Workstation 的介绍和下载 - 官网： - wiki： - 百度 wiki： - 百度云下载（64 位）： - 官网下载： #### VMware 安装细节开始： - ![VMware 下安装](../images/CentOS-install-VMware-a-1.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-2.jpg) - 默认 VMware 选择的是 `典型` 我不推荐，我下面的步骤是选择 `自定义（高级）`。如果你非常了解 Linux 系统倒是可以考虑选择 `典型`，在它默认安装完的系统上可以很好地按你的需求进行修改 - ![VMware 下安装](../images/CentOS-install-VMware-a-3.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-4.jpg) - 牢记：不要在这一步就选择镜像文件，不然也会直接进入 `典型` 模式，直接按它的规则进行系统安装 - ![VMware 下安装](../images/CentOS-install-VMware-a-5.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-6.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-7.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-8.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-9.jpg) - 桥接模式：（建议选择此模式）创建一个独立的虚拟主机，在桥接模式下的虚拟主机网络一般要为其配 IP 地址、子网掩码、默认网关（虚拟机ip地址要与主机ip地址处于同网段） - NAT 模式：把物理主机作为路由器进行访问互联网，优势:联网简单，劣势:虚拟主机无法与物理主机通讯 - 主机模式：把虚拟主机网络与真实网络隔开，但是各个虚拟机之间可以互相连接，虚拟机和物理机也可以连接 - > 上面解释来源： - ![VMware 下安装](../images/CentOS-install-VMware-a-10.jpg) - Buslogic 和 LSIlogic 都是虚拟硬盘 SCSI 设备的类型，旧版本的 OS 默认的是 Buslogic，LSIlogic 类型的硬盘改进了性能，对于小文件的读取速度有提高，支持非 SCSI 硬盘比较好。 - > 上面解释来源： - ![VMware 下安装](../images/CentOS-install-VMware-a-11.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-12.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-13.jpg) - 强烈建议至少要给 20 G，不然装不了多少软件的 - ![VMware 下安装](../images/CentOS-install-VMware-a-14.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-15.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-b-1.gif) - 如上图 gif 所示，在创建完虚拟机之后，我们要加载系统镜像，然后启动虚拟机进行安装，接下来的安装步骤跟上面使用 VirtualBox 安装细节基本一样，不一样的地方是我这里选择的是自定义分区，不再是选择默认分区方式 - ![VMware 下安装](../images/CentOS-install-VMware-a-16.jpg) - 如上图箭头所示，这里我们选择自定义分区方式 - ![VMware 下安装](../images/CentOS-install-VMware-b-2.gif) - 如上图 gif 所示，我只把最基本的区分出来，如果你有自己的需求可以自己设置 - 简单分区方案： - `/boot` == 500 M（主分区） - `/swap` == 2 G（逻辑分区）一般大家的说法这个大小是跟你机子的内存大小相关的，也有说法内存大不需要这个，但是还是建议分，虚拟机内存 2 G，所以我分 2 G - `/` == 剩余容量（逻辑分区）剩余的空间都给了根分区 - ![VMware 下安装](../images/CentOS-install-VMware-a-17.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-18.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-19.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-20.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-21.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-22.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-23.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-24.jpg) - ![VMware 下安装](../images/CentOS-install-VMware-a-25.jpg) ================================================ FILE: markdown-file/CentOS-Virtual-Machine-Copy-Settings.md ================================================ # VMware 克隆 CentOS 后网卡信息修改 ## 概述 - 在我们需要多台 CentOS 虚拟机的时候，对已有虚拟机的系统进行克隆或是复制。但是这样做又有一个问题，克隆出来的虚拟机启动的时候你输入命令：`ifconfig`，eth0 网卡信息没了，只有一个 eth1。 对于处女座的人来讲这是不允许的。所以我们需要改动下。 - 复制虚拟机后，首次打开该会提示如下内容，一般选择 copy 这个配置。 - ![vim](../images/CentOS-Virtual-Machine-Copy-Settings-a-1.png) ## CentOS 6 修改方法 - 设置 hostname：`hostnamectl --static set-hostname linux02` - 命令：`sudo vim /etc/udev/rules.d/70-persistent-net.rules` - 该文件中正常此时应该有两行信息 - 在文件中把 NAME="eth0″ 的这一行注释掉 - 对于另一行，把 NAME=”eth1″ 的这一行，把 NAME=”eth1″ 改为 NAME=”eth0″，并且把该行：ATTRS{address}=="00:0c:29:4c:46:01″ 这个属性信息记下来，每台机子都不一样，我这段信息只是例子，你不要直接复制我的。 - 命令：`sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0` - 修改 IP 地址 - 把 HWADDR 的值改为上面要求记下来的：00:0c:29:4c:46:01 - 命令：`nmcli con > /opt/info.txt` - 如果显示两行 UUID 的信息的话，复制不是 System eth0 的那个 UUID 值，下面有用。 - 编辑：`sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0` - 把文件中的 UUID 值 改为上面要求复制的 UUID 值。 - 保存配置文件，重启系统，正常应该是可以了。 ## CentOS 7 修改方法 - 在 VMware 15 Pro 的情况下，直接 copy 进行后，直接修改网卡配置即可 - 编辑该文件：`vim /etc/sysconfig/network-scripts/ifcfg-ens33` - 把 ip 地址修改即可 ================================================ FILE: markdown-file/CentOS.md ================================================ # CentOS 介绍 - CentOS Wiki： - CentOS 百科： - CentOS 官网： - CentOS 的自我介绍： - CentOS 官网下载： - CentOS 官网下载（含有旧版本）： - CentOS 国内镜像下载： - 版本更新记录： # CentOS 原型系统：Red Hat Enterprise Linux - Red Hat Enterprise Linux Wiki： - Red Hat Enterprise Linux 百科： - 衍生版本： # Red Hat Enterprise Linux 后花园系统：Fedora - Fedora Wiki： - Fedora 百科： - Fedora 官网： - Fedora 官网桌面版下载： - Fedora 官网文档： ================================================ FILE: markdown-file/CentOS6-and-CentOS7.md ================================================ # CentOS 6 和 CentOS 7 介绍 ## 总体差异 - ![总体差异](../images/CentOS6-and-CentOS7-a-1.png) ## 想装回过去的一些工具 - 安装：`yum install -y tree net-tools bind-utils tree sysstat vim-en* lrzsz NetworkManager-tui ntp ntpdate iftop tcpdump telnet traceroute` ## 查看版本号/主机名 - `cat /etc/redhat-release` - `cat /etc/hostname` ## 常用配置差异 - [CentOS 网络配置](centos-settings/CentOS-Network-Settings.md) - [CentOS 图形界面的关闭与开启](centos-settings/Close-XWindow.md) ## systemctl 的用法 - 相当于 CentOS 6 的：service nginx stop - `systemctl is-enabled iptables.service` #查询服务是否开机启动 - `systemctl enable iptables.service` #开机运行服务 - `systemctl disable iptables.service` #取消开机运行 - `systemctl start iptables.service` #启动服务 - `systemctl stop iptables.service` #停止服务 - `systemctl restart iptables.service` #重启服务 - `systemctl reload iptables.service` #重新加载服务配置文件 - `systemctl status iptables.service` #查询服务运行状态 - `systemctl --failed` #显示启动失败的服务 - `systemctl list-units --type=service` #查看所有服务 - `systemctl is-enabled httpd` #查看httpd服务是否开机启动 - 对于启动脚本的存放位置，也不再是 `/etc/init.d/`（这个目录也是存在的），而是 `/usr/lib/systemd/system/` ### 开放端口 - 一般设置软件端口有一个原则： - 0 ~ 1024 系统保留，一般不要用到 - 1024 ~ 65535（2^16） 可以随意用 - 添加单个端口：`firewall-cmd --zone=public --add-port=8883/tcp --permanent` - 添加范围端口：`firewall-cmd --zone=public --add-port=8883-8885/tcp --permanent` - 删除端口：`firewall-cmd --zone=public --remove-port=8883/tcp --permanent` - 重启防火墙：`firewall-cmd --reload` - 命令解释： - `--zone` #作用域 - `--add-port=80/tcp` #添加端口，格式为：端口/通讯协议 - `--permanent` #永久生效，没有此参数重启后失效 - 列出所有端口列表：`firewall-cmd --list-all` ## 关闭 firewall 使用 iptables - 关闭 firewall - `systemctl stop firewalld.service` #停止firewall - `systemctl disable firewalld.service` #禁止firewall开机启动 - 安装 iptables - `yum install -y iptables-services` - 启动 iptables - `systemctl restart iptables.service` #最后重启防火墙使配置生效 - `systemctl enable iptables.service` #设置防火墙开机启动 - 其他使用照旧 ## ifconfig 没有了 - 查看网络配置：`ip a` - 装回 ifconfig：`yum install -y net-tools` ## 设置时区 - `timedatectl set-timezone Asia/Shanghai` - `timedatectl status` ## 资料 - - - - ================================================ FILE: markdown-file/Confluence-Install-And-Settings.md ================================================ # Confluence 安装和配置 ## Confluence 6.15.4 - 最新 6.15.4 版本时间：2019-05 #### 数据库 ``` docker run \ --name mysql-confluence \ --restart always \ -p 3316:3306 \ -e MYSQL_ROOT_PASSWORD=adg123456 \ -e MYSQL_DATABASE=confluence_db \ -e MYSQL_USER=confluence_user \ -e MYSQL_PASSWORD=confluence_123456 \ -d \ mysql:5.7 ``` - 连上容器：`docker exec -it mysql-confluence /bin/bash` - 连上 MySQL：`mysql -u root -p` - 设置编码： - **必须做这一步，不然配置过程会报错，confluence 的 DB 要求是 utf8，还不能是 utf8mb4** - **并且排序规则还必须是：utf8_bin** - **数据库必须使用'READ-COMMITTED'作为默认隔离级别** ``` SET NAMES 'utf8'; alter database confluence_db character set utf8 collate utf8_bin; SET GLOBAL tx_isolation='READ-COMMITTED'; ``` #### 安装 - 下载： - 选择：linux64 类型下载 - 授权：`chmod +x atlassian-confluence-6.15.4-x64.bin` ``` ./atlassian-confluence-6.15.4-x64.bin 开始提示： Unpacking JRE ... Starting Installer ... This will install Confluence 6.9.0 on your computer. OK [o, Enter], Cancel [c] >> 输入o或直接回车 Click Next to continue, or Cancel to exit Setup. Choose the appropriate installation or upgrade option. Please choose one of the following: Express Install (uses default settings) [1], Custom Install (recommended for advanced users) [2, Enter], Upgrade an existing Confluence installation [3] 1 >> 这里输入数字1 See where Confluence will be installed and the settings that will be used. Installation Directory: /opt/atlassian/confluence Home Directory: /var/atlassian/application-data/confluence HTTP Port: 8090 RMI Port: 8000 Install as service: Yes Install [i, Enter], Exit [e] i >> 输入i或者直接回车 Extracting files ... Please wait a few moments while we configure Confluence. Installation of Confluence 6.9.0 is complete Start Confluence now? Yes [y, Enter], No [n] >> 输入y或者直接回车 Please wait a few moments while Confluence starts up. Launching Confluence ... Installation of Confluence 6.9.0 is complete Your installation of Confluence 6.9.0 is now ready and can be accessed via your browser. Confluence 6.9.0 can be accessed at http://localhost:8090 Finishing installation ... # 安装完成，访问本机的8090端口进行web端安装 # 开放防火墙端口 firewall-cmd --add-port=8090/tcp --permanent firewall-cmd --add-port=8000/tcp --permanent firewall-cmd --reload ``` - 默认是安装在 /opt 目录下：`/opt/atlassian/confluence/confluence/WEB-INF/lib` - 启动：`sh /opt/atlassian/confluence/bin/start-confluence.sh` - 停止：`sh /opt/atlassian/confluence/bin/stop-confluence.sh` - 查看 log：`tail -300f /opt/atlassian/confluence/logs/catalina.out` - 卸载：`sh /opt/atlassian/confluence/uninstall` - 设置 MySQL 连接驱动，把 mysql-connector-java-5.1.47.jar 放在目录 `/opt/atlassian/confluence/confluence/WEB-INF/lib` #### 首次配置 - 访问： - 参考文章： - 参考文章： - 因为步骤一样，所以我就不再截图了。 #### License 过程 - 参考自己的为知笔记 ## 反向代理的配置可以参考 - ## 使用 markdown - 点击右上角小齿轮 > 管理应用 > 搜索市场应用 > 输入 markdown > 安装 ## 其他资料 - - ================================================ FILE: markdown-file/Crontab.md ================================================ # Crontab 介绍 ## Crontab 安装 - 查看是否已安装： - CentOS：`rpm -qa | grep cron` - Ubuntu：`dpkg -l | grep cron` - 安装（一般系统是集成的）： - CentOS 6 / 7：`sudo yum install -y vixie-cron crontabs` - Ubuntu：`sudo apt-get install -y cron` - 服务常用命令 - CentOS 6 - `service crond start` 启动服务 - `service crond stop` 关闭服务 - `service crond restart` 重启服务 - CentOS 7 - `systemctl start crond` 启动服务 - `systemctl restart crond` 重新启动服务 - `systemctl status crond` 加入自启动 - `systemctl stop crond` 关闭服务 ## Crontab 服务器配置文件常用参数 - 配置文件介绍（记得先备份）：`sudo vim /etc/crontab` - 注意：不要在配置文件里面写相对路径 - 该配置格式解释： - ![Crontab 服务器配置文件常用参数](../images/Crontab-a-1.jpg) - 常用例子介绍： - `30 21 * * * service httpd restart` #每晚的 21:30 重启 apache - `30 21 * * 6,0 service httpd restart` #每周六、周日的 21:30 重启 apache - `45 4 1,10,22 * * service httpd restart` #每月的 1、10、22 日的 4:45 重启 apache - `45 4 1-10 * * service httpd restart` #每月的 1 到 10 日的 4:45 重启 apache - `*/2 * * * * service httpd restart` #每隔两分钟重启 apache - `1-59/2 * * * * service httpd restart` #每隔两分钟重启 apache（这个比较特殊：1-59/2 这个表示过掉0分，从 1 分开始算，每隔两分执行，所以 1 分执行了，3 分执行了，5 分执行了....都是奇数进行执行。默认的 */2 都是偶数执行。） - `* */2 * * * service httpd restart` #每隔两小时重启 apache - `0 23-7/2 * * * service httpd restart` #晚上 11 点到早上 7 点之间，每隔 2 个小时重启 apache - `0-59/30 18-23 * * * service httpd restart` #每天 18:00 到 23：00 之间，每隔 30 分钟重启 apache（方法一） - `0,30 18-23 * * * service httpd restart` #每天 18:00 到 23：00 之间，每隔 30 分钟重启 apache（方法二） - `0 4 * * sun root /opt/shell/crontab-redis-restart.sh` #每周日 4:00 执行一个脚本（root 用户运行，有些脚本不指定用户会报：ERROR (getpwnam() failed） - 更多例子可以看： - 执行记录日志：`tail -f /var/log/cron`（如果发现任务不执行，可以来这里盯着日志看） ## Crontab 权限问题 - 一般默认只有 root 用户可以使用 - 如果要指定某个用户可以使用，可以在 /etc/cron.allow 添加（不存在文件就创建一个） - 如果要指定某个用户不可以使用，可以在 /etc/cron.deny 添加（不存在文件就创建一个） - 如果一个用户同时在两个文件都存在，那则以 allow 为准 ## Crontab 不执行 - Crontab 不执行原因有很多，可以 Google 搜索：`Crontab 不执行`，这里不多说。 ## Crontab 资料 - - ================================================ FILE: markdown-file/Daemontools.md ================================================ # daemontools 工具 ## supervisord - 注意：Supervisor 能管理非 daemon 的进程，也就是说 Supervisor 不能管理守护进程。否则提示 Exited too quickly (process log may have details) 异常。 - Supervisor 不支持 python 3，安装 python 2 方法： - 官网： - 安装过程： - 解释：easy_install 是 setuptools 包里带的一个命令，使用 easy_install 实际上是在调用 setuptools 来完成安装模块的工作,所以安装 setuptools 即可。 - 安装方案： ``` #第一种（推荐） yum install python-setuptools easy_install supervisor #第二种 yum install python-setuptools easy_install pip pip install supervisor #第三种 yum install -y epel-release yum install -y supervisor ``` - 如果以上还不能安装，或是安装过程出现各种问题，或是安装完成后使用出现问题，应该就是环境有问题。至少我在京东云上发现会有这个问题。环境是 centos 6.8，python 2.6.6 - 如果你遇到这种问题需要源码安装。 - 源码和各个依赖的源码下载地址（密码：j797）： ``` tar zxvf setuptools-36.6.0.tar.gz cd setuptools-36.6.0 python bootstrap.py install python setup.py install tar zxvf meld3.tar.gz cd meld3 python setup.py install tar zxvf elementtree-1.2.6-20050316.tar.gz cd elementtree-1.2.6-20050316 python setup.py install tar zxvf supervisor-3.3.3.tar.gz cd supervisor-3.3.3 python setup.py install ``` - 生成配置文件：`echo_supervisord_conf > /etc/supervisord.conf` - 创建专门的程序配置文件目录、日志目录： - `mkdir -p /var/log/supervisor` - `mkdir -p /etc/supervisor/conf.d/` - `echo -e "[include]\nfiles = /etc/supervisor/conf.d/*.conf">>/etc/supervisord.conf` - 安装完成的内容介绍：supervisor 安装完成后会生成三个执行程序： - supervisortd：supervisor 的守护进程服务（用于接收进程管理命令） - supervisorctl：客户端（用于和守护进程通信，发送管理进程的指令） - echo_supervisord_conf：生成初始配置文件程序。 - 程序位置：`/usr/bin/supervisord` - 配置文件位置：`/etc/supervisord.conf` ### Logstash 进程进行守护 - 默认安装完 Supervisor 是已经启动的，所以在加入新配置之前，需要先停止程序：`ps -ef | grep supervisord`，kill 对应的 pid - 创建配置文件：`vim /etc/supervisor/conf.d/logstash.conf` ``` nginx [program:gitnavi-logstash] command=/usr/program/elk/logstash-2.4.1/bin/logstash -f /usr/program/elk/logstash-2.4.1/config/logstash.conf stdout_logfile=/var/log/supervisor/supervisord-logstash.log stderr_logfile=/var/log/supervisor/supervisord-logstash-err.log user=root autostart=true autorestart=false startsecs=5 priority=1 stopasgroup=true killasgroup=true ``` - 该配置的具体说明可以参考：[使用 supervisor 管理进程](http://liyangliang.me/posts/2015/06/using-supervisor/) - 启动程序（默认会启动所有子任务）：`/usr/bin/supervisord -c /etc/supervisord.conf` - 管理子任务的命令： - 子任务状态：`/usr/bin/supervisorctl status` - 启动所有子任务：`/usr/bin/supervisorctl start all` - 结束所有子任务：`/usr/bin/supervisorctl stop all` - 启动指定子任务：`/usr/bin/supervisorctl start gitnavi-logstash` - 结束指定子任务：`/usr/bin/supervisorctl stop gitnavi-logstash` - 重启指定子任务：`/usr/bin/supervisorctl restart gitnavi-logstash` - 只载入最新的配置文件, 并不重启任何进程：`/usr/bin/supervisorctl reread` - 载入最新的配置文件，停止原来的所有进程并按新的配置启动管理所有进程：`/usr/bin/supervisorctl reload` - 根据最新的配置文件，启动新配置或有改动的进程，配置没有改动的进程不会受影响而重启：`/usr/bin/supervisorctl update` - 查看所有子任务状态，如果没有运行的子任务则是没有任何反馈信息：`/usr/bin/supervisorctl status` - 管理所有子任务也可以用交互方式，输入命令：`supervisorctl`，会进入 supervisord 的交互模式下，如果当前有启动的任务，还可以看到对应的任务情况。 - 在该交互下可以停止指定名称的子任务，比如 logstash 任务：`stop gitnavi-logstash` - 也可以停止所有子任务：`stop all` - 也可以启动所有子任务：`start all` - 更多命令可以输入：`help` ### 设置 supervisord 开启自启动 #### CentOS 6 - 创建文件：`vim /etc/init.d/supervisord` ``` nginx #!/bin/sh # # Supervisor is a client/server system that # allows its users to monitor and control a # number of processes on UNIX-like operating # systems. # # chkconfig: - 64 36 # description: Supervisor Server # processname: supervisord # Source init functions . /etc/init.d/functions RETVAL=0 prog="supervisord" pidfile="/tmp/supervisord.pid" lockfile="/var/lock/subsys/supervisord" start() { echo -n $"Starting $prog: " daemon --pidfile $pidfile supervisord -c /etc/supervisord.conf RETVAL=$? echo [ $RETVAL -eq 0 ] && touch ${lockfile} } stop() { echo -n $"Shutting down $prog: " killproc -p ${pidfile} /usr/bin/supervisord RETVAL=$? echo if [ $RETVAL -eq 0 ] ; then rm -f ${lockfile} ${pidfile} fi } case "$1" in start) start ;; stop) stop ;; status) status $prog ;; restart) stop start ;; *) echo "Usage: $0 {start|stop|restart|status}" ;; esac ``` - `chmod 755 /etc/init.d/supervisord` - `chkconfig supervisord on` - 以后启动可以用：`service supervisord start` - 以后停止可以用：`service supervisord stop` #### CentOS 7 - 创建文件：`vim /lib/systemd/system/supervisor.service` ``` ini [Unit] Description=supervisor After=network.target [Service] Type=forking ExecStart=/usr/bin/supervisord -c /etc/supervisord.conf ExecStop=/usr/bin/supervisorctl $OPTIONS shutdown ExecReload=/usr/bin/supervisorctl $OPTIONS reload KillMode=process Restart=on-failure RestartSec=42s [Install] WantedBy=multi-user.target ``` - `chmod 766 /lib/systemd/system/supervisor.service` - `systemctl enable supervisor.service` - `systemctl daemon-reload` ## 资料 - - - - - - ================================================ FILE: markdown-file/Docker-Install-And-Usage.md ================================================ # Docker 使用 ## 环境说明 - CentOS 7.3（不准确地说：要求必须是 CentOS 7 64位） - 不建议在 Windows 上使用 ## Docker 基本概念 - 官网： - 宿主机：安装 Docker 的那台电脑 - Docker：一个虚拟化软件，你可以认为是类似：VMware、Virtualbox - 镜像：可以认为是类似 Windows 下的：XXXX.iso - 容器：容器为镜像的实例，可以认为是 Virtualbox 运行 XXXX.iso 后的效果 - 官网的镜像仓库地址： - 对开发来讲总结一个最简单的说法：在 Maven 未产生的年代，jar 包要随着开发项目走到哪里跟到哪里。有了 Maven 写好 pom.xml 即可。此时的 Docker 就好比如 Maven，帮你省去了开发过程中的部署环境差异，你再也不能随便说：你的系统可以运行，我的系统就不行。现在别人连系统都帮你做好了。 - 玩法理念：单进程，一个容器最好最专注去做一个事情。虽然它可以既装 MySQL，又装 Nginx 等等，但是让一个容器只做好一件事是最合适的。 - 其他通俗解释： > Docker的思想来自于集装箱，集装箱解决了什么问题？在一艘大船上，可以把货物规整的摆放起来。并且各种各样的货物被集装箱标准化了，集装箱和集装箱之间不会互相影响。那么我就不需要专门运送水果的船和专门运送化学品的船了。只要这些货物在集装箱里封装的好好的，那我就可以用一艘大船把他们都运走。 docker就是类似的理念。现在都流行云计算了，云计算就好比大货轮。docker就是集装箱。 1.不同的应用程序可能会有不同的应用环境，比如.net开发的网站和php开发的网站依赖的软件就不一样，如果把他们依赖的软件都安装在一个服务器上就要调试很久，而且很麻烦，还会造成一些冲突。比如IIS和Apache访问端口冲突。这个时候你就要隔离.net开发的网站和php开发的网站。常规来讲，我们可以在服务器上创建不同的虚拟机在不同的虚拟机上放置不同的应用，但是虚拟机开销比较高。docker可以实现虚拟机隔离应用环境的功能，并且开销比虚拟机小，小就意味着省钱了。 2.你开发软件的时候用的是Ubuntu，但是运维管理的都是centos，运维在把你的软件从开发环境转移到生产环境的时候就会遇到一些Ubuntu转centos的问题，比如：有个特殊版本的数据库，只有Ubuntu支持，centos不支持，在转移的过程当中运维就得想办法解决这样的问题。这时候要是有docker你就可以把开发环境直接封装转移给运维，运维直接部署你给他的docker就可以了。而且部署速度快。 3.在服务器负载方面，如果你单独开一个虚拟机，那么虚拟机会占用空闲内存的，docker部署的话，这些内存就会利用起来。 总之docker就是集装箱原理。 - Docker 的优点： - 持续部署与测试 > Docker在开发与运维的世界中具有极大的吸引力，因为它能保持跨环境的一致性。在开发与发布的生命周期中，不同的环境具有细微的不同，这些差异可能是由于不同安装包的版本和依赖关系引起的。然而，Docker可以通过确保从开发到产品发布整个过程环境的一致性来解决这个问题。 Docker容器通过相关配置，保持容器内部所有的配置和依赖关系始终不变。最终，你可以在开发到产品发布的整个过程中使用相同的容器来确保没有任何差异或者人工干预。 使用Docker，你还可以确保开发者不需要配置完全相同的产品环境，他们可以在他们自己的系统上通过VirtualBox建立虚拟机来运行Docker容器。Docker的魅力在于它同样可以让你在亚马逊EC2实例上运行相同的容器。如果你需要在一个产品发布周期中完成一次升级，你可以很容易地将需要变更的东西放到Docker容器中，测试它们，并且使你已经存在的容器执行相同的变更。这种灵活性就是使用Docker的一个主要好处。和标准部署与集成过程一样，Docker可以让你构建、测试和发布镜像，这个镜像可以跨多个服务器进行部署。哪怕安装一个新的安全补丁，整个过程也是一样的。你可以安装补丁，然后测试它，并且将这个补丁发布到产品中。 - 环境标准化和版本控制 > Docker容器可以在不同的开发与产品发布生命周期中确保一致性，进而标准化你的环境。除此之外，Docker容器还可以像git仓库一样，可以让你提交变更到Docker镜像中并通过不同的版本来管理它们。设想如果你因为完成了一个组件的升级而导致你整个环境都损坏了，Docker可以让你轻松地回滚到这个镜像的前一个版本。这整个过程可以在几分钟内完成，如果和虚拟机的备份或者镜像创建流程对比，那Docker算相当快的，它可以让你快速地进行复制和实现冗余。此外，启动Docker就和运行一个进程一样快。 - 隔离性 > Docker可以确保你的应用程序与资源是分隔开的。几个月前，Gartner发表了一篇报告，这份报告说明了运行Docker 容器进行资源隔离的效果和虚拟机（VM）管理程序一样的好，但是管理与控制方面还需要进行完善。我们考虑这样一个场景，你在你的虚拟机中运行了很多应用程序，这些应用程序包括团队协作软件（例如Confluence）、问题追踪软件（例如JIRA）、集中身份管理系统（例如Crowd）等等。由于这些软件运行在不同的端口上，所以你必须使用Apache或者Nginx来做反向代理。到目前为止，一切都很正常，但是随着你的环境向前推进，你需要在你现有的环境中配置一个内容管理系统（例如Alfresco）。这时候有个问题发生了，这个软件需要一个不同版本的Apache Tomcat，为了满足这个需求，你只能将你现有的软件迁移到另一个版本的Tomcat上，或者找到适合你现有Tomcat的内容管理系统（Alfresco）版本。对于上述场景，使用Docker就不用做这些事情了。Docker能够确保每个容器都拥有自己的资源，并且和其他容器是隔离的。你可以用不同的容器来运行使用不同堆栈的应用程序。除此之外，如果你想在服务器上直接删除一些应用程序是比较困难的，因为这样可能引发依赖关系冲突。而Docker可以帮你确保应用程序被完全清除，因为不同的应用程序运行在不同的容器上，如果你不在需要一款应用程序，那你可以简单地通过删除容器来删除这个应用程序，并且在你的宿主机操作系统上不会留下任何的临时文件或者配置文件。除了上述好处，Docker还能确保每个应用程序只使用分配给它的资源（包括CPU、内存和磁盘空间）。一个特殊的软件将不会使用你全部的可用资源，要不然这将导致性能降低，甚至让其他应用程序完全停止工作。 - 安全性 > 如上所述，Gartner也承认Docker正在快速地发展。从安全角度来看，Docker确保运行在容器中的应用程序和其他容器中的应用程序是完全分隔与隔离的，在通信流量和管理上赋予你完全的控制权。Docker容器不能窥视运行在其他容器中的进程。从体系结构角度来看，每个容器只使用着自己的资源（从进程到网络堆栈）。作为紧固安全的一种手段，Docker将宿主机操作系统上的敏感挂载点（例如/proc和/sys）作为只读挂载点，并且使用一种写时复制系统来确保容器不能读取其他容器的数据。Docker也限制了宿主机操作系统上的一些系统调用，并且和SELinux与AppArmor一起运行的很好。此外，在Docker Hub上可以使用的Docker镜像都通过数字签名来确保其可靠性。由于Docker容器是隔离的，并且资源是受限制的，所以即使你其中一个应用程序被黑，也不会影响运行在其它Docker容器上的应用程序。 - 多云平台 > Docker最大的好处之一就是可移植性。在过去的几年里，所有主流的云计算提供商，包括亚马逊AWS和谷歌的GCP，都将Docker融入到他们的平台并增加了各自的支持。Docker容器能运行在亚马逊的EC2实例、谷歌的GCP实例、Rackspace服务器或者VirtualBox这些提供主机操作系统的平台上。举例来说，如果运行在亚马逊EC2实例上的Docker容器能够很容易地移植到其他几个平台上，比如说VirtualBox，并且达到类似的一致性和功能性，那这将允许你从基础设施层中抽象出来。除了AWS和GCP，Docker在其他不同的IaaS提供商也运行的非常好，例如微软的Azure、OpenStack和可以被具有不同配置的管理者所使用的Chef、Puppet、Ansible等。 ## Docker 安装和基本配置 - 主要有两个版本： > **Docker Enterprise Edition (Docker EE)** is designed for enterprise development and IT teams who build, ship, and run business critical applications in production at scale. Docker EE is integrated, certified, and supported to provide enterprises with the most secure container platform in the industry to modernize all applications. For more information about Docker EE, including purchasing options, see Docker Enterprise Edition. **Docker Community Edition (Docker CE)** is ideal for developers and small teams looking to get started with Docker and experimenting with container-based apps. Docker CE is available on many platforms, from desktop to cloud to server. Docker CE is available for macOS and Windows and provides a native experience to help you focus on learning Docker. You can build and share containers and automate the development pipeline all from a single environment. Docker CE has both stable and edge channels. Stable builds are released once per quarter and are supported for 4 months. Edge builds are released once per month, and are supported for that month only. If you subscribe to the Edge channel on Linux distributions, you should also subscribe to the Stable channel. - 官网总的安装手册： - 官网 CentOS 安装手册： - 目前也支持 Windows，特别是 Windows 10，直接官网一个安装包即可搞定。 - Windows 10 的 Docker 安装说明： - 我这里选择 Docker CE 版本： - CentOS 安装过程： - `sudo yum install -y yum-utils device-mapper-persistent-data lvm2` - 添加 repo（可能网络会很慢，有时候会报：Timeout，所以要多试几次） - `sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo` - `sudo yum makecache fast` - `sudo yum install -y docker-ce`，大小：19M，速度很慢。 - 查看配置文件位置：`systemctl show --property=FragmentPath docker` - 启动 Docker：`systemctl start docker.service` - 停止 Docker：`systemctl stop docker.service` - 查看状态：`systemctl status docker.service` - 运行 hello world 镜像：`sudo docker run hello-world` - 因为是第一次使用，所以没这个镜像，需要一个下载过程，所以需要几分钟，可能还会报：Timeout。 - 镜像自动下载好后会输出这样一段内容，表示已经正常安装并可用了： ``` bash Unable to find image 'hello-world:latest' locally latest: Pulling from library/hello-world 78445dd45222: Pull complete Digest: sha256:c5515758d4c5e1e838e9cd307f6c6a0d620b5e07e6f927b07d05f6d12a1ac8d7 Status: Downloaded newer image for hello-world:latest Hello from Docker! This message shows that your installation appears to be working correctly. To generate this message, Docker took the following steps: 1. The Docker client contacted the Docker daemon. 2. The Docker daemon pulled the "hello-world" image from the Docker Hub. 3. The Docker daemon created a new container from that image which runs the executable that produces the output you are currently reading. 4. The Docker daemon streamed that output to the Docker client, which sent it to your terminal. To try something more ambitious, you can run an Ubuntu container with: $ docker run -it ubuntu bash Share images, automate workflows, and more with a free Docker ID: https://cloud.docker.com/ For more examples and ideas, visit: https://docs.docker.com/engine/userguide/ ``` ## 镜像加速 - 只要是外国的东西在国内基本都很难有好的速度，所有就有了加速器的概念，目前国内常用的如下： - 阿里云： - USTC： - daocloud： - 网易： - 时速云： - 灵雀云： - 推荐优先阿里云，然后是 USTC - 我下面的讲解也是基于阿里云加速 - 阿里云的服务需要注册账号，**首次使用需要设置 docker 登录密码（阿里云叫做：**修改Registry登录密码**），这个以后用私人仓库会用到。** - 如果忘记了，后面可以在这里修改： - 注册后请访问：，你会看到专属的加速地址，比如我是：`https://ldhc17y9.mirror.aliyuncs.com`，所以下面文章你看到该地址都表示是这个专属地址，请记得自己更换自己的。 - 以及教你如何使用 Docker 加速器。如果你已经安装了最新版的 Docker 你就不需要用它的脚本进行安装了。 - 最新版本的 Docker 是新增配置文件：`vim /etc/docker/daemon.json`，增加如下内容： ``` bash { "registry-mirrors": ["https://ldhc17y9.mirror.aliyuncs.com"] } ``` - `sudo systemctl daemon-reload` - `sudo systemctl restart docker` - 在以后的生活中如果要经常使用阿里云做为自己仓库，那你还需要做： - 在 ` namespace管理` 中创建属于你自己的 namespace： - 创建镜像仓库： - 创建好仓库后，点击：`管理` 进入查看仓库的更多详细信息，这里面有很多有用的信息，包括一个详细的操作指南，**这份指南等下会用到。** - 比如我自己创建一个 redis-to-cluster 仓库，地址是阿里云给我们的：`registry.cn-shenzhen.aliyuncs.com/youmeek/redis-to-cluster` - 那我登录这个镜像地址的方式： ``` docker login registry.cn-shenzhen.aliyuncs.com 会让我输入 Username：阿里云邮箱 password：上文提到的--Registry登录密码 ``` - 然后在我的仓库管理地址有教我如何推送和拉取镜像： - 拉取：`docker pull registry.cn-shenzhen.aliyuncs.com/youmeek/redis-to-cluster:[镜像版本号]` - 推送： ``` docker login docker tag [ImageId] registry.cn-shenzhen.aliyuncs.com/youmeek/redis-to-cluster:[镜像版本号] docker push registry.cn-shenzhen.aliyuncs.com/youmeek/redis-to-cluster:[镜像版本号] ``` # Docker 命令，最终部署 Spring Boot 项目 - 建议：初期使用的时候尽量用容器 ID / 镜像 ID。如果使用 Tag/Name 在东西多的情况下很容易混乱 还不如就用记不住但是肯定唯一的容器 ID / 镜像 ID ## 重要的基本概念 - 可以代表一个完整的镜像名有两种方式： - REPOSITORY(仓库):TAG(标签) - 其中 TAG 表面上不是必须有的，本质是 docker 帮你用 latest 来代替了。latest 这里最好翻译为默认，而不是最新。 - IMAGE ID(镜像ID) - 这是一个 Docker 随机给你生成 数字+字母 的字符串 ## 部署一个 Spring Boot 的 Java Web 项目为例 - 宿主机环境说明： - IP 地址：`http://192.168.137.128` - 停止了防火墙：`systemctl stop firewalld.service ; systemctl stop iptables.service` - 停止防火墙后重启 Docker 服务：`systemctl restart docker.service` - JDK（jdk-8u121-linux-x64.tar.gz）、jar 应用（spring-boot-my-demo.jar），存放宿主机位置：`/opt/setups` - Spring Boot 的 jar 应用中配置文件给的端口是：8080，常规情况下的访问路径：`http://127.0.0.1:8080/youmeek` - 下载镜像：`docker pull centos:6.8`，我的 IMAGE_ID 为：`0cd976dc0a98` - 运行镜像，实例化为一个容器：`docker run -i -t -v /opt/setups:/opt 0cd976dc0a98 /bin/bash` - `-v：表示需要将本地宿主机的目录挂载到容器中对应的一个目录上，格式：-v <宿主机目录>:<容器目录>，所以此时对容器此目录的操作，也是等同于对宿主机的目录的操作` - 在容器里安装 Oracle JDK 8、配置 JDK 环境变量这里不多说，具体看：[JDK 安装](https://github.com/judasn/Linux-Tutorial/blob/master/JDK-Install.md)。 - 把容器中 /opt 目录下的 spring-boot-my-demo.jar 拷贝到容器的 root 目录下：`cp /opt/spring-boot-my-demo.jar /root` - 再容器里新建脚本：`vi /root/spring-boot-run.sh`，脚本内容如下： ``` bash #!/bin/bash source /etc/profile java -jar /root/spring-boot-my-demo.jar ``` - 在容器中对新建脚本增加执行权限：`chmod u+x /root/spring-boot-run.sh` - 我们启动另外一个终端 - 查看我们刚刚运行的容器相关信息：`docker ps -a` - 我们看到了我们刚刚运行的容器 ID（CONTAINER ID）为：`a5d544d9b6f9`，这个下面要用到 - 基于刚刚运行的容器创建新镜像：`docker commit a5d544d9b6f9 youmeek/springboot:0.1` - 查看现在的镜像库：`docker images`，会发现多了一个 youmeek/springboot 新镜像，镜像 ID 为：`7024f230fef9` - 运行新镜像，实例化为一个容器，并启动容器中刚刚写的脚本：`docker run -d -p 38080:8080 --name=springBootJar --hostname=springBootJar 7024f230fef9 /root/spring-boot-run.sh` - `-d`：表示以“守护模式”执行 spring-boot-run.sh 脚本，此时 jar 中的 log 日志不会出现在输出终端上。 - `-p`：表示宿主机与容器的端口映射，此时将容器内部的 8080 端口映射为宿主机的 38080 端口，这样就向外界暴露了 38080 端口，可通过 Docker 网桥来访问容器内部的 8080 端口了。 - `--name`：表示给新实例容器取的名称，用一个有意义的名称命名即可 - 查看其实运行的容器：`docker ps -a`，可以知道我们的新容器 ID：`fd21ac056343`，名称为：`springBootJar` - 查看这个容器的 jar 应用的 log 输出：`docker logs -f fd21ac056343`，可以看到 jar 启动后的 log 输出内容 - 通过浏览器访问容器中的应用：`http://192.168.137.128:38080/youmeek/`，可以看到 jar 应用的首页可以访问 ## Docker 基本命令 - 官网文档： #### 版本信息 - `docker version`，查看docker版本 - `docker info`，显示docker系统的信息 #### 镜像仓库 - `docker pull`：从仓库下载镜像到本地 - `docker pull centos:latest`：获取 CentOS 默认版本镜像 - `docker pull centos:7.3.1611`：获取 CentOS 7 镜像，下载大小 70M 左右，下面的操作基于此镜像 - `docker pull centos:6.8`：获取 CentOS 6 镜像 - `docker pull registry.cn-hangzhou.aliyuncs.com/chainone/centos7-jdk8`：获取别人做好的阿里云镜像 - `docker push`：将一个镜像 push 到 registry 仓库中 - `docker push myapache:v1` - `docker search`：从 registry 仓库搜索镜像 - `docker search -s 3 centos`，参数 `-s 数字`：表示筛选出收藏数（stars值）大于等于 3 的镜像 - `docker login`：登录到一个镜像仓库。默认登录的是官网的仓库： - 登录阿里云仓库格式：`sudo docker login --username=阿里云邮箱` - 比如我是这个：`docker login --username=23333212@qq.com registry.cn-shenzhen.aliyuncs.com`，你完整的登录地址你需要访问：，在你自己创建的仓库中去查看那份详细操作指南上的地址 - 密码就是你首次访问：，弹窗出来让你设置的那个密码，如果忘记了重新设置下即可，重设地址：，右上角有一个：修改docker登录密码。 #### 本地镜像管理 - `docker stats`：查看当前启动的容器各自占用的系统资源 - `bin docker stats --no-stream kafkadocker_kafka_1 kafkadocker_zookeeper_1`：查看指定容器的占用资源情况 - 更加高级的监控方式有一个软件叫做：ctop（推荐使用）： ``` CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS 4532a9ee27b8 cloud-cadvisor 1.49% 53.28MiB / 3.702GiB 1.41% 13.5MB / 646MB 265MB / 0B 19 3895d5d50a5e kafkadocker_kafka_1 1.45% 1.24GiB / 3.702GiB 33.51% 145MB / 186MB 499MB / 724MB 128 1d1a6a7c48d8 kafkadocker_zookeeper_1 0.11% 70.85MiB / 3.702GiB 1.87% 55.8MB / 33.7MB 209MB / 1.22MB 23 ``` - `docker images`：显示本地所有的镜像列表 - 关注 REPOSITORY(名称)，TAG(标签)，IMAGE ID(镜像ID)三列 - `docker images centos`：查看具体镜像情况 - `docker rmi`：删除镜像，一般删除镜像前要先删除容器，不然如果镜像有被容器调用会报错 - `docker rmi 容器ID`：删除具体某一个镜像 - `docker rmi 仓库:Tag`：删除具体某一个镜像 - `docker rmi $(docker images -q)`，删除所有镜像 - `docker rmi -f $(docker images -q)`，强制删除所有镜像 - `docker rmi $(docker images | grep "vmware" | awk '{print $3}')`，批量删除带有 vmware 名称的镜像 - `docker tag`：为镜像打上标签 - `docker tag -f ubuntu:14.04 ubuntu:latest`，-f 意思是强制覆盖 - 同一个IMAGE ID可能会有多个TAG（可能还在不同的仓库），首先你要根据这些 image names 来删除标签，当删除最后一个tag的时候就会自动删除镜像； - `docker rmi 仓库:Tag`，取消标签（如果是镜像的最后一个标签，则会删除这个镜像） - `docker build`：使用 Dockerfile 创建镜像（推荐） - `docker build . --rm -t runoob/ubuntu:v1`，参数 `-t`，表示：-tag，打标签 - 多次 docker build 过程中是有依赖一个缓存的过程的，一般 build 过程都有好几个 step，Docker 非常聪明，会自己判断那些没有被修改过程的 step 采用缓存。如果想要避免使用缓存，可以使用这样命令 **--no-cache**：`docker build --no-cache . --rm -t runoob/ubuntu:v1` - `docker history`：显示生成一个镜像的历史命令，可以看出这个镜像的构建过程，包括：每一层镜像的 ID、指令 - `docker save`：将一个镜像保存为一个 tar 包，带 layers 和 tag 信息（导出一个镜像） - `docker save 镜像ID -o /opt/test.tar` - `docker load`：从一个 tar 包创建一个镜像（导入一个镜像） - `docker load -i /opt/test.tar` #### 容器生命周期管理 - `docker run`，运行镜像 - `docker run -v /java_logs/:/opt/ -d -p 8080:80 --name=myDockerNameIsGitNavi --hostname=myDockerNameIsGitNavi -i -t 镜像ID /bin/bash` - `-i -t` 分别表示保证容器中的 STDIN 开启，并分配一个伪 tty 终端进行交互，这两个是合着用。 - `--name` 是给容器起了一个名字（如果没有主动给名字，docker 会自动给你生成一个）容器的名称规则：大小写字母、数字、下划线、圆点、中横线，用正则表达式来表达就是：[a-zA-Z0-9_*-] - `-d` 容器运行在后台。 - `-p 8080:80` 表示端口映射，将宿主机的8080端口转发到容器内的80端口。（如果是 -P 参数，则表示随机映射应该端口，一般用在测试的时候） - `-v /java_logs/:/opt/` 表示目录挂载，/java_logs/ 是宿主机的目录，/opt/ 是容器目录 - `docker run --rm --name=myDockerNameIsGitNavi --hostname=myDockerNameIsGitNavi -i -t centos /bin/bash`，--rm，表示退出即删除容器，一般用在做实验测试的时候 - `docker run --restart=always -i -t centos /bin/bash`，--restart=always 表示停止后会自动重启 - `docker run --restart=on-failure:5 -i -t centos /bin/bash`，--restart=on-failure:5 表示停止后会自动重启，最多重启 5 次 - `docker exec`：对守护式的容器里面执行命令，方便对正在运行的容器进行维护、监控、管理 - `docker exec -i -t 容器ID /bin/bash`，进入正在运行的 docker 容器，并启动终端交互 - `docker exec -d 容器ID touch /opt/test.txt`，已守护式的方式进入 docker 容器，并创建一个文件 - `docker stop 容器ID`，停止容器 - `docker stop $(docker ps -a -q)`，停止所有容器 - `docker stop $(docker ps -a -q) ; docker rm $(docker ps -a -q)`，停止所有容器，并删除所有容器 - `docker kill $(docker ps -q) ; docker rm $(docker ps -a -q)`，停止所有容器，并删除所有容器 - `docker start 容器ID`，重新启动已经停止的容器（重新启动，docker run 参数还是保留之前的） - `docker restart 容器ID`，重启容器 - `docker rm`，删除容器 - `docker rm 容器ID`，删除指定容器（该容器必须是停止的） - `docker rm -f 容器ID`，删除指定容器（该容器如果正在运行可以这样删除） - `docker rm $(docker ps -a -q)`，删除所有容器 - `docker rm -f $(docker ps -a -q)`，强制删除所有容器 - `docker ps -a | grep 'weeks ago' | awk '{print $1}' | xargs docker rm` 删除老的(一周前创建)容器 - `docker kill $(docker ps -q) ; docker rm $(docker ps -a -q) ; docker rmi $(docker images -q -a)` 停止所有容器，删除所有容器，删除所有镜像 - `docker commit`，把容器打成镜像 - `docker commit 容器ID gitnavi/docker-nodejs-test:0.1` - gitnavi 是你注册的 https://store.docker.com/ 的名字，如果你没有的话，那需要先注册 - docker-nodejs-test 是你为该镜像起的名字 - 0.1 是镜像的版本号，默认是 latest 版本 - `docker commit -m="这是一个描述信息" --author="GitNavi" 容器ID gitnavi/docker-nodejs-test:0.1` - 在提交镜像时指定更多的数据（包括标签）来详细描述所做的修改 - `docker diff 容器ID`：显示容器文件系统的前后变化 - `--link` 同一个宿主机下的不同容器的连接： - `docker run -it 镜像ID --link redis-name:myredis /bin/bash` - `redis-name` 是容器名称 - `myredis` 是容器别名，其他容器连接它可以用这个别名来写入到自己的配置文件中 - 容器与宿主机之间文件的拷贝 - `docker cp /www/runoob 96f7f14e99ab:/www/` 将主机 /www/runoob 目录拷贝到容器 96f7f14e99ab 的 /www 目录下 - `docker cp /www/runoob 96f7f14e99ab:/www` 将主机 /www/runoob 目录拷贝到容器 96f7f14e99ab 中，目录重命名为 www。 - `docker cp 96f7f14e99ab:/www /tmp/` 将容器96f7f14e99ab的/www目录拷贝到主机的/tmp目录中。 #### docker 网络模式 - 查看也有网络：`docker network ls` - 创建网络：`docker network create --subnet=172.19.0.0/16 net-redis-to-cluster` - 已有容器连接到某个网络（一个容器可以同时连上多个网络）：`docker network connect net-redis-to-cluster my-redis-container` - 如果是内网提供服务的，可以直接创建一个网络，其服务使用该网络。然后另外一个需要调用该服务的，并且是对外网提供服务的可以使用 host 模式 - `--network XXXXXX` 常见几种模式 - bridge 默认模式，在 docker0 的网桥上创建新网络栈，确保独立的网络环境，实现网络隔离：`docker run -it 镜像ID --network=bridge /bin/bash` - none 不适用网卡，不会有 IP，无法联网：`docker run -it 镜像ID --network=none /bin/bash` - host 使用宿主机网络 IP、端口联网（在容器里面输入：ip a，看到的结果和在宿主机看到的一样）：`docker run -it 镜像ID --network=host /bin/bash` - 自定义-使用自己命名的网络栈，但是需要手动配置网卡、IP 信息：`docker run -it 镜像ID --network=自定义名称 /bin/bash` #### 容器管理操作 - `docker ps`：列出当前所有 **正在运行** 的容器 - `docker ps -a`：列出所有的容器（包含历史，即运行过的容器） - `docker ps -l`：列出最近一次启动的container - `docker ps -q`：列出最近一次运行的container ID - `docker ps -a -l`：列出最后一次运行的容器 - `docker ps -n x`：显示最后 x 个容器，不管是正在运行或是已经停止的 - `docker top 容器ID`：显示容器的进程信息 - `docker events`：得到 docker 服务器的实时的事件 - `docker logs -f 容器ID`：查看容器日志（如果一些容器不断重启，或是自动停止，可以这样看下） - `docker logs 容器ID`，获取守护式容器的日志 - `docker logs -f 容器ID`，不断监控容器日志，类似 tail -f - `docker logs -ft 容器ID`，在 -f 的基础上又增加 -t 表示为每条日志加上时间戳，方便调试 - `docker logs --tail 10 容器ID`，获取日志最后 10 行 - `docker logs --tail 0 -f 容器ID`，跟踪某个容器的最新日志而不必读取日志文件 - `docker logs -f -t --since="2018-05-26" --tail=200 容器ID` 根据某个时间读取日志 - `docker logs -f -t --since="2018-05-26T11:13:40" --tail=200 容器ID` 根据某个时间读取日志 - `docker logs -f -t --since="2018-05-25T11:13:40" --until "2018-05-26T11:13:40" --tail=200 容器ID` 根据某个时间读取日志 - `docker logs --since 10m 容器ID` 查看最近 10 分钟的日志 - `-f` : 表示查看实时日志 - `-t` : 显示时间戳 - `-since` : 显示某个开始时间的所有日志 - `-tail=200` : 查看最后的 200 条日志 - `docker wait`，阻塞到一个容器，直到容器停止运行 - `docker export`，将容器整个文件系统导出为一个tar包，不带layers、tag等信息 - `docker port`，显示容器的端口映射 - `docker inspect 容器ID`：查看容器的全面信息，用 JSON 格式输出 - `docker inspect network名称`：查看 network 信息，用 JSON 格式输出，包含使用该网络的容器有哪些 - `docker system df`：类似于 Linux 上的 df 命令，用于查看 Docker 的磁盘使用情况 - Images 镜像 - Containers 容器 - Local Volumes 数据卷 ``` TYPE TOTAL ACTIVE SIZE RECLAIMABLE Images 6 6 1.049GB 0B (0%) Containers 7 4 10.25kB 0B (0%) Local Volumes 13 5 38.49GB 1.365MB (0%) Build Cache 0B 0B ``` ``` 获取容器中的 IP：docker inspect -f {{.NetworkSettings.IPAddress}} 容器ID 获取容器中的 IP：docker inspect -f {{.Volumes}} 容器ID 查看容器的挂载情况：docker inspect 容器ID | grep Mounts -A 10 ``` - 下面为一个 docker inspect 后的结果示例： ```json [ { "Id": "e1dff77b99d9c8489e0a0ce68a19ec5ffe18cc5d8b8ec17086f7f7bea29aa09b", "Created": "2018-01-18T03:47:16.138180181Z", "Path": "docker-entrypoint.sh", "Args": [ "--auth" ], "State": { "Status": "running", "Running": true, "Paused": false, "Restarting": false, "OOMKilled": false, "Dead": false, "Pid": 19952, "ExitCode": 0, "Error": "", "StartedAt": "2018-01-18T03:47:16.348568927Z", "FinishedAt": "0001-01-01T00:00:00Z" }, "Image": "sha256:42aa46cfbd7a0d1101311defac39872b447b32295b40f9c99104ede5d02e9677", "ResolvConfPath": "/var/lib/docker/containers/e1dff77b99d9c8489e0a0ce68a19ec5ffe18cc5d8b8ec17086f7f7bea29aa09b/resolv.conf", "HostnamePath": "/var/lib/docker/containers/e1dff77b99d9c8489e0a0ce68a19ec5ffe18cc5d8b8ec17086f7f7bea29aa09b/hostname", "HostsPath": "/var/lib/docker/containers/e1dff77b99d9c8489e0a0ce68a19ec5ffe18cc5d8b8ec17086f7f7bea29aa09b/hosts", "LogPath": "/var/lib/docker/containers/e1dff77b99d9c8489e0a0ce68a19ec5ffe18cc5d8b8ec17086f7f7bea29aa09b/e1dff77b99d9c8489e0a0ce68a19ec5ffe18cc5d8b8ec17086f7f7bea29aa09b-json.log", "Name": "/cas-mongo", "RestartCount": 0, "Driver": "overlay", "Platform": "linux", "MountLabel": "", "ProcessLabel": "", "AppArmorProfile": "", "ExecIDs": null, "HostConfig": { "Binds": [ "/data/mongo/db:/data/db" ], "ContainerIDFile": "", "LogConfig": { "Type": "json-file", "Config": {} }, "NetworkMode": "default", "PortBindings": { "27017/tcp": [ { "HostIp": "", "HostPort": "27017" } ] }, "RestartPolicy": { "Name": "always", "MaximumRetryCount": 0 }, "AutoRemove": false, "VolumeDriver": "", "VolumesFrom": null, "CapAdd": null, "CapDrop": null, "Dns": [], "DnsOptions": [], "DnsSearch": [], "ExtraHosts": null, "GroupAdd": null, "IpcMode": "shareable", "Cgroup": "", "Links": null, "OomScoreAdj": 0, "PidMode": "", "Privileged": false, "PublishAllPorts": false, "ReadonlyRootfs": false, "SecurityOpt": null, "UTSMode": "", "UsernsMode": "", "ShmSize": 67108864, "Runtime": "runc", "ConsoleSize": [ 0, 0 ], "Isolation": "", "CpuShares": 0, "Memory": 0, "NanoCpus": 0, "CgroupParent": "", "BlkioWeight": 0, "BlkioWeightDevice": [], "BlkioDeviceReadBps": null, "BlkioDeviceWriteBps": null, "BlkioDeviceReadIOps": null, "BlkioDeviceWriteIOps": null, "CpuPeriod": 0, "CpuQuota": 0, "CpuRealtimePeriod": 0, "CpuRealtimeRuntime": 0, "CpusetCpus": "", "CpusetMems": "", "Devices": [], "DeviceCgroupRules": null, "DiskQuota": 0, "KernelMemory": 0, "MemoryReservation": 0, "MemorySwap": 0, "MemorySwappiness": null, "OomKillDisable": false, "PidsLimit": 0, "Ulimits": null, "CpuCount": 0, "CpuPercent": 0, "IOMaximumIOps": 0, "IOMaximumBandwidth": 0 }, "GraphDriver": { "Data": { "LowerDir": "/var/lib/docker/overlay/0ab08b1f9c8f5f70cdcac2b01d9ee31de9e5a4955003567573635e8837931249/root", "MergedDir": "/var/lib/docker/overlay/4d6bb0d57f3f1b1dcf98c70b4bee4abf8dc110c7efa685ee5d84fe6f58c07b63/merged", "UpperDir": "/var/lib/docker/overlay/4d6bb0d57f3f1b1dcf98c70b4bee4abf8dc110c7efa685ee5d84fe6f58c07b63/upper", "WorkDir": "/var/lib/docker/overlay/4d6bb0d57f3f1b1dcf98c70b4bee4abf8dc110c7efa685ee5d84fe6f58c07b63/work" }, "Name": "overlay" }, "Mounts": [ { "Type": "volume", "Name": "6cd9721ff6a2768cd20e4a0678b176fa81a5de1c7d21fe6212b50c6854196db2", "Source": "/var/lib/docker/volumes/6cd9721ff6a2768cd20e4a0678b176fa81a5de1c7d21fe6212b50c6854196db2/_data", "Destination": "/data/configdb", "Driver": "local", "Mode": "", "RW": true, "Propagation": "" }, { "Type": "bind", "Source": "/data/mongo/db", "Destination": "/data/db", "Mode": "", "RW": true, "Propagation": "rprivate" } ], "Config": { "Hostname": "e1dff77b99d9", "Domainname": "", "User": "", "AttachStdin": false, "AttachStdout": false, "AttachStderr": false, "ExposedPorts": { "27017/tcp": {} }, "Tty": false, "OpenStdin": false, "StdinOnce": false, "Env": [ "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin", "GOSU_VERSION=1.7", "GPG_KEYS=0C49F3730359A14518585931BC711F9BA15703C6", "MONGO_PACKAGE=mongodb-org", "MONGO_REPO=repo.mongodb.org", "MONGO_MAJOR=3.4", "MONGO_VERSION=3.4.10" ], "Cmd": [ "--auth" ], "Image": "mongo:3.4", "Volumes": { "/data/configdb": {}, "/data/db": {} }, "WorkingDir": "", "Entrypoint": [ "docker-entrypoint.sh" ], "OnBuild": null, "Labels": {} }, "NetworkSettings": { "Bridge": "", "SandboxID": "7eabf418238f4d9f5fd5163fd4d173bbaea7764687a5cf40a9757d42b90ab2f9", "HairpinMode": false, "Link LocalIPv6Address": "", "LinkLocalIPv6PrefixLen": 0, "Ports": { "27017/tcp": [ { "HostIp": "0.0.0.0", "HostPort": "27017" } ] }, "SandboxKey": "/var/run/docker/netns/7eabf418238f", "SecondaryIPAddresses": null, "SecondaryIPv6Addresses": null, "EndpointID": "11c8d10a4be63b4ed710add6c440adf9d090b71918d4aaa837c46258e5425b80", "Gateway": "172.17.0.1", "GlobalIPv6Address": "", "GlobalIPv6PrefixLen": 0, "IPAddress": "172.17.0.2", "IPPrefixLen": 16, "IPv6Gateway": "", "MacAddress": "02:42:ac:11:00:02", "Networks": { "bridge": { "IPAMConfig": null, "Links": null, "Aliases": null, "NetworkID": "ada97659acda146fc57e15a099e430a6e97de87f6d043b91d4c3582f6ab52d47", "EndpointID": "11c8d10a4be63b4ed710add6c440adf9d090b71918d4aaa837c46258e5425b80", "Gateway": "172.17.0.1", "IPAddress": "172.17.0.2", "IPPrefixLen": 16, "IPv6Gateway": "", "GlobalIPv6Address": "", "GlobalIPv6PrefixLen": 0, "MacAddress": "02:42:ac:11:00:02", "DriverOpts": null } } } } ] ``` ## Docker 容器产生的 log 位置 - Docker 运行一段时间，如果你的容器有大量的输出信息，则这个 log 文件会非常大，所以要考虑清理。 - log 位置：`/var/lib/docker/containers/容器ID值/容器ID值-json.log` - 可以考虑在停到容器的时候备份这个文件到其他位置，然后：`echo > 容器ID值-json.log` - 当然，官网也提供了自动化的方案： - 修改 Docker 是配置文件：`vim /etc/docker/daemon.json`，（如果没有这个文件，自己新增）增加如下内容： ``` bash { "log-driver": "json-file", "log-opts": { "max-size": "10m", "max-file": "5" } } ``` - 如果你已经有该文件文件莱使用国内源，那修改方案应该是这样的： ``` bash { "registry-mirrors": ["https://ldhc17y9.mirror.aliyuncs.com"], "log-driver": "json-file", "log-opts": { "max-size": "10m", "max-file": "5" } } ``` ## 删除 Docker 镜像中为 none 的镜像 - Dockerfile 代码更新频繁，自然 docker build 构建同名镜像也频繁的很，产生了众多名为 none 的无用镜像 ``` docker rmi $(docker images -f "dangling=true" -q) ``` ## Docker daemon.json 可配置参数 - ## Docker remote api 远程操作配置（保证在内网环境） - 假设要被远程操作的服务器 IP：`192.168.1.22` - 修改其配置文件：`vim /lib/systemd/system/docker.service` - 修改默认值为：`ExecStart=/usr/bin/dockerd` - 改为：`ExecStart=/usr/bin/dockerd -H unix:///var/run/docker.sock -H tcp://0.0.0.0:2376` - 如果还需要连自己的 harbor 这类，完整配置：`ExecStart=/usr/bin/dockerd --insecure-registry harbor.youmeek.com -H unix:///var/run/docker.sock -H tcp://0.0.0.0:2376` - `systemctl daemon-reload` - `systemctl reload docker` - `systemctl restart docker` - 验证： - 在其他服务器上运行：`docker -H 192.168.1.22:2376 images ` - 能拿到和它本身看到的一样的数据表示可以了 ## Dockerfile 解释 - 该文件名就叫 Dockerfile，注意大小写，没有后缀，否则会报错。 - 主要由下面几个部分组成： - 基础镜像信息 - 维护者/创建者信息 - 镜像操作指令 - 容器启动时执行执行 - 注释符号：`# 这是一段注释说明` - 常用指令关键字： - `FROM`，基础镜像信息 - `MAINTAINER`，维护者/创建者信息 - `ADD`，添加文件。如果添加的文件是类似 tar.gz 压缩包，会自动解压。 - 特别注意的是：ADD 文件到镜像的地址如果是目录，则需要最后保留斜杠，比如：`ADD test.tar.gz /opt/shell/`。不是斜杠结尾会认为是文件。 - 添加文件格式：`ADD test.sh /opt/shell/test.sh` - 添加压缩包并解压格式：`ADD test.tar.gz /opt/shell/`，该压缩包会自动解压在 /opt/shell 目录下 - `COPY`，类似 ADD，只是 COPY 只是复制文件，不会做类似解压压缩包这种行为。 - `COPY /opt/conf/ /etc/` 把宿主机的 /opt/conf 下文件复制到镜像的 /etc 目录下。 - `WORKDIR`，设置工作目录，可以理解为类似 cd 命令，表示现在在某个目录路径，然后下面的 CMD、ENTRYPOINT 操作都是基于此目录 - `VOLUME`，目录挂载 - `EXPOSE`，暴露端口 - `USER`，指定该镜像以什么用户去运行，也可以用这个来指定：`docker run -u root`。不指定默认是 root - `ENV`，定义环境变量，该变量可以在后续的任何 RUN 指令中使用，使用方式：$HOME_DIR。在 docker run 的时候可以该方式来覆盖变量值 `docker run -e “HOME_DIR=/opt”` - `RUN`，执行命令并创建新的镜像层，RUN 经常用于安装软件包 - `CMD`，执行命令，并且一个 Dockerfile 只能有一条 CMD，有多条的情况下最后一条有效。在一种场景下 CMD 命令无效：docker run 的时候也指定了相同命令，则 docker run 命令优先级最高 - `ENTRYPOINT`，配置容器启动时运行的命令，不会被 docker run 指令覆盖，并且 docker run 的指令可以作为参数传递到 ENTRYPOINT 中。要覆盖 ENTRYPOINT 命令也是有办法的：docker run --entrypoint 方式。Dockerfile 同时有 CMD 和 ENTRYPOINT 的时候，CMD 的指令是作为参数传递给 ENTRYPOINT 使用。 - 特别注意：RUN、CMD 和 ENTRYPOINT 这三个 Dockerfile 指令看上去很类似，很容易混淆。 - 最佳实战：[来源](https://www.ibm.com/developerworks/community/blogs/132cfa78-44b0-4376-85d0-d3096cd30d3f/entry/RUN_vs_CMD_vs_ENTRYPOINT_%E6%AF%8F%E5%A4%A95%E5%88%86%E9%92%9F%E7%8E%A9%E8%BD%AC_Docker_%E5%AE%B9%E5%99%A8%E6%8A%80%E6%9C%AF_17?lang=en_us) - 使用 RUN 指令安装应用和软件包，构建镜像。 - 如果 Docker 镜像的用途是运行应用程序或服务，比如运行一个 MySQL，应该优先使用 Exec 格式的 ENTRYPOINT 指令。CMD 可为 ENTRYPOINT 提供额外的默认参数，同时可利用 docker run 命令行替换默认参数。 - 如果想为容器设置默认的启动命令，可使用 CMD 指令。用户可在 docker run 命令行中替换此默认命令。 ## Dockerfile 部署 Spring Boot 应用 - jar 名称：skb-user-0.0.1-SNAPSHOT.jar - 打算用的宿主机端口：9096 - Dockerfile 文件和 jar 文件存放在宿主机目录：/opt/zch - Dockerfile 内容如下： ``` bash FROM java:8-jre MAINTAINER gitnavi ENV TZ=Asia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone ADD skb-user-0.0.1-SNAPSHOT.jar /usr/local/skb/user/ CMD ["java", "-Xmx500m", "-jar", "/usr/local/skb/user/skb-user-0.0.1-SNAPSHOT.jar", "--spring.profiles.active=test"] EXPOSE 9096 ``` - 开始构建： - `cd /opt/zch` - `docker build . --tag="skb/user:v1.0.1"` - 因为 build 过程中会有多层镜像 step 过程，所以如果 build 过程中失败，那解决办法的思路是找到 step 失败的上一层，成功的 step 中镜像 ID。然后 docker run 该镜像 ID，手工操作，看报什么错误，然后就比较清晰得了解错误情况了。 - `docker run -d -p 9096:9096 -v /usr/local/logs/:/opt/ --name=skbUser --hostname=skbUser skb/user:v1.0.1` - 查看启动后容器列表：`docker ps` - jar 应用的日志是输出在容器的 /opt 目录下，因为我们上面用了挂载，所在在我们宿主机的 /usr/local/logs 目录下可以看到输出的日志 - 防火墙开放端口： - `firewall-cmd --zone=public --add-port=9096/tcp --permanent` - `firewall-cmd --reload` - 解释： ``` # 是为了解决容器的时区和宿主机不一致问题 ENV TZ=Asia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone ``` ## Dockerfile 部署 Tomcat 应用 - 编写 Dockerfile ``` FROM tomcat:8.0.46-jre8 MAINTAINER GitNavi ENV JAVA_OPTS="-Xms2g -Xmx2g -XX:MetaspaceSize=128M -XX:MaxMetaspaceSize=312M" ENV CATALINA_HOME /usr/local/tomcat ENV TZ=Asia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone RUN rm -rf /usr/local/tomcat/webapps/* ADD qiyeweixin.war /usr/local/tomcat/webapps/ EXPOSE 8080 CMD ["catalina.sh", "run"] ``` - 打包镜像：`docker build -t harbor.gitnavi.com/demo/qiyeweixin:1.2.2 ./` - 运行：`docker run -d -p 8888:8080 --name=qiyeweixin --hostname=qiyeweixin -v /data/docker/logs/qiyeweixin:/data/logs/qiyeweixin harbor.gitnavi.com/demo/qiyeweixin:1.2.2` - 带 JVM 参数运行：`docker run -d -p 8888:8080 -e JAVA_OPTS='-Xms7g -Xmx7g -XX:MetaspaceSize=128M -XX:MaxMetaspaceSize=512M' --name=qiyeweixin --hostname=qiyeweixin -v /data/docker/logs/qiyeweixin:/data/logs/qiyeweixin harbor.gitnavi.com/demo/qiyeweixin:1.2.2` - 虽然 Dockerfile 已经有 JVM 参数，并且也是有效的。但是如果 docker run 的时候又带了 JVM 参数，则会以 docker run 的参数为准 - 测试 JVM 是否有效方法，在代码里面书写，该值要接近 xmx 值： ``` long maxMemory = Runtime.getRuntime().maxMemory(); logger.warn("-------------maxMemory=" + ((double) maxMemory / (1024 * 1024))); ``` ## Docker Compose - Docker Compose 主要用于定义和运行多个 Docker 容器的工具，这样可以快速运行一套分布式系统 - 容器之间是有依赖关系，比如我一个 Java web 系统依赖 DB 容器、Redis 容器，必须这些依赖容器先运行起来。 - 一个文件：docker-compose.yml - 一个命令：`docker-compose up` - 指定文件：`docker-compose -f zookeeper.yml -p zk_test up -d` - 官网安装说明： - 安装方法： ``` sudo curl -L https://github.com/docker/compose/releases/download/1.18.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose sudo chmod +x /usr/local/bin/docker-compose ``` - 检查是否安装成功：`docker-compose --version`，输出：`docker-compose version 1.18.0, build 8dd22a9` - 常用命令： - 运行：`docker-compose up -d` - 停止运行：`docker-compose down` - 查看容器：`docker-compose ps` - 删除停止的服务容器：`docker-compose rm` ## Docker Swarm - Docker Swarm 是一个 Docker 集群管理工具 ## Harbor 镜像私有仓库 - 官网： ## 资料 - 书籍：《第一本 Docker 书》 - []() - []() - []() - []() - []() - []() ================================================ FILE: markdown-file/Dubbo-Install-And-Settings.md ================================================ # Dubbo 环境安装和配置 ## Dubbo-Admin 搭建 ### 需要环境 - CentOS 6 - JDK 1.8（必须是 1.8） - Tomcat 7 或 8（我测试都可以） - Dubbo 版本：2.5.4-SNAPSHOT（当前这个版本是最新的。2.5.3 我测试是不行的） - Dubbo-Admin 需要修改部分代码，让它支持 JDK 8，具体看文章： - 最终我的 Dubbo-admin 的 pom.xml 为这样的： ``` xml 4.0.0 com.alibaba dubbo-parent 2.5.4-SNAPSHOT dubbo-admin war ${project.artifactId} The admin module of dubbo project 1.5 / false false com.alibaba dubbo ${project.parent.version} org.springframework spring com.alibaba.citrus citrus-webx-all 3.1.6 org.apache.velocity velocity 1.7 org.javassist javassist org.jboss.netty netty org.apache.mina mina-core org.glassfish.grizzly grizzly-core org.apache.httpcomponents httpclient com.alibaba fastjson com.thoughtworks.xstream xstream org.apache.bsf bsf-api org.apache.zookeeper zookeeper com.github.sgroschupf zkclient com.netflix.curator curator-framework com.googlecode.xmemcached xmemcached org.apache.thrift libthrift com.caucho hessian javax.servlet servlet-api provided log4j log4j org.slf4j slf4j-api org.slf4j slf4j-log4j12 redis.clients jedis javax.validation validation-api org.hibernate hibernate-validator javax.cache cache-api org.mortbay.jetty maven-jetty-plugin ${jetty_version} / 10 8080 60000 ``` - 部署在 Tomcat 之后，如果需要修改 zookeeper 的地址，以及默认用户的登录密码，可以在这里改：`vim /usr/program/tomcat8/webapps/ROOT/WEB-INF/dubbo.properties` - 里面内容： ``` ini dubbo.registry.address=zookeeper://127.0.0.1:2181 dubbo.admin.root.password=root dubbo.admin.guest.password=guest ``` - 如果有多个节点构成的集群也可以这样写： ``` ini dubbo.registry.address=zookeeper://192.168.1.121:2181?backup=192.168.1.111:2181,192.168.1.112:2181 dubbo.admin.root.password=root dubbo.admin.guest.password=guest ``` ## Dubbox-Admin 搭建 ### 需要环境 - CentOS 6 - JDK 1.8（只测试过 1.8） - Tomcat 7 或 8（只测试过 8） - Dubbox 版本：dubbo-admin-2.8.4.war（fork 官网最新版本，自己编译的版本） - 不需要修改任何 pom.xml 文件，直接就可以运行。 ================================================ FILE: markdown-file/ELK-Install-And-Settings.md ================================================ # ELK（Elasticsearch、Logstash、Kibana）安装和配置 ## 版本说明 - 本文包含了：Elasticsearch 2.4.X 和 Elasticsearch 5.2.X 和 Elasticsearch 5.5.X，请有针对性地选择。 ## 教程说明 - 官网： - 官网总文档： - 官网最终指南： - 官网对各个系统的支持列表： - 5.2 版本有一个设置的新特性必须了解，测试建议我们用 CentOS 7： - Elasticsearch 开源分布式搜索引擎，它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful 风格接口，多数据源，自动搜索负载等。 - Logstash 日志进行收集、分析，并将其存储供以后使用（如，搜索） - kibana 为 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以帮助您汇总、分析和搜索重要数据日志。 ### Elasticsearch 部署 - 请看 Elasticsearch 专题文：[Elasticsearch 相关知识](Elasticsearch-Base.md) ### logstash - 请看 logstash 专题文：[logstash 相关知识](Logstash-Base.md) ## 资料 - - - - - <> - <> ================================================ FILE: markdown-file/Elasticsearch-Base.md ================================================ # Elasticsearch 知识 ## Docker 单节点部署 - 官网： - 官网列表： - 阿里云支持版本： - 阿里云有一个 `插件配置` 功能，常用的 Elasticsearch 插件都带了，勾选下即可安装。也支持上传安装。 - 注意：docker 版本下 client.transport.sniff = true 是无效的。 #### 5.6.x - `vim ~/elasticsearch-5.6.8-docker.yml` - 启动：`docker-compose -f ~/elasticsearch-5.6.8-docker.yml -p elasticsearch_5.6.8 up -d` ``` version: '3' services: elasticsearch1: image: docker.elastic.co/elasticsearch/elasticsearch:5.6.8 container_name: elasticsearch-5.6.8 environment: - "ES_JAVA_OPTS=-Xms512m -Xmx512m" - "cluster.name=elasticsearch" - "network.host=0.0.0.0" - "http.host=0.0.0.0" - "xpack.security.enabled=false" ulimits: memlock: soft: -1 hard: -1 nofile: soft: 65536 hard: 65536 ports: - 9200:9200 - 9300:9300 volumes: - /data/docker/elasticsearch/data:/usr/share/elasticsearch/data ``` #### 6.7.x（带 ik 分词） - `vim ~/elasticsearch-6.7.2-docker.yml` - 启动：`docker-compose -f ~/elasticsearch-6.7.2-docker.yml -p elasticsearch_6.7.2 up -d` - `mkdir -p /data/docker/elasticsearch-6.7.2/data` - 如果官网镜像比较慢可以换成阿里云：`registry.cn-hangzhou.aliyuncs.com/elasticsearch/elasticsearch:6.7.2` - 下载 ik 分词（版本必须和 Elasticsearch 版本对应，包括小版本号）： ``` version: '3' services: elasticsearch1: image: docker.elastic.co/elasticsearch/elasticsearch:6.7.2 container_name: elasticsearch-6.7.2 environment: - "ES_JAVA_OPTS=-Xms512m -Xmx512m" - "cluster.name=elasticsearch" - "network.host=0.0.0.0" - "http.host=0.0.0.0" - "xpack.security.enabled=false" ulimits: memlock: soft: -1 hard: -1 nofile: soft: 65536 hard: 65536 ports: - 9200:9200 - 9300:9300 volumes: - /data/docker/elasticsearch-6.7.2/data:/usr/share/elasticsearch/data - /data/docker/ik:/usr/share/elasticsearch/plugins/ik ``` - Elasticsearch Head 插件地址： - 测试： ``` http://localhost:9200/ _analyze?pretty POST {"analyzer":"ik_smart","text":"安徽省长江流域"} ``` - ik_max_word 和 ik_smart 什么区别? ``` ik_max_word: 会将文本做最细粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,中华人民,中华,华人,人民共和国,人民,人,民,共和国,共和,和,国国,国歌”，会穷尽各种可能的组合，适合 Term Query； ik_smart: 会做最粗粒度的拆分，比如会将“中华人民共和国国歌”拆分为“中华人民共和国,国歌”，适合 Phrase 查询。 ``` ------------------------------------------------------------------- ## Elasticsearch 6.5.x 安装（适配与 5.5.x，6.6.x） #### 环境 - CentOS 7.x - 至少需要 2G 内存 - root 用户 - JDK 版本：1.8（最低要求），主推：JDK 1.8.0_121 以上 - 关闭 firewall - `systemctl stop firewalld.service` #停止firewall - `systemctl disable firewalld.service` #禁止firewall开机启动 #### 先配置部分系统变量 - 更多系统层面的配置可以看官网： - 配置系统最大打开文件描述符数：`vim /etc/sysctl.conf` ``` fs.file-max=65535 vm.max_map_count=262144 ``` - 配置进程最大打开文件描述符：`vim /etc/security/limits.conf` ``` elasticsearch soft memlock unlimited elasticsearch hard memlock unlimited * soft nofile 262144 * hard nofile 262144 ``` #### 开始安装 - 检查：`rpm -qa | grep elastic` - 卸载：`rpm -e --nodeps elasticsearch` - 官网 RPM 安装流程（重要，以下资料都是对官网的总结）： - 导入 KEY：`rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch` - 新建文件：`vim /etc/yum.repos.d/elasticsearch.repo` - 内容如下（6.x）： ``` [elasticsearch-6.x] name=Elasticsearch repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md ``` - 内容如下（5.x）： ``` [elasticsearch-5.x] name=Elasticsearch repository for 5.x packages baseurl=https://artifacts.elastic.co/packages/5.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md ``` - 开始安装：`yum install -y elasticsearch`，预计文件有 108M 左右，国内网络安装可能会很慢，慢慢等 - 安装完后会多了一个：elasticsearch 用户和组 - 设置 java 软链接：`ln -s /usr/local/jdk1.8.0_181/jre/bin/java /usr/local/sbin/java` - 启动和停止软件（默认是不启动的）： - 启动：`systemctl start elasticsearch.service` - 状态：`systemctl status elasticsearch.service` - 停止：`systemctl stop elasticsearch.service` - 重新启动：`systemctl restart elasticsearch.service` - 安装完成后，增加系统自启动： - `/bin/systemctl daemon-reload` - `/bin/systemctl enable elasticsearch.service` - 检查：`curl -X GET "localhost:9200/"` #### RPM 安装后的一些配置位置说明 - 更多说明可以看官网： - 更加详细的配置可以看： - 默认系统生成了一个 elasticsearch 用户，下面的目录权限属于该用户 - Elasticsearch 安装后位置：`/usr/share/elasticsearch` - Elasticsearch 的软件环境、堆栈的设置：`/etc/sysconfig/elasticsearch` - Elasticsearch 的集群设置：`/etc/elasticsearch/elasticsearch.yml` - Log 位置：`/var/log/elasticsearch/` - 索引数据位置：`/var/lib/elasticsearch` - 插件位置：`/usr/share/elasticsearch/plugins` - 脚本文件位置：`/etc/elasticsearch/scripts` #### 配置 - 编辑配置文件：`vim /etc/elasticsearch/elasticsearch.yml` - 默认只能 localhost 访问，修改成支持外网访问 ``` 打开这个注释：#cluster.name: my-application 集群名称最好是自己给定，不然有些 client 端会连不上，或者要求填写 打开这个注释：#network.host: 192.168.0.1 改为：network.host: 0.0.0.0 ``` #### 安装 X-Pack（6.5.x 默认带了 x-pack） - `cd /usr/share/elasticsearch && bin/elasticsearch-plugin install x-pack` #### GUI 客户端工具 - 优先推荐： - #### 安装 Chrome 扩展的 Head - 下载地址： #### 其他细节 - 如果就单个节点测试，新建索引的时候副本数记得填 0。 #### 创建索引并设置 mapping - 官网类型说明： ``` curl -XPUT 'http://127.0.0.1:9200/grafanadb' -H 'Content-Type: application/json' -d' { "settings": { "refresh_interval": "5s", "number_of_shards": 5, "number_of_replicas": 0 }, "mappings": { "radar": { "properties": { "request_num": { "type": "long" }, "post_date": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss||epoch_millis" } } } } } ' ``` #### 批量增加 / 删除测试数据 - 官网文档： - 批量增加，cURL 格式： ``` curl -X POST "http://127.0.0.1:9200/_bulk" -H 'Content-Type: application/json' -d' { "index" : { "_index" : "grafanadb", "_type" : "radar", "_id" : "100001" } } { "post_date" : "2018-12-01 10:00:00", "request_num" : 1 } { "index" : { "_index" : "grafanadb", "_type" : "radar", "_id" : "100002" } } { "post_date" : "2018-12-01 10:00:05", "request_num" : 2 } { "index" : { "_index" : "grafanadb", "_type" : "radar", "_id" : "100003" } } { "post_date" : "2018-12-01 10:00:10", "request_num" : 3 } { "index" : { "_index" : "grafanadb", "_type" : "radar", "_id" : "100004" } } { "post_date" : "2018-12-01 10:00:15", "request_num" : 4 } { "index" : { "_index" : "grafanadb", "_type" : "radar", "_id" : "100005" } } { "post_date" : "2018-12-01 10:00:20", "request_num" : 5 } ' ``` - 批量删除，cURL 格式： ``` curl -X POST "http://127.0.0.1:9200/_bulk" -H 'Content-Type: application/json' -d' { "delete": { "_index": "grafanadb", "_type": "radar", "_id": "100001" } } { "delete": { "_index": "grafanadb", "_type": "radar", "_id": "100002" } } ' ``` - 清空索引所有数据，分成5个切片去执行删除，cURL 格式： ``` curl -X POST "http://127.0.0.1:9200/索引名称/类型名称/_delete_by_query?refresh&slices=5&pretty" -H 'Content-Type: application/json' -d' { "query": { "match_all": {} } } ' ``` ------------------------------------------------------------------------------------------------------------------- ## Elasticsearch 5.2.0 安装 - 官网下载地址： - Elasticsearch 5.2.0 版本下载地址（32M）： ### 环境 - 机子 IP：192.168.1.127 - CentOS 7.3 - JDK 版本：1.8（最低要求），主推：JDK 1.8.0_121 以上 - Elasticsearch 版本：5.2.0 - 关闭 firewall - `systemctl stop firewalld.service` #停止firewall - `systemctl disable firewalld.service` #禁止firewall开机启动 ### zip 解压安装 - 官网总的安装文档： - 我的解压目录：`/usr/program`，解压包名：`elasticsearch-5.2.0.zip` - 解压：`cd /usr/program ; unzip elasticsearch-5.2.0.zip` - 删除掉压缩包：`rm -rf elasticsearch-5.2.0.zip` - 添加组和用户 - 该版本不能使用 root 用户进行使用 - `useradd elasticsearch -p 123456`，添加一个名为 elasticsearch 的用户，还有一个同名的组 - 添加数据目录：`mkdir -p /opt/elasticsearch/data /opt/elasticsearch/log` - 赋权限： - `chown -R elasticsearch:elasticsearch /usr/program/elasticsearch-5.2.0 /opt/elasticsearch` - 编辑配置文件：`vim /usr/program/elasticsearch-5.2.0/config/elasticsearch.yml`，打开下面注释，并修改 ``` nginx cluster.name: youmeek-cluster node.name: youmeek-node-1 path.data: /opt/elasticsearch/data path.logs: /opt/elasticsearch/log bootstrap.memory_lock: true network.host: 0.0.0.0 # 也可以是本机 IP http.port: 9200 discovery.zen.ping.unicast.hosts: ["192.168.1.127"] #如果有多个机子集群，这里就写上这些机子的 IP，格式：["192.168.1.127","192.168.1.126"] ``` - 重点说明：Elasticsearch 的集群环境，主要就是上面这段配置文件内容的差别。如果有其他机子：node.name、discovery.zen.ping.unicast.hosts 需要改下。集群中所有机子的配置文件中 discovery.zen.ping.unicast.hosts 都要有所有机子的 IP 地址。 - 修改这个配置文件，不然无法锁内存：`vim /etc/security/limits.conf` - 在文件最尾部增加下面内容： ``` nginx # allow user 'elasticsearch' mlockall elasticsearch soft memlock unlimited elasticsearch hard memlock unlimited * soft nofile 262144 * hard nofile 262144 ``` - 修改：`vim /etc/sysctl.conf`，添加下面配置 ``` ini vm.max_map_count=262144 ``` - 重启机子：`reboot`。 - 切换用户：`su elasticsearch` - 控制台运行（启动比较慢）：`cd /usr/program/elasticsearch-5.2.0 ; ./bin/elasticsearch` - 后台运行：`cd /usr/program/elasticsearch-5.2.0 ; ./bin/elasticsearch -d -p 自定义pid值` - 在本机终端输入该命令：`curl -XGET 'http://192.168.1.127:9200'`，（也可以用浏览器访问：）如果能得到如下结果，则表示启动成功： ``` json { "name" : "youmeek-node-1", "cluster_name" : "youmeek-cluster", "cluster_uuid" : "c8RxQdOHQJq-Tg8rrPi_UA", "version" : { "number" : "5.2.0", "build_hash" : "24e05b9", "build_date" : "2017-01-24T19:52:35.800Z", "build_snapshot" : false, "lucene_version" : "6.4.0" }, "tagline" : "You Know, for Search" } ``` ## 安装 Kibana 5.2.0 - 官网下载地址： - Kibana 5.2.0 版本下载地址（36M）： - Kibana 5.2.0 官网文档： - Kibana 5.2.0 官网安装文档： ### tar.gz 解压安装 - 安装目录：/usr/program - 解压：`cd /usr/program ; tar zxvf kibana-5.2.0-linux-x86_64.tar.gz` - 删除压缩包：`rm -rf kibana-5.2.0-linux-x86_64.tar.gz` - 修改解压后的目录名称：`mv kibana-5.2.0-linux-x86_64 kibana-5.2.0` - 修改配置：`vim /usr/program/kibana-5.2.0/config/kibana.yml`，默认配置都是注释的，我们这里打开这些注释： ``` nginx server.port: 5601 server.host: "0.0.0.0" # 请将这里改为 0.0.0.0 或是当前本机 IP，不然可能会访问不了 erver.name: "youmeek-kibana" elasticsearch.url: "http://192.168.1.127:9200" elasticsearch.username: "elasticsearch" elasticsearch.password: "123456" ``` - 运行：`cd /usr/program/kibana-5.2.0 ; ./bin/kibana` - 浏览器访问：，可以看到 Kibana `Configure an index pattern` 界面 - 访问 Dev Tools 工具，后面写 DSL 语句会常使用该功能： ## Beats ### Beats 资料 - Beats 官网： - Beats 简单介绍：日志数据搜集器。一般安装在需要收集日志的服务器上，然后把收集的数据发送到 Elasticsearch 或是先发送到 logstash 清洗整理（解析过滤）后再发送到 Elasticsearch。 - logstash 也有收集日志的功能，只是它相对 Beats 更加消耗 CPU 和内存，所以一般使用 Beats 收集日志。 - 目前常见的 Beats 类型： - Filebeat（搜集文件数据）； - Packetbeat（搜集网络流量数据）； - Metricbeat（搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据）； - Winlogbeat（搜集 Windows 事件日志数据）。 - Heartbeat（主动探测服务是否可用）。 ## 安装 X-Pack 或是其他插件 - X-Pack 是官网提供的管理增强工具，但是全部功能收费，有一个月使用，有部分功能免费。其他免费的插件。 - licence 的用法可以看这篇文章： - - - 破解： - 免费插件： - head - 节点数据查看管理： - kopf - 集群管理： - 官网说明： - 安装（过程比较慢）：`/usr/share/elasticsearch/bin/elasticsearch-plugin install x-pack` - 如果线上安装速度太慢，那就离线安装： - 下载，我放在 /opt 目录下（119M）：`wget https://artifacts.elastic.co/downloads/packs/x-pack/x-pack-5.2.2.zip` - 安装：`/usr/share/elasticsearch/bin/elasticsearch-plugin install file:///opt/x-pack-5.2.2.zip` - 卸载：`/usr/share/elasticsearch/bin/elasticsearch-plugin remove x-pack` - 安装后重启服务，重启后访问你会发现需要用户和密码，我们可以关掉这个，在 elasticsearch.yml 中添加：`xpack.security.enabled: false` - 其他 5.2 资料： - - - - - - - - - ------------------------------------------------------------------------------------------------------------------- ## 2.4.X ### 安装 elasticsearch 集群 ### 下载 - 下载在我个人习惯的子自己创建的目录下：/usr/program/elk - elasticsearch 2.4.1（26 M）：`wget https://download.elastic.co/elasticsearch/elasticsearch/elasticsearch-2.4.1.tar.gz` - logstash 2.4.0（80 M）：`wget https://download.elastic.co/logstash/logstash/logstash-2.4.1.tar.gz` - kibana 4.6.1（32 M）：`wget https://download.elastic.co/kibana/kibana/kibana-4.6.1-linux-x86_64.tar.gz` ### tar 解压安装 - **确保系统安装有 JDK** - 官网文档： - 添加日志存放目录、数据存放目录：`mkdir -p /opt/elasticsearch/data /opt/elasticsearch/log` - 添加组和用户 - 该版本不能使用 root 用户进行使用 - `useradd elasticsearch -p 123456`，添加一个名为 elasticsearch 的用户，还有一个同名的组 - 解压下载的文件 - `cd /usr/program/elk` - `tar zxvf elasticsearch-2.4.1.tar.gz` - 赋权限： - `chown -R elasticsearch:elasticsearch /usr/program/elk /opt/elasticsearch` - 我 tar 安装后一些路径说明： - home：`/usr/program/elk/elasticsearch-2.4.1` - bin：`/usr/program/elk/elasticsearch-2.4.1/bin` - 配置文件：`/usr/program/elk/elasticsearch-2.4.1/config/elasticsearch.yml` - plugins：`/usr/program/elk/elasticsearch-2.4.1/plugins` - script：`/usr/program/elk/elasticsearch-2.4.1/scripts` - data：`/opt/elasticsearch/data` - log：`/opt/elasticsearch/log/集群名称.log` - 编辑配置文件：`vim /usr/program/elk/elasticsearch-2.4.1/config/elasticsearch.yml`，打开下面注释，并修改 ``` nginx cluster.name: gitnavi-cluster node.name: gitnavi-node-1 path.data: /opt/elasticsearch/data path.logs: /opt/elasticsearch/log bootstrap.memory_lock: true network.host: 0.0.0.0 # 也可以是本机 IP http.port: 9200 discovery.zen.ping.multicast.enabled: false discovery.zen.ping.unicast.hosts: ["192.168.1.127", "192.168.1.126"] #这个为两台机子的 IP 地址 ``` - 修改这个配置文件，不然无法锁内存：`vim /etc/security/limits.conf` - 在文件最尾部增加下面内容： ``` nginx # allow user 'elasticsearch' mlockall elasticsearch soft memlock unlimited elasticsearch hard memlock unlimited * soft nofile 262144 * hard nofile 262144 ``` - 关闭 firewall - `systemctl stop firewalld.service` #停止firewall - `systemctl disable firewalld.service` #禁止firewall开机启动 - 切换到 elasticsearch 用户下：`su elasticsearch` - 带控制台的启动（比较慢）：`/usr/program/elk/elasticsearch-2.4.1/bin/elasticsearch` - 控制台会输出类似这样的信息： ``` [2017-03-13 18:42:51,170][INFO ][node ] [gitnavi-node-1] version[2.4.1], pid[21156], build[c67dc32/2016-09-27T18:57:55Z] [2017-03-13 18:42:51,177][INFO ][node ] [gitnavi-node-1] initializing ... [2017-03-13 18:42:51,821][INFO ][plugins ] [gitnavi-node-1] modules [reindex, lang-expression, lang-groovy], plugins [head, kopf], sites [head, kopf] [2017-03-13 18:42:51,852][INFO ][env ] [gitnavi-node-1] using [1] data paths, mounts [[/ (rootfs)]], net usable_space [12.4gb], net total_space [17.4gb], spins? [unknown], types [rootfs] [2017-03-13 18:42:51,852][INFO ][env ] [gitnavi-node-1] heap size [1015.6mb], compressed ordinary object pointers [true] [2017-03-13 18:42:54,094][INFO ][node ] [gitnavi-node-1] initialized [2017-03-13 18:42:54,094][INFO ][node ] [gitnavi-node-1] starting ... [2017-03-13 18:42:54,175][INFO ][transport ] [gitnavi-node-1] publish_address {192.168.1.127:9300}, bound_addresses {[::]:9300} [2017-03-13 18:42:54,178][INFO ][discovery ] [gitnavi-node-1] gitnavi-cluster/-XywT60EScO-9lgzjfnsgg [2017-03-13 18:42:57,344][INFO ][cluster.service ] [gitnavi-node-1] new_master {gitnavi-node-1}{-XywT60EScO-9lgzjfnsgg}{192.168.1.127}{192.168.1.127:9300}, reason: zen-disco-join(elected_as_master, [0] joins received) [2017-03-13 18:42:57,410][INFO ][gateway ] [gitnavi-node-1] recovered [0] indices into cluster_state [2017-03-13 18:42:57,414][INFO ][http ] [gitnavi-node-1] publish_address {192.168.1.127:9200}, bound_addresses {[::]:9200} [2017-03-13 18:42:57,414][INFO ][node ] [gitnavi-node-1] started ``` - 守护进程方式启动：`/usr/program/elk/elasticsearch-2.4.1/bin/elasticsearch -d` - 守护进程方式停止：`ps -ef|grep elasticsearc`，只能通过 kill pid 来结束 - 访问：`http://192.168.1.127:9200/`，可以看到如下内容： ``` json { "name" : "gitnavi-node-1", "cluster_name" : "gitnavi-cluster", "cluster_uuid" : "0b66dYpnTd-hh7x4Phfm1A", "version" : { "number" : "2.4.1", "build_hash" : "c67dc32e24162035d18d6fe1e952c4cbcbe79d16", "build_timestamp" : "2016-09-27T18:57:55Z", "build_snapshot" : false, "lucene_version" : "5.5.2" }, "tagline" : "You Know, for Search" } ``` - 插件（插件的迭代很容易跟不上官网的版本，所以请牢记关注插件官网的说明） - head，节点数据查看管理： - kopf，集群管理： - Bigdesk，监控查看CPU内存索引数据搜索情况http连接数： - 安装（过程比较慢） - head：`/usr/program/elk/elasticsearch-2.4.1/bin/plugin install mobz/elasticsearch-head` - 安装完的访问地址：`http://192.168.1.127:9200/_plugin/head` - kopf：`/usr/program/elk/elasticsearch-2.4.1/bin/plugin install lmenezes/elasticsearch-kopf` - 安装完的访问地址：`http://192.168.1.127:9200/_plugin/kopf` - Bigdesk：`/usr/program/elk/elasticsearch-2.4.1/bin/plugin install hlstudio/bigdesk` - 安装完的访问地址：`http://192.168.1.127:9200/_plugin/bigdesk` - 卸载：`/usr/share/elasticsearch/bin/elasticsearch-plugin remove 插件名称` - IK 分词插件的安装（**重点：所有节点都需要安装此插件**） - IK 分词官网： - 官网首页已经有一个表格说明 ES 版本和 IK 插件的版本对应，我们可以看到：ES 2.4.1 对应 IK 分词 1.10.1，下载地址： - 进入 ES 插件目录：`cd /usr/program/elk/elasticsearch-2.4.1/plugins` - 创建 ik 目录：`mkdir ik` - 把下载的 elasticsearch-analysis-ik-1.10.1.zip 上传到刚新建的 ik 目录下 - 解压：`unzip elasticsearch-analysis-ik-1.10.1.zip` - 删除压缩包：`rm -rf elasticsearch-analysis-ik-1.10.1.zip` - 编辑 ES 配置文件：`vim /usr/program/elk/elasticsearch-2.4.1/config/elasticsearch.yml` - 在文件底部添加如下内容： ``` ini index.analysis.analyzer.default.tokenizer : "ik_max_word" index.analysis.analyzer.default.type: "ik" ``` - 重启 ES ： /usr/program/elk/elasticsearch-2.4.1/bin/elasticsearch - 验证 ik 插件，浏览器访问：，能得到如下结果就表示成功： ``` json [ { "token": "这是", "start_offset": 0, "end_offset": 2, "type": "CN_WORD", "position": 0 }, { "token": "一个", "start_offset": 2, "end_offset": 4, "type": "CN_WORD", "position": 1 }, { "token": "一", "start_offset": 2, "end_offset": 3, "type": "TYPE_CNUM", "position": 2 }, { "token": "个", "start_offset": 3, "end_offset": 4, "type": "COUNT", "position": 3 }, { "token": "针对", "start_offset": 4, "end_offset": 6, "type": "CN_WORD", "position": 4 }, { "token": "程序员", "start_offset": 6, "end_offset": 9, "type": "CN_WORD", "position": 5 }, { "token": "程序", "start_offset": 6, "end_offset": 8, "type": "CN_WORD", "position": 6 }, { "token": "序", "start_offset": 7, "end_offset": 8, "type": "CN_WORD", "position": 7 }, { "token": "员", "start_offset": 8, "end_offset": 9, "type": "CN_CHAR", "position": 8 }, { "token": "优化", "start_offset": 9, "end_offset": 11, "type": "CN_WORD", "position": 9 }, { "token": "导航", "start_offset": 12, "end_offset": 14, "type": "CN_WORD", "position": 10 }, { "token": "航", "start_offset": 13, "end_offset": 14, "type": "CN_WORD", "position": 11 }, { "token": "gitnavi.com", "start_offset": 14, "end_offset": 25, "type": "LETTER", "position": 12 }, { "token": "gitnavi", "start_offset": 14, "end_offset": 21, "type": "ENGLISH", "position": 13 }, { "token": "com", "start_offset": 22, "end_offset": 25, "type": "ENGLISH", "position": 14 } ] ``` - Elasticsearch 5.x 版本之后，就不需要再修改这个配置文件了 `/usr/program/elk/elasticsearch-2.4.1/config/elasticsearch.yml`，直接解压 zip 后，直接可以启动使用。可以访问这个进行测试： - 其他一些配置文件： - main.dic，内置中文词库文件是，差不多有 27W 条记录。 - stopword.dic，英文停用词，一般不会被分词，不会存放在倒排索引中。 - quantifier.dic，用来存放一些量词。 - suffix.dic，用来存放后缀词。 - surname.dic，姓氏。 - 自定义分词词库： - 修改配置文件：IKAnalyzer.cfg.xml - 在 ext_dict 标签中指定我们自己新增的 dic 文件（给的 demo 路径是 custom 目录下）。 - 修改完重启下 Elasticsearch 集群 - 自定义停用词库： - 修改配置文件：IKAnalyzer.cfg.xml - 在 ext_stopwords 标签中指定我们自己新增的 dic 文件（给的 demo 路径是 custom 目录下）。 - 修改完重启下 Elasticsearch 集群 ### 构建 elasticsearch 集群 - 另外一台机子也同样这样安装，但是有几个地方有差别： - 特别注意：集群的关键点是配置文件中的：cluster.name，这个一样就表示在一个集群中 - 配置文件：`/usr/program/elk/elasticsearch-2.4.1/config/elasticsearch.yml` - node 名称改为不一样的，比如我这边改为 2：node.name: gitnavi-node-2 - 插件不用安装，有一台机子安装即可 - 先启动装有 head 的机子，然后再启动另外一台，这样好辨别 ## 资料 - <> - <> ================================================ FILE: markdown-file/FTP.md ================================================ # FTP（File Transfer Protocol）介绍 ## FTP 安装 - 查看是否已安装： - CentOS：`rpm -qa | grep vsftpd` - Ubuntu：`dpkg -l | grep vsftpd` - 安装： - CentOS 6：`sudo yum install -y vsftpd` - Ubuntu：`sudo apt-get install -y vsftpd` ## FTP 使用之前要点 - 关闭 CentOS 上的 SELinux 组件（Ubuntu 体系是没有这东西的）。 - 查看 SELinux 开启状态：`sudo getenforce` - 有如下三种状态，默认是 Enforcing - Enforcing（开启） - Permissive（开启，但是只起到警告作用，属于比较轻的开启） - Disabled（关闭） - 临时关闭： - 命令：`sudo setenforce 0` - 临时开启： - 命令：`sudo setenforce 1` - 永久关闭： - 命令：`sudo vim /etc/selinux/config` - 将：`SELINUX=enforcing` 改为 `SELINUX=disbaled`，配置好之后需要重启系统。 ## FTP 服务器配置文件常用参数 - vsftpd 默认是支持使用 Linux 系统里的账号进行登录的（登录上去可以看到自己的 home 目录内容），权限跟 Linux 的账号权限一样。但是建议使用软件提供的虚拟账号管理体系功能，用虚拟账号登录。 - 配置文件介绍（记得先备份）：`sudo vim /etc/vsftpd/vsftpd.conf`，比较旧的系统版本是：`vim /etc/vsftpd.conf` - 该配置主要参数解释： - anonymous_enable=NO #不允许匿名访问，改为YES即表示可以匿名登录 - anon_upload_enable=YES #是否允许匿名用户上传 - anon_mkdir_write_enable=YES #是否允许匿名用户创建目录 - local_enable=YES #是否允许本地用户，也就是linux系统的已有账号，如果你要FTP的虚拟账号，那可以改为NO - write_enable=YES #是否允许本地用户具有写权限 - local_umask=022 #本地用户掩码 - chroot_list_enable=YES #不锁定用户在自己的家目录，默认是注释，建议这个一定要开，比如本地用户judasn，我们只能看到/home/judasn，没办法看到/home目录 - chroot_list_file=/etc/vsftpd/chroot_list #该选项是配合上面选项使用的。此文件中的用户将启用 chroot，如果上面的功能开启是不够的还要把用户名加到这个文件里面。配置好后，登录的用户，默认登录上去看到的根目录就是自己的home目录。 - listen=YES #独立模式 - userlist_enable=YES #用户访问控制，如果是YES，则表示启用vsftp的虚拟账号功能，虚拟账号配置文件是/etc/vsftpd/user_list - userlist_deny=NO #这个属性在配置文件是没有的，当userlist_enable=YES，这个值也为YES，则user_list文件中的用户不能登录FTP，列表外的用户可以登录，也可以起到一个黑名单的作用。当userlist_enable=YES，这个值为NO，则user_list文件中的用户能登录FTP，列表外的用户不可以登录，也可以起到一个白名单的作用。如果同一个用户即在白名单中又在ftpusers黑名单文件中，那还是会以黑名单为前提，对应账号没法登录。 - tcp_wrappers=YES #是否启用TCPWrappers管理服务 - FTP用户黑名单配置文件：`sudo vim /etc/vsftpd/ftpusers`，默认root用户也在黑名单中 - 控制FTP用户登录配置文件：`sudo vim /etc/vsftpd/user_list` - 启动服务： - `service vsftpd restart` ## vsftpd 的两种传输模式 - 分为：主动模式（PORT）和被动模式（PASV）。这两个模式会涉及到一些端口问题，也就涉及到防火墙问题，所以要特别注意。主动模式比较简单，只要在防火墙上放开放开 21 和 20 端口即可。被动模式则要根据情况放开一个端口段。 - ![vsftpd 的两种传输模式](../images/FTP-a-1.jpg) - 上图箭头：xftp 新建连接默认都是勾选被动模式的，所以如果要使用主动模式，在该连接的属性中是要去掉勾选。 ## vsftpd 的两种运行模式 - 分为：xinetd 模式和 standalone 模式 - xinetd 模式：由 xinetd 作为 FTP 的守护进程，负责 21 端口的监听，一旦外部发起对 21 端口的连接，则调用 FTP 的主程序处理，连接完成后，则关闭 FTP 主程序，释放内存资源。好处是资源占用少，适合 FTP 连接数较少的场合。 - standalone 模式：直接使用 FTP 主程序作为 FTP 的守护进程，负责 21 端口的监听，由于无需经过 xinetd 的前端代理，响应速度快，适合连接数 较大的情况，但由于 FTP 主程序长期驻留内存，故较耗资源。 - standalone 一次性启动，运行期间一直驻留在内存中，优点是对接入信号反应快，缺点是损耗了一定的系统资源，因此经常应用于对实时反应要求较高的 专业 FTP 服务器。 - xinetd 恰恰相反，由于只在外部连接发送请求时才调用 FTP 进程，因此不适合应用在同时连接数量较多的系统。此外，xinetd 模式不占用系统资源。除了反应速度和占用资源两方面的影响外，vsftpd 还提供了一些额外的高级功能，如 xinetd 模式支持 per_IP (单一 IP)限制，而 standalone 模式则更有利于 PAM 验证功能的应用。 - 配置 xinetd 模式： - 编辑配置文件：`sudo vim /etc/xinetd.d/vsftpd` - 属性信息改为如下信息： - disable = no - socket_type = stream - wait = no #这表示设备是激活的，它正在使用标准的TCP Sockets - 编辑配置文件：`sudo vim /etc/vsftpd/vsftpd.conf` - 如果该配置选项中的有 `listen=YES`，则要注释掉 - 重启 xinetd 服务，命令：`sudo /etc/rc.d/init.d/xinetd restart` - 配置 standalone 模式： - 编辑配置文件：`sudo vim /etc/xinetd.d/vsftpd` - 属性信息改为如下信息： - disable = yes - 编辑配置文件：`sudo vim /etc/vsftpd/vsftpd.conf` - 属性信息改为如下信息： - Listen=YES（如果是注释掉则要打开注释） - 重启服务：`sudo service vsftpd restart` ## FTP 资料 - - - - - ================================================ FILE: markdown-file/FastDFS-Install-And-Settings.md ================================================ # FastDFS 安装和配置 ## FastDFS 介绍 - FastDFS 介绍： - 官网下载 1： - 官网下载 2： - 官网下载 3： - 主要场景： - 小图片 - 音频、小视频 - 其他类型小文件 - 更加复杂的文件存储场景可以选择：[Ceph](https://ceph.com/) - 支持对象存储、块存储和文件存储 - 高性能、高可靠性和高扩展 ### 单机安装部署（CentOS 6.7 环境） - 环境准备： - 已经安装好 Nginx - 软件准备： - **FastDFS_v5.05.tar.gz** - **fastdfs-nginx-module_v1.16.tar.gz** - **libfastcommon-1.0.7.tar.gz** - 安装依赖包：`yum install -y libevent` - 安装 **libfastcommon-1.0.7.tar.gz** - 解压：`tar zxvf libfastcommon-1.0.7.tar.gz` - 进入解压后目录：`cd libfastcommon-1.0.7/` - 编译：`./make.sh` - 安装：`./make.sh install` - 设置几个软链接：`ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so` - 设置几个软链接：`ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so` - 设置几个软链接：`ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so` - 设置几个软链接：`ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so` - 安装 tracker （跟踪器）服务 **FastDFS_v5.08.tar.gz** - 解压：`tar zxvf FastDFS_v5.05.tar.gz` - 进入解压后目录：`cd FastDFS/` - 编译：`./make.sh` - 安装：`./make.sh install` - 安装结果： ``` ini /usr/bin 存放有编译出来的文件 /etc/fdfs 存放有配置文件 ``` - 配置 tracker 服务 - 复制一份配置文件：`cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf` - 编辑：`vim /etc/fdfs/tracker.conf`，编辑内容看下面中文注释 ``` ini disabled=false bind_addr= port=22122 connect_timeout=30 network_timeout=60 # 下面这个路径是保存 store data 和 log 的地方，需要我们改下，指向我们一个存在的目录 # 创建目录：mkdir -p /opt/fastdfs/tracker/data-and-log base_path=/opt/fastdfs/tracker/data-and-log max_connections=256 accept_threads=1 work_threads=4 store_lookup=2 store_group=group2 store_server=0 store_path=0 download_server=0 reserved_storage_space = 10% log_level=info run_by_group= run_by_user= allow_hosts=* sync_log_buff_interval = 10 check_active_interval = 120 thread_stack_size = 64KB storage_ip_changed_auto_adjust = true storage_sync_file_max_delay = 86400 storage_sync_file_max_time = 300 use_trunk_file = false slot_min_size = 256 slot_max_size = 16MB trunk_file_size = 64MB trunk_create_file_advance = false trunk_create_file_time_base = 02:00 trunk_create_file_interval = 86400 trunk_create_file_space_threshold = 20G trunk_init_check_occupying = false trunk_init_reload_from_binlog = false trunk_compress_binlog_min_interval = 0 use_storage_id = false storage_ids_filename = storage_ids.conf id_type_in_filename = ip store_slave_file_use_link = false rotate_error_log = false error_log_rotate_time=00:00 rotate_error_log_size = 0 log_file_keep_days = 0 use_connection_pool = false connection_pool_max_idle_time = 3600 http.server_port=8080 http.check_alive_interval=30 http.check_alive_type=tcp http.check_alive_uri=/status.html ``` - 启动 tracker 服务：`/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf` - 重启 tracker 服务：`/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart` - 查看是否有 tracker 进程：`ps aux | grep tracker` - storage （存储节点）服务部署 - 一般 storage 服务我们会单独装一台机子，但是这里为了方便我们安装在同一台。 - 如果 storage 单独安装的话，那上面安装的步骤都要在走一遍，只是到了编辑配置文件的时候，编辑的是 storage.conf 而已 - 复制一份配置文件：`cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf` - 编辑：`vim /etc/fdfs/storage.conf`，编辑内容看下面中文注释 ``` ini disabled=false group_name=group1 bind_addr= client_bind=true port=23000 connect_timeout=30 network_timeout=60 heart_beat_interval=30 stat_report_interval=60 # 下面这个路径是保存 store data 和 log 的地方，需要我们改下，指向我们一个存在的目录 # 创建目录：mkdir -p /opt/fastdfs/storage/data-and-log base_path=/opt/fastdfs/storage/data-and-log max_connections=256 buff_size = 256KB accept_threads=1 work_threads=4 disk_rw_separated = true disk_reader_threads = 1 disk_writer_threads = 1 sync_wait_msec=50 sync_interval=0 sync_start_time=00:00 sync_end_time=23:59 write_mark_file_freq=500 store_path_count=1 # 图片实际存放路径，如果有多个，这里可以有多行： # store_path0=/opt/fastdfs/storage/images-data0 # store_path1=/opt/fastdfs/storage/images-data1 # store_path2=/opt/fastdfs/storage/images-data2 # 创建目录：mkdir -p /opt/fastdfs/storage/images-data store_path0=/opt/fastdfs/storage/images-data subdir_count_per_path=256 # 指定 tracker 服务器的 IP 和端口 tracker_server=192.168.1.114:22122 log_level=info run_by_group= run_by_user= allow_hosts=* file_distribute_path_mode=0 file_distribute_rotate_count=100 fsync_after_written_bytes=0 sync_log_buff_interval=10 sync_binlog_buff_interval=10 sync_stat_file_interval=300 thread_stack_size=512KB upload_priority=10 if_alias_prefix= check_file_duplicate=0 file_signature_method=hash key_namespace=FastDFS keep_alive=0 use_access_log = false rotate_access_log = false access_log_rotate_time=00:00 rotate_error_log = false error_log_rotate_time=00:00 rotate_access_log_size = 0 rotate_error_log_size = 0 log_file_keep_days = 0 file_sync_skip_invalid_record=false use_connection_pool = false connection_pool_max_idle_time = 3600 http.domain_name= http.server_port=8888 ``` - 启动 storage 服务：`/usr/bin/fdfs_storaged /etc/fdfs/storage.conf`，首次启动会很慢，因为它在创建预设存储文件的目录 - 重启 storage 服务：`/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart` - 查看是否有 storage 进程：`ps aux | grep storage` - 测试是否部署成功 - 利用自带的 client 进行测试 - 复制一份配置文件：`cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf` - 编辑：`vim /etc/fdfs/client.conf`，编辑内容看下面中文注释 ``` ini connect_timeout=30 network_timeout=60 # 下面这个路径是保存 store log 的地方，需要我们改下，指向我们一个存在的目录 # 创建目录：mkdir -p /opt/fastdfs/client/data-and-log base_path=/opt/fastdfs/client/data-and-log # 指定 tracker 服务器的 IP 和端口 tracker_server=192.168.1.114:22122 log_level=info use_connection_pool = false connection_pool_max_idle_time = 3600 load_fdfs_parameters_from_tracker=false use_storage_id = false storage_ids_filename = storage_ids.conf http.tracker_server_port=80 ``` - 在终端中通过 shell 上传 opt 目录下的一张图片：`/usr/bin/fdfs_test /etc/fdfs/client.conf upload /opt/test.jpg` - 如下图箭头所示，生成的图片地址为：`http://192.168.1.114/group1/M00/00/00/wKgBclb0aqWAbVNrAAAjn7_h9gM813_big.jpg` - ![FastDFS](../images/FastDFS-a-1.jpg) - 即使我们现在知道图片的访问地址我们也访问不了，因为我们还没装 FastDFS 的 Nginx 模块 - 安装 **fastdfs-nginx-module_v1.16.tar.gz**，安装 Nginx 第三方模块相当于这个 Nginx 都是要重新安装一遍的 - 解压 Nginx 模块：`tar zxvf fastdfs-nginx-module_v1.16.tar.gz`，得到目录地址：**/opt/setups/FastDFS/fastdfs-nginx-module** - 编辑 Nginx 模块的配置文件：`vim /opt/setups/FastDFS/fastdfs-nginx-module/src/config` - 找到下面一行包含有 `local` 字眼去掉，因为这三个路径根本不是在 local 目录下的。 ``` nginx CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" ``` - 改为如下： ``` nginx CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/" ``` - 复制文件：`cp /opt/setups/FastDFS/FastDFS/conf/http.conf /etc/fdfs` - 复制文件：`cp /opt/setups/FastDFS/FastDFS/conf/mime.types /etc/fdfs` - 安装 Nginx 和 Nginx 第三方模块 - 安装 Nginx 依赖包：`yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel` - 预设几个文件夹，方便等下安装的时候有些文件可以进行存放： - `mkdir -p /usr/local/nginx /var/log/nginx /var/temp/nginx /var/lock/nginx` - 解压 Nginx：`tar zxvf /opt/setups/nginx-1.8.1.tar.gz` - 进入解压后目录：`cd /opt/setups/nginx-1.8.1/` - 编译配置：（注意最后一行） ``` ini ./configure \ --prefix=/usr/local/nginx \ --pid-path=/var/local/nginx/nginx.pid \ --lock-path=/var/lock/nginx/nginx.lock \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/temp/nginx/client \ --http-proxy-temp-path=/var/temp/nginx/proxy \ --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \ --http-scgi-temp-path=/var/temp/nginx/scgi \ --add-module=/opt/setups/FastDFS/fastdfs-nginx-module/src ``` - 编译：`make` - 安装：`make install` - 复制 Nginx 模块的配置文件：`cp /opt/setups/FastDFS/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs` - 编辑 Nginx 模块的配置文件：`vim /etc/fdfs/mod_fastdfs.conf`，编辑内容看下面中文注释 - 如果在已经启动 Nginx 的情况下修改下面内容记得要重启 Nginx。 ``` ini connect_timeout=2 network_timeout=30 # 下面这个路径是保存 log 的地方，需要我们改下，指向我们一个存在的目录 # 创建目录：mkdir -p /opt/fastdfs/fastdfs-nginx-module/data-and-log base_path=/opt/fastdfs/fastdfs-nginx-module/data-and-log load_fdfs_parameters_from_tracker=true storage_sync_file_max_delay = 86400 use_storage_id = false storage_ids_filename = storage_ids.conf # 指定 tracker 服务器的 IP 和端口 tracker_server=192.168.1.114:22122 storage_server_port=23000 group_name=group1 # 因为我们访问图片的地址是：http://192.168.1.114/group1/M00/00/00/wKgBclb0aqWAbVNrAAAjn7_h9gM813_big.jpg # 该地址前面是带有 /group1/M00，所以我们这里要使用 true，不然访问不到（原值是 false） url_have_group_name = true store_path_count=1 # 图片实际存放路径，如果有多个，这里可以有多行： # store_path0=/opt/fastdfs/storage/images-data0 # store_path1=/opt/fastdfs/storage/images-data1 # store_path2=/opt/fastdfs/storage/images-data2 store_path0=/opt/fastdfs/storage/images-data log_level=info log_filename= response_mode=proxy if_alias_prefix= flv_support = true flv_extension = flv group_count = 0 ``` - 编辑 Nginx 配置文件 ``` nginx # 注意这一行行，我特别加上了使用 root 用户去执行，不然有些日记目录没有权限访问 user root; worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; server { listen 80; # 访问本机 server_name 192.168.1.114; # 拦截包含 /group1/M00 请求，使用 fastdfs 这个 Nginx 模块进行转发 location /group1/M00 { ngx_fastdfs_module; } } } ``` - 启动 Nginx - 停掉防火墙：`service iptables stop` - 启动：`/usr/local/nginx/sbin/nginx`，启动完成 shell 是不会有输出的 - 访问：`192.168.1.114`，如果能看到：`Welcome to nginx!`，即可表示安装成功 - 检查 时候有 Nginx 进程：`ps aux | grep nginx`，正常是显示 3 个结果出来 - 刷新 Nginx 配置后重启：`/usr/local/nginx/sbin/nginx -s reload` - 停止 Nginx：`/usr/local/nginx/sbin/nginx -s stop` - 如果访问不了，或是出现其他信息看下错误立即：`vim /var/log/nginx/error.log` ### 多机安装部署（CentOS 6.7 环境） http://blog.csdn.net/ricciozhang/article/details/49402273 ## 资料 - [fastdfs+nginx安装配置](http://blog.csdn.net/ricciozhang/article/details/49402273) ================================================ FILE: markdown-file/FastDFS-Nginx-Lua-GraphicsMagick.md ================================================ # FastDFS 结合 GraphicsMagick ## 单机安装部署（CentOS 6.7 环境） ### 先安装 FastDFS - 软件准备： - 我这边统一提供了一个压缩包，方便使用。 - 下载地址： - 安装依赖包：`yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel libevent` - 安装 **libfastcommon-1.0.7.tar.gz** - 解压：`tar zxvf libfastcommon-1.0.7.tar.gz` - 进入解压后目录：`cd libfastcommon-1.0.7/` - 编译：`./make.sh` - 安装：`./make.sh install` - 设置几个软链接：`ln -s /usr/lib64/libfastcommon.so /usr/local/lib/libfastcommon.so` - 设置几个软链接：`ln -s /usr/lib64/libfastcommon.so /usr/lib/libfastcommon.so` - 设置几个软链接：`ln -s /usr/lib64/libfdfsclient.so /usr/local/lib/libfdfsclient.so` - 设置几个软链接：`ln -s /usr/lib64/libfdfsclient.so /usr/lib/libfdfsclient.so` - 安装 tracker （跟踪器）服务 **FastDFS_v5.08.tar.gz** - 解压：`tar zxvf FastDFS_v5.05.tar.gz` - 进入解压后目录：`cd FastDFS/` - 编译：`./make.sh` - 安装：`./make.sh install` - 配置 tracker 服务 - 复制一份配置文件：`cp /etc/fdfs/tracker.conf.sample /etc/fdfs/tracker.conf` - 编辑：`vim /etc/fdfs/tracker.conf`，编辑内容看下面中文注释 ``` ini disabled=false bind_addr= port=22122 connect_timeout=30 network_timeout=60 # 下面这个路径是保存 store data 和 log 的地方，需要我们改下，指向我们一个存在的目录 # 创建目录：mkdir -p /opt/fastdfs/tracker/data-and-log base_path=/opt/fastdfs/tracker/data-and-log max_connections=256 accept_threads=1 work_threads=4 store_lookup=2 store_group=group2 store_server=0 store_path=0 download_server=0 reserved_storage_space = 10% log_level=info run_by_group= run_by_user= allow_hosts=* sync_log_buff_interval = 10 check_active_interval = 120 thread_stack_size = 64KB storage_ip_changed_auto_adjust = true storage_sync_file_max_delay = 86400 storage_sync_file_max_time = 300 use_trunk_file = false slot_min_size = 256 slot_max_size = 16MB trunk_file_size = 64MB trunk_create_file_advance = false trunk_create_file_time_base = 02:00 trunk_create_file_interval = 86400 trunk_create_file_space_threshold = 20G trunk_init_check_occupying = false trunk_init_reload_from_binlog = false trunk_compress_binlog_min_interval = 0 use_storage_id = false storage_ids_filename = storage_ids.conf id_type_in_filename = ip store_slave_file_use_link = false rotate_error_log = false error_log_rotate_time=00:00 rotate_error_log_size = 0 log_file_keep_days = 0 use_connection_pool = false connection_pool_max_idle_time = 3600 http.server_port=8080 http.check_alive_interval=30 http.check_alive_type=tcp http.check_alive_uri=/status.html ``` - 启动 tracker 服务：`/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf` - 重启 tracker 服务：`/usr/bin/fdfs_trackerd /etc/fdfs/tracker.conf restart` - 查看是否有 tracker 进程：`ps aux | grep tracker` - storage （存储节点）服务部署 - 一般 storage 服务我们会单独装一台机子，但是这里为了方便我们安装在同一台。 - 如果 storage 单独安装的话，那上面安装的步骤都要在走一遍，只是到了编辑配置文件的时候，编辑的是 storage.conf 而已 - 复制一份配置文件：`cp /etc/fdfs/storage.conf.sample /etc/fdfs/storage.conf` - 编辑：`vim /etc/fdfs/storage.conf`，编辑内容看下面中文注释 ``` ini disabled=false group_name=group1 bind_addr= client_bind=true port=23000 connect_timeout=30 network_timeout=60 heart_beat_interval=30 stat_report_interval=60 # 下面这个路径是保存 store data 和 log 的地方，需要我们改下，指向我们一个存在的目录 # 创建目录：mkdir -p /opt/fastdfs/storage/data-and-log base_path=/opt/fastdfs/storage/data-and-log max_connections=256 buff_size = 256KB accept_threads=1 work_threads=4 disk_rw_separated = true disk_reader_threads = 1 disk_writer_threads = 1 sync_wait_msec=50 sync_interval=0 sync_start_time=00:00 sync_end_time=23:59 write_mark_file_freq=500 store_path_count=1 # 图片实际存放路径，如果有多个，这里可以有多行： # store_path0=/opt/fastdfs/storage/images-data0 # store_path1=/opt/fastdfs/storage/images-data1 # store_path2=/opt/fastdfs/storage/images-data2 # 创建目录：mkdir -p /opt/fastdfs/storage/images-data store_path0=/opt/fastdfs/storage/images-data subdir_count_per_path=256 # 指定 tracker 服务器的 IP 和端口 tracker_server=192.168.1.114:22122 log_level=info run_by_group= run_by_user= allow_hosts=* file_distribute_path_mode=0 file_distribute_rotate_count=100 fsync_after_written_bytes=0 sync_log_buff_interval=10 sync_binlog_buff_interval=10 sync_stat_file_interval=300 thread_stack_size=512KB upload_priority=10 if_alias_prefix= check_file_duplicate=0 file_signature_method=hash key_namespace=FastDFS keep_alive=0 use_access_log = false rotate_access_log = false access_log_rotate_time=00:00 rotate_error_log = false error_log_rotate_time=00:00 rotate_access_log_size = 0 rotate_error_log_size = 0 log_file_keep_days = 0 file_sync_skip_invalid_record=false use_connection_pool = false connection_pool_max_idle_time = 3600 http.domain_name= http.server_port=8888 ``` - 启动 storage 服务：`/usr/bin/fdfs_storaged /etc/fdfs/storage.conf`，首次启动会很慢，因为它在创建预设存储文件的目录 - 重启 storage 服务：`/usr/bin/fdfs_storaged /etc/fdfs/storage.conf restart` - 查看是否有 storage 进程：`ps aux | grep storage` - 测试是否部署成功 - 利用自带的 client 进行测试 - 复制一份配置文件：`cp /etc/fdfs/client.conf.sample /etc/fdfs/client.conf` - 编辑：`vim /etc/fdfs/client.conf`，编辑内容看下面中文注释 ``` ini connect_timeout=30 network_timeout=60 # 下面这个路径是保存 store log 的地方，需要我们改下，指向我们一个存在的目录 # 创建目录：mkdir -p /opt/fastdfs/client/data-and-log base_path=/opt/fastdfs/client/data-and-log # 指定 tracker 服务器的 IP 和端口 tracker_server=192.168.1.114:22122 log_level=info use_connection_pool = false connection_pool_max_idle_time = 3600 load_fdfs_parameters_from_tracker=false use_storage_id = false storage_ids_filename = storage_ids.conf http.tracker_server_port=80 ``` - 在终端中通过 shell 上传 opt 目录下的一张图片：`/usr/bin/fdfs_test /etc/fdfs/client.conf upload /opt/test.jpg` - 如下图箭头所示，生成的图片地址为：`http://192.168.1.114/group1/M00/00/00/wKgBclb0aqWAbVNrAAAjn7_h9gM813_big.jpg` - ![FastDFS](../images/FastDFS-a-1.jpg) - 即使我们现在知道图片的访问地址我们也访问不了，因为我们还没装 FastDFS 的 Nginx 模块 ### 安装 nginx-lua-GraphicsMagick - 来源： - 添加专用用户，后面有用 - `groupadd www` - `useradd -g www www -s /bin/false` - 安装依赖包 - `yum install -y gcc gcc-c++ zlib zlib-devel openssl openssl-devel pcre pcre-devel` - `yum install -y libpng libjpeg libpng-devel libjpeg-devel ghostscript libtiff libtiff-devel freetype freetype-devel` - `yum install -y GraphicsMagick GraphicsMagick-devel` - 下面的这些软件都在本文在开头的那个压缩包里面。现在我们需要解压这些压缩包 - `cd /opt/setups` - `tar -zxvf nginx-1.8.0.tar.gz` - `tar -zxvf LuaJIT-2.0.4.tar.gz` - `tar -zxvf GraphicsMagick-1.3.21.tar.gz` - `tar -zxvf zlib-1.2.8.tar.gz` - 安装 LuaJIT - `cd /opt/setups/LuaJIT-2.0.4` - `make` - `make install` - `export LUAJIT_LIB=/usr/local/lib` - `export LUAJIT_INC=/usr/local/include/luajit-2.0` - `ln -s /usr/local/lib/libluajit-5.1.so.2 /lib64/libluajit-5.1.so.2` - 修改一些配置文件 - 编辑 Nginx 模块的配置文件：`vim /opt/setups/fastdfs-nginx-module/src/config` - 找到下面一行包含有 `local` 字眼去掉，因为这三个路径根本不是在 local 目录下的。（如果你的配置文件没有这个 local，那这一步跳过） ``` nginx CORE_INCS="$CORE_INCS /usr/local/include/fastdfs /usr/local/include/fastcommon/" ``` - 改为如下： ``` nginx CORE_INCS="$CORE_INCS /usr/include/fastdfs /usr/include/fastcommon/" ``` - 复制文件：`cp /opt/setups/FastDFS/conf/http.conf /etc/fdfs` - 复制文件：`cp /opt/setups/FastDFS/conf/mime.types /etc/fdfs` - 开始安装 Nginx - `cd /opt/setups/nginx-1.8.0` - `mkdir -p /usr/local/nginx /var/log/nginx /var/temp/nginx /var/lock/nginx` - 执行下面编译语句： ``` nginx ./configure --prefix=/usr/local/nginx \ --user=www \ --group=www \ --pid-path=/var/local/nginx/nginx.pid \ --lock-path=/var/lock/nginx/nginx.lock \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --http-client-body-temp-path=/var/temp/nginx/client \ --http-proxy-temp-path=/var/temp/nginx/proxy \ --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \ --http-scgi-temp-path=/var/temp/nginx/scgi \ --sbin-path=/usr/local/nginx/sbin/nginx \ --with-http_ssl_module \ --with-http_realip_module \ --with-http_sub_module \ --with-http_flv_module \ --with-http_dav_module \ --with-http_gzip_static_module \ --with-http_stub_status_module \ --with-http_addition_module \ --with-http_spdy_module \ --with-pcre \ --with-zlib=/opt/setups/zlib-1.2.8 \ --add-module=/opt/setups/nginx-http-concat \ --add-module=/opt/setups/lua-nginx-module \ --add-module=/opt/setups/ngx_devel_kit \ --add-module=/opt/setups/fastdfs-nginx-module/src ``` - `make` - `make install` - 修改一下配置 - 复制 Nginx 模块的配置文件：`cp /opt/setups/fastdfs-nginx-module/src/mod_fastdfs.conf /etc/fdfs` - 编辑 Nginx 模块的配置文件：`vim /etc/fdfs/mod_fastdfs.conf`，编辑内容看下面中文注释 - 如果在已经启动 Nginx 的情况下修改下面内容记得要重启 Nginx。 ``` ini connect_timeout=2 network_timeout=30 # 下面这个路径是保存 log 的地方，需要我们改下，指向我们一个存在的目录 # 创建目录：mkdir -p /opt/fastdfs/fastdfs-nginx-module/data-and-log base_path=/opt/fastdfs/fastdfs-nginx-module/data-and-log load_fdfs_parameters_from_tracker=true storage_sync_file_max_delay = 86400 use_storage_id = false storage_ids_filename = storage_ids.conf # 指定 tracker 服务器的 IP 和端口 tracker_server=192.168.1.114:22122 storage_server_port=23000 group_name=group1 # 因为我们访问图片的地址是：http://192.168.1.114/group1/M00/00/00/wKgBclb0aqWAbVNrAAAjn7_h9gM813_big.jpg # 该地址前面是带有 /group1/M00，所以我们这里要使用 true，不然访问不到（原值是 false） url_have_group_name = true store_path_count=1 # 图片实际存放路径，如果有多个，这里可以有多行： # store_path0=/opt/fastdfs/storage/images-data0 # store_path1=/opt/fastdfs/storage/images-data1 # store_path2=/opt/fastdfs/storage/images-data2 store_path0=/opt/fastdfs/storage/images-data log_level=info log_filename= response_mode=proxy if_alias_prefix= flv_support = true flv_extension = flv group_count = 0 ``` - 创建文件夹：`mkdir -p /opt/fastdfs/thumb` - 编辑 Nginx 配置文件 - `vim /usr/local/nginx/conf/nginx.conf` ``` nginx # 注意这一行行，我特别加上了使用 root 用户去执行，不然有些日记目录没有权限访问 user root; worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; server{ listen 80; server_name 192.168.1.112; set $img_thumbnail_root /opt/fastdfs/thumb; set $img_file $img_thumbnail_root$uri; # like：/pic/M00/xx/xx/xx.jpg_200x100.jpg # /group1/M00 location ~* ^(\/(\w+)(\/M00)(.+\.(jpg|jpeg|gif|png))_(\d+)+x(\d+)+\.(jpg|jpeg|gif|png))$ { root $img_thumbnail_root; set $fdfs_group_root /opt/fastdfs/storage/images-data/data; # 如果缩略图不存在 if (!-f $img_file) { add_header X-Powered-By 'Nginx+Lua+GraphicsMagick By Yanue'; add_header file-path $request_filename; set $request_filepath $fdfs_group_root$4; set $img_width $6; set $img_height $7; set $img_ext $5; content_by_lua_file /opt/setups/lua/cropSize.lua; } } location /group1/M00 { alias /opt/fastdfs/storage/images-data/data; ngx_fastdfs_module; } } } ``` - 启动 Nginx - 停掉防火墙：`service iptables stop` - 启动：`/usr/local/nginx/sbin/nginx`，启动完成 shell 是不会有输出的 - 访问：`192.168.1.114`，如果能看到：`Welcome to nginx!`，即可表示安装成功 - 检查 时候有 Nginx 进程：`ps aux | grep nginx`，正常是显示 3 个结果出来 - 刷新 Nginx 配置后重启：`/usr/local/nginx/sbin/nginx -s reload` - 停止 Nginx：`/usr/local/nginx/sbin/nginx -s stop` - 如果访问不了，或是出现其他信息看下错误立即：`vim /var/log/nginx/error.log` ### 多机安装部署（CentOS 6.7 环境） - 多机部署的情况，对生成大小图的 Nginx 也有地方要修改。 - 资料： ## 资料 - [fastdfs+nginx安装配置](http://blog.csdn.net/ricciozhang/article/details/49402273) ================================================ FILE: markdown-file/File-Extract-Compress.md ================================================ # Linux 下常用压缩文件的解压、压缩 ## 常用压缩包--解压--令整理 - Linux 后缀为 `.war` 格式的文件（一般用在部署 Tomcat 项目的时候） - 命令：`unzip -oq XXXXXX.war -d ROOT` - 如果没有 ROOT 目录会自动创建 ROOT 目录。 - Linux 后缀为 `.tar.gz` 格式的文件-解压 - 命令：`tar zxvf XXXXXX.tar.gz` - Linux 后缀为 `.bz2` 格式的文件-解压 - 命令：`bzip2 -d XXXXXX.bz2` - Linux 后缀为 `.tar.bz2` 格式的文件-解压 - 命令：`tar jxvf XXXXXX.tar.bz2` - Linux 后缀为 `.tar` 格式的文件-解压 - 命令：`tar zxvf XXXXXX.tar` - Linux 后缀为 `.gz` 格式的文件-解压 - 命令：`gunzip XXXXXX.gz` - Linux 后缀为 `.zip` 格式的文件-解压 - 命令：`unzip XXXXXX.zip` - 命令：`unzip XXXXXX.zip -d /opt/`，解压到指定目录 - Linux 后缀为 `.7z` 格式的文件-解压 - 命令：`7za x XXXXXX.7z` - Linux 后缀为 `.tar.xz` 格式的文件-解压，解压出来是tar，再对tar进行解压 - 命令：`tar xf XXXXXX.tar.xz` ----------------------------------------------------------- ## 常用文件进行--压缩--命令整理 - Linux 压缩文件夹为后缀 `.war` 格式的文件（最好不要对根目录进行压缩，不然会多出一级目录） - 命令：`jar -cvfM0 cas.war /opt/cas/META-INF /opt/cas/WEB-INF /opt/cas/index.jsp` - 或者命令：`cd 项目根目录 ; jar -cvfM0 cas.war ./*` - Linux 压缩文件为后缀 `.tar` 格式的文件 - 命令：`tar -zcvf test11.tar test11` - Linux 压缩文件为后缀 `.tar.gz` 格式的文件 - 命令：`tar -zcvf test11.tar.gz test11` - Linux 压缩文件为后缀 `.bz2` 格式的文件 - 命令：`bzip2 -v test.txt` - Linux 压缩文件为后缀 `.tar.bz2` 格式的文件 - 命令：`tar -jcvf test11.tar.gz test11` - Linux 压缩文件为后缀 `.zip` 格式的文件 - 命令：`zip -r test1.zip /opt/test1/` - Linux 压缩文件为后缀 `.7z` 格式的文件 - 命令：`7za a test1.7z /opt/test1/` ## 分卷压缩 - 分卷压缩：`zip -s 100M myFile.zip --out newFile.zip` - 最终效果： ``` newFile.z01 newFile.z02 newFile.z03 newFile.z04 newFile.zip ``` ## 特殊格式 - 7z - 7z 的安装： - 访问官网下载解压包： - 解压压缩包：`tar jxvf p7zip_15.14_src_all.tar.bz2` - 进入目录：`cd p7zip_15.14` - 执行安装：`sh install.sh` - rar - rar 的安装： - 下载：`wget http://www.rarlab.com/rar/rarlinux-3.8.0.tar.gz` - 解压下载下来的压缩包：`tar zxvf rarlinux-3.8.0.tar.gz` - 进入解压后目录：`cd rar` - 编译：`make` - 安装：`make install` - rar 解压：`rar x 文件名.rar` ## jar 包操作 ### 修改 jar 包配置文件 - 命令：`vim mytest.jar`，这时候会展示 jar 中所有层级目录下的所有文件 - 输入：`/log4j2.xml` 回车，光标定位到该文件，然后再回车，进入编辑该文件状态 - 此时可以修改配置文件了，修改后 `:wq` 保存退出，接着 `：q` 退出 jar 编辑状态 ### 更新 Jar 包中的文件 - 替换（新增）jar 根目录下的文件：`jar uvf mytest.jar ClassToAdd.class` - 一般 class 文件都是在多层目录里面的，需要这样做：`jar uvf mytest.jar com/youmeek/ClassToAdd.class` - 需要在 jar 所在的文件夹下创建：`mkdir -p ./com/youmeek`，该目录必须和原 jar 里面的层级目录结构一致 ## 资料 - ================================================ FILE: markdown-file/Flink-Install-And-Settings.md ================================================ # Flink 安装和配置 ## 介绍 - 2018-11-30 发布最新：1.7.0 版本 - 官网： - 官网 Github： ## 本地模式安装 - CentOS 7.4 - IP 地址：`192.168.0.105` - 官网指导： - 必须 JDK 8.x - 下载： - 选择 Binaries 类型 - 如果没有 Hadoop 环境，只是本地开发，选择：Apache 1.7.0 Flink only - Scala 2.11 和 Scala 2.12 都可以，但是我因为后面要用到 kafka，kafka 推荐 Scala 2.11，所以我这里也选择同样。 - 最终我选择了：Apache 1.7.0 Flink only Scala 2.11，共：240M - 解压：`tar zxf flink-*.tgz` - 进入根目录：`cd flink-1.7.0`，完整路径：`cd /usr/local/flink-1.7.0` - 改下目录名方便后面书写：`mv /usr/local/flink-1.7.0 /usr/local/flink` - 启动：`cd /usr/local/flink && ./bin/start-cluster.sh` - 停止：`cd /usr/local/flink && ./bin/stop-cluster.sh` - 查看日志：`tail -300f log/flink-*-standalonesession-*.log` - 浏览器访问 WEB 管理：`http://192.168.0.105:8081` ## yarn 启动 - 安装方式跟上面一样，但是必须保证有 hadoop、yarn 集群 - 控制台启动：`cd /usr/local/flink && ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024` - 守护进程启动：`cd /usr/local/flink && ./bin/yarn-session.sh -n 2 -jm 1024 -tm 1024 -d` - 有可能会报：`The Flink Yarn cluster has failed`，可能是资源不够 - YARN 参数配置可以参考：[点击我](https://sustcoder.github.io/2018/09/27/YARN%20%E5%86%85%E5%AD%98%E5%8F%82%E6%95%B0%E8%AF%A6%E8%A7%A3/) ## Demo - 运行程序解压包下也有一些 jar demo：`cd /usr/local/flink/examples` - 官网： - DataStream API： - DataSet API： - 访问该脚本可以得到如下内容： ``` mvn archetype:generate \ -DarchetypeGroupId=org.apache.flink \ -DarchetypeArtifactId=flink-quickstart-java \ -DarchetypeVersion=${1:-1.7.0} \ -DgroupId=org.myorg.quickstart \ -DartifactId=$PACKAGE \ -Dversion=0.1 \ -Dpackage=org.myorg.quickstart \ -DinteractiveMode=false ``` - 可以自己在本地执行该 mvn 命令，用 Maven 骨架快速创建一个 WordCount 项目 - 注意，这里必须使用这个仓库（最好用穿越软件）：`https://repository.apache.org/content/repositories/snapshots` - 该骨架的所有版本： - 根据实验，目前 1.7.0 和 1.6.x 都是没有 WordCount demo 代码的。但是 1.3.x 是有的。 ## 运行 - 可以直接在 IntelliJ IDEA 上 run - 也可以交给服务器上 flink 执行，也有两种方式： - 把 jar 自己上传 Flink 服务器运行：`cd /usr/local/flink && ./bin/flink run -c com.youmeek.WordCount /opt/flink-simple-demo-1.0-SNAPSHOT.jar` - 也可以通过 WEB UI 上传 jar： - 有一个 `Add New` 按钮可以上传 jar 包，然后填写 Class 路径：`com.youmeek.WordCount` - `parallelism` 表示并行度，填写数字，一般并行度设置为集群 CPU 核数总和的 2-3 倍（如果是单机模式不需要设置并行度） ## 安装 ncat 方便发送数据包 - 环境：CentOS 7.4 - 官网下载：，找到 rpm 包 - 当前时间（201803）最新版本下载：`wget https://nmap.org/dist/ncat-7.60-1.x86_64.rpm` - 当前时间（201812）最新版本下载：`wget https://nmap.org/dist/ncat-7.70-1.x86_64.rpm` - 安装：`sudo rpm -i ncat-7.60-1.x86_64.rpm` - ln 下：`sudo ln -s /usr/bin/ncat /usr/bin/nc` - 检验：`nc --version` - 启动监听 9011 端口：`nc -lk 9011`，然后你可以输入内容，Flink demo 看是否有收到 ------------------------------------------------------------------- ## Flink 核心概念 - 四个基石：Checkpoint、State、Time、Window - 解决 exactly-once 的问题 - 实现了 watermark 的机制，解决了基于事件时间处理时的数据乱序和数据迟到的问题 - 状态管理 - 提供了一套开箱即用的窗口操作，包括滚动窗口、滑动窗口、会话窗口 - 我想说的，都被这篇文章说了： - - - 这里补充点其他的 ``` Client 用来提交任务给 JobManager，JobManager 分发任务给 TaskManager 去执行，然后 TaskManager 会心跳的汇报任务状态 在 Flink 集群中，计算资源被定义为 Task Slot 每个 TaskManager 会拥有一个或多个 Slots JobManager 会以 Slot 为单位调度 Task。 对 Flink 的 JobManager 来说，其调度的是一个 Pipeline 的 Task，而不是一个点。 在 Flink 中其也是一个被整体调度的 Pipeline Task。在 TaskManager 中，根据其所拥有的 Slot 个数，同时会拥有多个 Pipeline Task Slot 在架构概览中我们介绍了 TaskManager 是一个 JVM 进程，并会以独立的线程来执行一个task或多个subtask。为了控制一个 TaskManager 能接受多少个 task，Flink 提出了 Task Slot 的概念。 Flink 中的计算资源通过 Task Slot 来定义。每个 task slot 代表了 TaskManager 的一个固定大小的资源子集。例如，一个拥有3个slot的 TaskManager，会将其管理的内存平均分成三分分给各个 slot。将资源 slot 化意味着来自不同job的task不会为了内存而竞争，而是每个task都拥有一定数量的内存储备。需要注意的是，这里不会涉及到CPU的隔离，slot目前仅仅用来隔离task的内存。 通过调整 task slot 的数量，用户可以定义task之间是如何相互隔离的。每个 TaskManager 有一个slot，也就意味着每个task运行在独立的 JVM 中。每个 TaskManager 有多个slot的话，也就是说多个task运行在同一个JVM中。而在同一个JVM进程中的task，可以共享TCP连接（基于多路复用）和心跳消息，可以减少数据的网络传输。也能共享一些数据结构，一定程度上减少了每个task的消耗。 每一个 TaskManager 会拥有一个或多个的 task slot，每个 slot 都能跑由多个连续 task 组成的一个 pipeline，比如 MapFunction 的第n个并行实例和 ReduceFunction 的第n个并行实例可以组成一个 pipeline。 source（Streaming 进来） Transformations（Streaming 处理） sink（Streaming 出去） Flink程序与生俱来的就是并行和分布式的。Streams被分割成stream patition, Operators被被分割成operator subtasks。这些subtasks在不同的机器（容器）上的不同的线程中运行，彼此独立，互不干扰。 一个操作的operator subtask的数目，被称为parallelism（并行度）。一个stream的并行度，总是等于生成它的（operator）操作的并行度。一个Flink程序中，不同的operator可能具有不同的并行度。 ``` ------------------------------------------------------------------- #### 为了容错的 Checkpoint 机制 - 这几篇文章写得很好： - [Flink 增量式checkpoint 介绍](https://my.oschina.net/u/992559/blog/2873828) - [A Deep Dive into Rescalable State in Apache Flink](https://flink.apache.org/features/2017/07/04/flink-rescalable-state.html) - [Flink 小贴士 (5): Savepoint 和 Checkpoint 的 3 个不同点](http://wuchong.me/blog/2018/11/25/flink-tips-differences-between-savepoints-and-checkpoints/) - [Flink 小贴士 (2)：Flink 如何管理 Kafka 消费位点](http://wuchong.me/blog/2018/11/04/how-apache-flink-manages-kafka-consumer-offsets/) - Checkpoint 允许 Flink 恢复流中的状态和位置，使应用程序具有与无故障执行相同的语义 - Checkpoint 是 Flink 用来从故障中恢复的机制，快照下了整个应用程序的状态，当然也包括输入源读取到的位点。如果发生故障，Flink 将通过从 Checkpoint 加载应用程序状态并从恢复的读取位点继续应用程序的处理，就像什么事情都没发生一样。 ``` 一个checkpoint是Flink的一致性快照，它包括： 程序当前的状态 输入流的位置 Flink通过一个可配置的时间，周期性的生成checkpoint，将它写入到存储中，例如S3或者HDFS。写入到存储的过程是异步的，意味着Flink程序在checkpoint运行的同时还可以处理数据。 在机器或者程序遇到错误重启的时候，Flink程序会使用最新的checkpoint进行恢复。Flink会恢复程序的状态，将输入流回滚到checkpoint保存的位置，然后重新开始运行。这意味着Flink可以像没有发生错误一样计算结果。 检查点（Checkpoint）是使 Apache Flink 能从故障恢复的一种内部机制。检查点是 Flink 应用状态的一个一致性副本，包括了输入的读取位点。在发生故障时，Flink 通过从检查点加载应用程序状态来恢复，并从恢复的读取位点继续处理，就好像什么事情都没发生一样。你可以把检查点想象成电脑游戏的存档一样。如果你在游戏中发生了什么事情，你可以随时读档重来一次。 检查点使得 Apache Flink 具有容错能力，并确保了即时发生故障也能保证流应用程序的语义。检查点是以固定的间隔来触发的，该间隔可以在应用中配置。 ``` - 默认情况下 checkpoint 是不启用的，为了启用 checkpoint，需要在 StreamExecutionEnvironment 中调用 enableCheckpointing(n) 方法, 其中 n 是 checkpoint 的间隔毫秒数。 - 这里有一个核心：用到 Facebook 的 RocksDB 数据库（可嵌入式的支持持久化的 key-value 存储系统） ------------------------------------------------------------------- #### Exactly-Once - 因为有了 Checkpoint，才有了 Exactly-Once - [Apache Flink 端到端（end-to-end）Exactly-Once特性概览 （翻译）](https://my.oschina.net/u/992559/blog/1819948) - 常见有这几种语义： ``` at most once : 至多一次。可能导致消息丢失。 at least once : 至少一次。可能导致消息重复。 exactly once ： 刚好一次。不丢失也不重复。 ``` ------------------------------------------------------------------- #### Watermark - [Flink 小贴士 (3): 轻松理解 Watermark](http://wuchong.me/blog/2018/11/18/flink-tips-watermarks-in-apache-flink-made-easy/) - 了解事件时间的几个概念：event-time【消息产生的时间】, processing-time【消息处理时间】, ingestion-time【消息流入 flink 框架的时间】 - watermark 的作用，他们定义了何时不再等待更早的数据 - WaterMark 只在时间特性 EventTime 和 IngestionTime 起作用，并且 IngestionTime 的时间等同于消息的 ingestion 时间 ------------------------------------------------------------------- #### 窗口 - - [Flink 原理与实现：Window 机制](http://wuchong.me/blog/2016/05/25/flink-internals-window-mechanism/) - [Flink 原理与实现：Session Window](http://wuchong.me/blog/2016/06/06/flink-internals-session-window/) ##### 滚动窗口（Tumbling Windows） - 滚动窗口有一个固定的大小，并且不会出现重叠 ###### 滚动事件时间窗口 ``` input .keyBy() .window(TumblingEventTimeWindows.of(Time.seconds(5))) .(); ``` - 每日偏移8小时的滚动事件时间窗口 ``` input .keyBy() .window(TumblingEventTimeWindows.of(Time.days(1), Time.hours(-8))) .(); ``` ###### 滚动处理时间窗口 ``` input .keyBy() .window(TumblingProcessingTimeWindows.of(Time.seconds(5))) .(); ``` --------------------------------- ##### 滑动窗口（Sliding Windows） - 滑动窗口分配器将元素分配到固定长度的窗口中，与滚动窗口类似，窗口的大小由窗口大小参数来配置，另一个窗口滑动参数控制滑动窗口开始的频率。因此，滑动窗口如果滑动参数小于滚动参数的话，窗口是可以重叠的，在这种情况下元素会被分配到多个窗口中。 - 例如，你有10分钟的窗口和5分钟的滑动，那么每个窗口中5分钟的窗口里包含着上个10分钟产生的数据 ###### 滑动事件时间窗口 ``` input .keyBy() .window(SlidingEventTimeWindows.of(Time.seconds(10), Time.seconds(5))) .(); ``` ###### 滑动处理时间窗口 ``` input .keyBy() .window(SlidingProcessingTimeWindows.of(Time.seconds(10), Time.seconds(5))) .(); ``` - 偏移8小时的滑动处理时间窗口 ``` input .keyBy() .window(SlidingProcessingTimeWindows.of(Time.hours(12), Time.hours(1), Time.hours(-8))) .(); ``` --------------------------------- ##### 计数窗口（Count Window） - 根据元素个数对数据流进行分组的 ###### 翻滚计数窗口 - 当我们想要每 100 个用户购买行为事件统计购买总数，那么每当窗口中填满 100 个元素了，就会对窗口进行计算，这种窗口我们称之为翻滚计数窗口（Tumbling Count Window） ``` input .keyBy() .countWindow(100) .(); ``` --------------------------------- ##### 会话窗口（Session Windows） - session 窗口分配器通过 session 活动来对元素进行分组，session 窗口跟滚动窗口和滑动窗口相比，不会有重叠和固定的开始时间和结束时间的情况。相反，当它在一个固定的时间周期内不再收到元素，即非活动间隔产生，那个这个窗口就会关闭。一个 session 窗口通过一个 session 间隔来配置，这个 session 间隔定义了非活跃周期的长度。当这个非活跃周期产生，那么当前的 session 将关闭并且后续的元素将被分配到新的 session 窗口中去。 ###### 事件时间会话窗口 ``` input .keyBy() .window(EventTimeSessionWindows.withGap(Time.minutes(10))) .(); ``` ###### 处理时间会话窗口 ``` input .keyBy() .window(ProcessingTimeSessionWindows.withGap(Time.minutes(10))) .(); ``` --------------------------------- ##### 全局窗口（Global Windows） - 全局窗口分配器将所有具有相同 key 的元素分配到同一个全局窗口中，这个窗口模式仅适用于用户还需自定义触发器的情况。否则，由于全局窗口没有一个自然的结尾，无法执行元素的聚合，将不会有计算被执行。 ``` input .keyBy() .window(GlobalWindows.create()) .(); ``` ------------------------------------------------------------------- #### 生产环境准备 - [Flink 小贴士 (7): 4个步骤，让 Flink 应用达到生产状态](http://wuchong.me/blog/2018/12/03/flink-tips-4-steps-flink-application-production-ready/) ------------------------------------------------------------------- #### 运行环境 - Flink 的部署 - Flink 有三种部署模式，分别是 Local、Standalone Cluster 和 Yarn Cluster。 - 对于 Local 模式来说，JobManager 和 TaskManager 会公用一个 JVM 来完成 Workload。 - 如果要验证一个简单的应用，Local 模式是最方便的。实际应用中大多使用 Standalone 或者 Yarn Cluster ------------------------------------------------------------------- #### Flink 的 HA ------------------------------------------------------------------- #### Monitoring REST API https://ci.apache.org/projects/flink/flink-docs-stable/monitoring/rest_api.html#monitoring-rest-api ------------------------------------------------------------------- #### 主要核心 API - 官网 API 文档： - DataStream API -- Stream Processing - DataSet API -- Batch Processing - Kafka source - Kafka Connectors - Elasticsearch sink ------------------------------------------------------------------- #### Table & SQL API（关系型 API） Table API：为Java&Scala SDK提供类似于LINQ（语言集成查询）模式的API（自0.9.0版本开始） SQL API：支持标准SQL（自1.1.0版本开始） 关系型API作为一个统一的API层，既能够做到在Batch模式的表上进行可终止地查询并生成有限的结果集，同时也能做到在Streaming模式的表上持续地运行并生产结果流，并且在两种模式的表上的查询具有相同的语法跟语义。这其中最重要的概念是Table，Table与DataSet、DataStream紧密结合，DataSet和DataStream都可以很容易地转换成Table，同样转换回来也很方便。 关系型API架构在基础的DataStream、DataSet API之上，其整体层次关系如下图所示： ![table-sql-level](http://7xkaaz.com1.z0.glb.clouddn.com/table-sql-level.png) ------------------------------------------------------------------- ## 资料 - [新一代大数据处理引擎 Apache Flink](https://www.ibm.com/developerworks/cn/opensource/os-cn-apache-flink/index.html) - [Flink-关系型API简介](http://vinoyang.com/2017/07/06/flink-relation-api-introduction/) - [Flink学习笔记(4):基本概念](https://www.jianshu.com/p/0cd1db4282be) - [Apache Flink：特性、概念、组件栈、架构及原理分析](http://shiyanjun.cn/archives/1508.html) - [Flink 原理与实现：理解 Flink 中的计算资源](http://wuchong.me/blog/2016/05/09/flink-internals-understanding-execution-resources/) - [Flink实战教程](https://liguohua-bigdata.gitbooks.io/simple-flink/content/) ================================================ FILE: markdown-file/Gitlab-Install-And-Settings.md ================================================ # Gitlab 安装和配置 ## Docker Compose 安装方式 - 创建宿主机挂载目录：`mkdir -p /data/docker/gitlab/gitlab /data/docker/gitlab/redis /data/docker/gitlab/postgresql` - 赋权（避免挂载的时候，一些程序需要容器中的用户的特定权限使用）：`chown -R 777 /data/docker/gitlab/gitlab /data/docker/gitlab/redis /data/docker/gitlab/postgresql` - 这里使用 docker-compose 的启动方式，所以需要创建 docker-compose.yml 文件： ```yml gitlab: image: sameersbn/gitlab:10.4.2-1 ports: - "10022:22" - "10080:80" links: - gitlab-redis:redisio - gitlab-postgresql:postgresql environment: - GITLAB_PORT=80 - GITLAB_SSH_PORT=22 - GITLAB_SECRETS_DB_KEY_BASE=long-and-random-alpha-numeric-string - GITLAB_SECRETS_SECRET_KEY_BASE=long-and-random-alpha-numeric-string - GITLAB_SECRETS_OTP_KEY_BASE=long-and-random-alpha-numeric-string volumes: - /data/docker/gitlab/gitlab:/home/git/data restart: always gitlab-redis: image: sameersbn/redis volumes: - /data/docker/gitlab/redis:/var/lib/redis restart: always gitlab-postgresql: image: sameersbn/postgresql:9.6-2 environment: - DB_NAME=gitlabhq_production - DB_USER=gitlab - DB_PASS=password - DB_EXTENSION=pg_trgm volumes: - /data/docker/gitlab/postgresql:/var/lib/postgresql restart: always ``` - 启动：`docker-compose up -d` - 浏览器访问： ## Gitlab 高可用方案（High Availability） - 官网： - 本质就是把文件、缓存、数据库抽离出来，然后部署多个 Gitlab 用 nginx 前面做负载。 ## 原始安装方式（推荐） - 推荐至少内存 4G，它有大量组件 - 有开源版本和收费版本，各版本比较： - 官网： - 中文网： - 官网下载： - 官网安装说明： - 如果上面的下载比较慢，也有国内的镜像： - 清华： - 参考： ``` sudo yum install -y curl policycoreutils-python openssh-server sudo systemctl enable sshd sudo systemctl start sshd curl https://packages.gitlab.com/install/repositories/gitlab/gitlab-ce/script.rpm.sh | sudo bash sudo EXTERNAL_URL="http://192.168.1.123:8181" yum install -y gitlab-ce ``` ## 配置 - 配置域名 / IP - 编辑配置文件：`sudo vim /etc/gitlab/gitlab.rb` - 找到 13 行左右：`external_url 'http://gitlab.example.com'`，改为你的域名 / IP - 刷新配置：`sudo gitlab-ctl reconfigure`，第一次这个时间会比较久，我花了好几分钟 - 启动服务：`sudo gitlab-ctl start` - 停止服务：`sudo gitlab-ctl stop` - 重启服务：`sudo gitlab-ctl restart` - 前面的初始化配置完成之后，访问当前机子 IP：`http://192.168.1.111:80` - 默认用户是 `root`，并且没有密码，所以第一次访问是让你设置你的 root 密码，我设置为：gitlab123456（至少 8 位数） - 设置会初始化密码之后，你就需要登录了。输入设置的密码。 - root 管理员登录之后常用的设置地址（请求地址都是 RESTful 风格很好懂，也应该不会再变了。）： - 用户管理： - 用户组管理： - 项目管理： - 添加 SSH Keys： - 给新创建的用户设置密码： - 新创建的用户，他首次登录会要求他强制修改密码的，这个设定很棒！ - 普通用户登录之后常去的链接： - 配置 SSH Keys： ## 配置 Jenkins 拉取代码权限 - Gitlab 创建一个 Access Token： - 填写任意 Name 字符串 - 勾选：API `Access the authenticated user's API` - 点击：Create personal access token，会生成一个类似格式的字符串：`wt93jQzA8yu5a6pfsk3s`，这个 Jenkinsfile 会用到 - 先访问 Jenkins 插件安装页面，安装下面三个插件： - Gitlab：可能会直接安装不成功，如果不成功根据报错的详细信息可以看到 hpi 文件的下载地址，挂代理下载下来，然后离线安装即可 - Gitlab Hook：用于触发 GitLab 的一些 WebHooks 来构建项目 - Gitlab Authentication 这个插件提供了使用GitLab进行用户认证和授权的方案 - 安装完插件后，访问 Jenkins 这个路径（Jenkins-->Credentials-->System-->Global credentials(unrestricted)-->Add Credentials） - 该路径链接地址： - kind 下拉框选择：`GitLab API token` - token 就填写我们刚刚生成的 access token - ID 填写我们 Gitlab 账号 ## 权限 - 官网帮助文档的权限说明： ### 用户组的权限 - 用户组有这几种权限的概念：`Guest、Reporter、Developer、Master、Owner` - 这个概念在设置用户组的时候会遇到，叫做：`Add user(s) to the group`，比如链接： |行为|Guest|Reporter|Developer|Master|Owner| |---|---|--:|---|---|---| |浏览组|✓|✓|✓|✓|✓| |编辑组| | | | |✓| |创建项目| | | |✓|✓| |管理组成员| | | | |✓| |移除组| | | | |✓| ### 项目组的权限 - 项目组也有这几种权限的概念：`Guest、Reporter、Developer、Master、Owner` - `Guest`：访客 - `Reporter`：报告者; 可以理解为测试员、产品经理等，一般负责提交issue等 - `Developer`：开发者; 负责开发 - `Master`：主人; 一般是组长，负责对Master分支进行维护 - `Owner`：拥有者; 一般是项目经理 - 这个概念在项目设置的时候会遇到，叫做：`Members`，比如我有一个组下的项目链接： |行为|Guest|Reporter|Developer|Master|Owner| |---|---|--:|---|---|---| |创建issue|✓|✓|✓|✓|✓| |留言评论|✓|✓|✓|✓|✓| |更新代码| |✓|✓|✓|✓| |下载工程| |✓|✓|✓|✓| |创建代码片段| |✓|✓|✓|✓| |创建合并请求| | |✓|✓|✓| |创建新分支| | |✓|✓|✓| |提交代码到非保护分支| | |✓|✓|✓| |强制提交到非保护分支| | |✓|✓|✓| |移除非保护分支| | |✓|✓|✓| |添加tag| | |✓|✓|✓| |创建wiki| | |✓|✓|✓| |管理issue处理者| | |✓|✓|✓| |管理labels| | |✓|✓|✓| |创建里程碑| | | |✓|✓| |添加项目成员| | | |✓|✓| |提交保护分支| | | |✓|✓| |使能分支保护| | | |✓|✓| |修改/移除tag| | | |✓|✓| |编辑工程| | | |✓|✓| |添加deploy keys| | | |✓|✓| |配置hooks| | | |✓|✓| |切换visibility level| | | | |✓| |切换工程namespace| | | | |✓| |移除工程| | | | |✓| |强制提交保护分支| | | | |✓| |移除保护分支| | | | |✓| ### 批量从一个项目中的成员转移到另外一个项目 - 项目的设置地址： - 有一个 Import 按钮，跳转到： ### 限定哪些分支可以提交、可以 merge - 也是在项目设置里面： - 设置 CI （持续集成） 的 key 也是在这个地址上设置。 ## Gitlab 的其他功能使用 #### 创建用户 - 地址： - 创建用户是没有填写密码的地方，默认是创建后会发送邮件给用户进行首次使用的密码设置。但是，有时候没必要这样，你可以创建好用户之后，编辑该用户就可以强制设置密码了（即使你设置了，第一次用户使用还是要让你修改密码...真是严苛） #### 创建群组 - 地址： - 群组主要有三种 Visibility Level： - Private（私有，内部成员才能看到），The group and its projects can only be viewed by members. - Internal（内部，只要能登录 Gitlab 就可以看到），The group and any internal projects can be viewed by any logged in user. - Public（所有人都可以看到），The group and any public projects can be viewed without any authentication. #### 创建项目 - 地址： #### 增加 SSH keys - 地址： - 官网指导： - 新增 SSH keys：`ssh-keygen -t rsa -C "gitnavi@qq.com" -b 4096` - linux 读取 SSH keys 值：`cat ~/.ssh/id_rsa.pub`，复制到 gitlab 配置页面 ## 使用 Gitlab 的一个开发流程 - Git flow - Git flow：我是翻译成：Git 开发流程建议（不是规范，适合大点的团队），也有一个插件叫做这个，本质是用插件来帮你引导做规范的流程管理。 - 这几篇文章很好，不多说了： - 比较起源的一个说明（英文）： - Git-flow 插件也是他开发的，插件地址： - Git-flow 插件的一些相关资料： - - - - - - ## 接入第三方登录 - 官网文档： - - - - gitlab 自己本身维护一套用户系统，第三方认证服务一套用户系统，gitlab 可以将两者关联起来，然后用户可以选择其中一种方式进行登录而已。 - 所以，gitlab 第三方认证只能用于网页登录，clone 时仍然使用用户在 gitlab 的账户密码，推荐使用 ssh-key 来操作仓库，不再使用账户密码。 - 重要参数：block_auto_created_users=true 的时候则自动注册的账户是被锁定的，需要管理员账户手动的为这些账户解锁，可以改为 false - 编辑配置文件引入第三方：`sudo vim /etc/gitlab/gitlab.rb`，在 309 行有默认的一些注释配置 - 其中 oauth2_generic 模块默认是没有，需要自己 gem，其他主流的那些都自带，配置即可使用。 ``` gitlab_rails['omniauth_enabled'] = true gitlab_rails['omniauth_allow_single_sign_on'] = ['google_oauth2', 'facebook', 'twitter', 'oauth2_generic'] gitlab_rails['omniauth_block_auto_created_users'] = false gitlab_rails['omniauth_sync_profile_attributes'] = ['email','username'] gitlab_rails['omniauth_external_providers'] = ['google_oauth2', 'facebook', 'twitter', 'oauth2_generic'] gitlab_rails['omniauth_providers'] = [ { "name"=> "google_oauth2", "label"=> "Google", "app_id"=> "123456", "app_secret"=> "123456", "args"=> { "access_type"=> 'offline', "approval_prompt"=> '123456' } }, { "name"=> "facebook", "label"=> "facebook", "app_id"=> "123456", "app_secret"=> "123456" }, { "name"=> "twitter", "label"=> "twitter", "app_id"=> "123456", "app_secret"=> "123456" }, { "name" => "oauth2_generic", "app_id" => "123456", "app_secret" => "123456", "args" => { client_options: { "site" => "http://sso.cdk8s.com:9090/sso", "user_info_url" => "/oauth/userinfo" }, user_response_structure: { root_path: ["user_attribute"], attributes: { "nickname": "username" } } } } ] ``` ## 资料 - - - - - ================================================ FILE: markdown-file/Glances-Install-And-Settings.md ================================================ # Glances 安装和配置 ## Glances 介绍 - 相对 top、htop，它比较重，因此内容也比较多。小机子一般不建议安装。大机子一般也不建议一直开着。 - 官网： - 官网 Github： - 官网文档： - 当前（201810）最新版本为 3.0.2 ## Glances Linux 安装 - `curl -L https://bit.ly/glances | /bin/bash` - 需要 5 ~ 10 分钟左右。 ## 用法 #### 本地监控 - 进入实时监控面板（默认 3 秒一次指标）：`glances` - 每间隔 5 秒获取一次指标：`glances -t 5` - 在控制面板中可以按快捷键进行排序、筛选 ``` m : 按内存占用排序进程 p : 按进程名称排序进程 c : 按 CPU 占用率排序进程 i : 按 I/O 频率排序进程 a : 自动排序进程 d : 显示/隐藏磁盘 I/O 统计信息 f : 显示/隐藏文件系统统计信息 s : 显示/隐藏传感器统计信息 y : 显示/隐藏硬盘温度统计信息 l : 显示/隐藏日志 n : 显示/隐藏网络统计信息 x : 删除警告和严重日志 h : 显示/隐藏帮助界面 q : 退出 w : 删除警告记录 ``` #### 监控远程机子 - 这里面的检控方和被监控的概念要弄清楚 - 作为服务端的机子运行（也就是被监控方）：`glances -s` - 假设它的 IP 为：192.168.1.44 - 必需打开 61209 端口 - 作为客户端的机子运行（要查看被检控方的数据）：`glances -c 192.168.1.44` - 这时候控制台输出的内容是被监控机子的数据 ## 导出数据 - 个人测试没效果，后续再看下吧。 - 官网文档： - 导出 CSV：`glances --export-csv /tmp/glances.csv` - 导出 JSON：`glances --export-json /tmp/glances.json` ## 资料 - - - - - - ================================================ FILE: markdown-file/GoAccess-Install-And-Settings.md ================================================ # GoAccess 安装和配置 ## 官网资料 - 一般用于 Apache, Nginx 的 Log 分析 - 官网： - 官网下载（201807 最新版本 1.2）： - 官网 Github： - 国内中文站： ## 安装（CentOS 7.4） - 注意，如果是在 CentOS 6 下安装会碰到一些问题，可以参考： - 1. 安装依赖包 ``` yum install -y ncurses-devel wget http://geolite.maxmind.com/download/geoip/api/c/GeoIP.tar.gz tar -zxvf GeoIP.tar.gz cd GeoIP-1.4.8/ ./configure make && make install ``` - 2. 安装 GoAccess ``` wget http://tar.goaccess.io/goaccess-1.2.tar.gz tar -xzvf goaccess-1.2.tar.gz cd goaccess-1.2/ ./configure --enable-utf8 --enable-geoip=legacy make && make install ``` ## 配置 - 假设你 nginx 安装在：`/usr/local/nginx` - 假设你 nginx 的 log 输出到：`/var/log/nginx` - 修改 `vim /usr/local/nginx/conf/nginx.conf` 指定 nginx 的日志格式 ``` http { charset utf8; log_format main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for" "$request_time"'; access_log /var/log/nginx/access.log main; error_log /var/log/nginx/error.log; } ``` - 停止 nginx：`/usr/local/nginx/sbin/nginx -s stop` - 备份旧的 nginx log 文件：`mv /var/log/nginx/access.log /var/log/nginx/access.log.20180702back` - 启动 nginx：`/usr/local/nginx/sbin/nginx` - 创建 GoAccess 配置文件：`vim /etc/goaccess_log_conf_nginx.conf` ``` time-format %T date-format %d/%b/%Y log_format %h - %^ [%d:%t %^] "%r" %s %b "%R" "%u" "%^" %^ %^ %^ %T ``` ## 使用 #### 在终端上展示数据 ``` goaccess -a -d -f /var/log/nginx/access.log -p /etc/goaccess_log_conf_nginx.conf ``` #### 手动生成当前统计页面 ``` goaccess -f /var/log/nginx/access.log -p /etc/goaccess_log_conf_nginx.conf -o /usr/local/nginx/report/index.html ``` - 更多参数用法： ``` 时间分布图上：按小时展示数据： goaccess -f /var/log/nginx/access.log -p /etc/goaccess_log_conf_nginx.conf -o /usr/local/nginx/report/index.html --ignore-crawlers --hour-spec=min 时间分布图上：按分钟展示数据： goaccess -f /var/log/nginx/access.log -p /etc/goaccess_log_conf_nginx.conf -o /usr/local/nginx/report/index.html --ignore-crawlers --hour-spec=hour 不显示指定的面板 goaccess -f /var/log/nginx/access.log -p /etc/goaccess_log_conf_nginx.conf -o /usr/local/nginx/report/index.html --ignore-crawlers --hour-spec=min \ --ignore-panel=VISITORS \ --ignore-panel=REQUESTS \ --ignore-panel=REQUESTS_STATIC \ --ignore-panel=NOT_FOUND \ --ignore-panel=HOSTS \ --ignore-panel=OS \ --ignore-panel=BROWSERS \ --ignore-panel=VIRTUAL_HOSTS \ --ignore-panel=REFERRERS \ --ignore-panel=REFERRING_SITES \ --ignore-panel=KEYPHRASES \ --ignore-panel=STATUS_CODES \ --ignore-panel=REMOTE_USER \ --ignore-panel=GEO_LOCATION 我一般只留下几个面板（排除掉不想看的面板，因为使用 --enable-panel 参数无法达到这个目的） goaccess -f /var/log/nginx/access.log -p /etc/goaccess_log_conf_nginx.conf -o /usr/local/nginx/report/index.html --ignore-crawlers --hour-spec=min \ --ignore-panel=VISITORS \ --ignore-panel=REQUESTS_STATIC \ --ignore-panel=NOT_FOUND \ --ignore-panel=OS \ --ignore-panel=VIRTUAL_HOSTS \ --ignore-panel=REFERRERS \ --ignore-panel=KEYPHRASES \ --ignore-panel=REMOTE_USER \ --ignore-panel=GEO_LOCATION ``` #### 方便执行命令创建脚本 - `vim goaccess_report_by_min.sh` ``` goaccess -f /var/log/nginx/access.log -p /etc/goaccess_log_conf_nginx.conf -o /usr/local/nginx/report/index.html --ignore-crawlers --hour-spec=min \ --ignore-panel=VISITORS \ --ignore-panel=REQUESTS_STATIC \ --ignore-panel=NOT_FOUND \ --ignore-panel=OS \ --ignore-panel=VIRTUAL_HOSTS \ --ignore-panel=REFERRERS \ --ignore-panel=KEYPHRASES \ --ignore-panel=REMOTE_USER \ --ignore-panel=GEO_LOCATION ``` - `vim goaccess_report_by_hour.sh` ``` goaccess -f /var/log/nginx/access.log -p /etc/goaccess_log_conf_nginx.conf -o /usr/local/nginx/report/index.html --ignore-crawlers --hour-spec=hour \ --ignore-panel=VISITORS \ --ignore-panel=REQUESTS_STATIC \ --ignore-panel=NOT_FOUND \ --ignore-panel=OS \ --ignore-panel=VIRTUAL_HOSTS \ --ignore-panel=REFERRERS \ --ignore-panel=KEYPHRASES \ --ignore-panel=REMOTE_USER \ --ignore-panel=GEO_LOCATION ``` #### 实时生成统计页面 - 我个人看法是：一般没必要浪费这个性能，需要的时候执行下脚本就行了。 - 官网文档：，查询关键字：**REAL TIME HTML OUTPUT** ``` goaccess -f /var/log/nginx/access.log -p /etc/goaccess_log_conf_nginx.conf -o /usr/local/nginx/report/index.html --real-time-html --daemonize ``` ## 资料 - - ================================================ FILE: markdown-file/Grafana-Install-And-Settings.md ================================================ # Grafana 安装和配置 ## 对于版本 - [支持的 Elasticsearch 版本](http://docs.grafana.org/features/datasources/elasticsearch/#elasticsearch-version) ## Grafana Docker 安装 - 官网： ``` mkdir -p /data/docker/grafana/data chmod 777 -R /data/docker/grafana/data docker run -d --name grafana -p 3000:3000 -v /data/docker/grafana/data:/var/lib/grafana grafana/grafana docker exec -it grafana /bin/bash 容器中默认的配置文件位置：/etc/grafana/grafana.ini 复制出配置文件到宿主机：docker cp grafana:/etc/grafana/grafana.ini /Users/gitnavi/ ``` - - 默认管理账号；admin，密码：admin，第一次登录后需要修改密码，也可以通过配置文件修改 ``` [security] admin_user = admin admin_password = admin ``` ---------------------------------------------------------------------------------------------- ## Grafana 安装 - CentOS 7.4 - rpm 文件包大小 53M - 所需内存：300M 左右 - 官网下载： - 官网指导： ``` sudo yum install -y initscripts fontconfig urw-fonts wget https://dl.grafana.com/oss/release/grafana-5.4.0-1.x86_64.rpm sudo yum localinstall -y grafana-5.4.0-1.x86_64.rpm ``` - 启动 Grafana 服务（默认是不启动的） ``` sudo systemctl start grafana-server sudo systemctl status grafana-server ``` - 将 Grafana 服务设置为开机启动：`sudo systemctl enable grafana-server` - 开放端口：`firewall-cmd --add-port=3000/tcp --permanent` - 重新加载防火墙配置：`firewall-cmd --reload` - 访问： - 默认管理账号；admin，密码：admin，登录后需要修改密码 ---------------------------------------------------------------------------------------------- ## 配置 - 官网指导： - 安装包默认安装后的一些路径 - 二进制文件：`/usr/sbin/grafana-server` - init.d 脚本：`/etc/init.d/grafana-server` - 配置文件：`/etc/grafana/grafana.ini` - 日志文件：`/var/log/grafana/grafana.log` - 插件目录是：`/var/lib/grafana/plugins` - 默认配置的 sqlite3 数据库：`/var/lib/grafana/grafana.db` - 最重要的配置文件：`vim /etc/grafana/grafana.ini` - 可以修改用户名和密码 - 端口 - 数据路径 - 数据库配置 - 第三方认证 - Session 有效期 - 添加数据源： - 添加组织： - 添加用户： - 添加插件： - 个性化设置： - 软件变量： ## 官网 dashboard - dashboar仓库地址： - 本地可以通过输入 dashboard id 导入别人模板 - 打开： - 输入对应的 id，点击 Load 即可 ---------------------------------------------------------------------------------------------- ## 数据源 #### Elasticsearch 使用： - - - <> - <> - <> - <> ---------------------------------------------------------------------------------------------- ## 其他资料 - - <> - <> - <> - <> - <> - <> - <> - <> - <> ================================================ FILE: markdown-file/Hadoop-Install-And-Settings.md ================================================ # Hadoop 安装和配置 ## Hadoop 说明 - Hadoop 官网： - Hadoop 官网下载： ## 基础环境 - 学习机器 2C4G（生产最少 8G）： - 172.16.0.17 - 172.16.0.43 - 172.16.0.180 - 操作系统：CentOS 7.5 - root 用户 - 所有机子必备：Java：1.8 - 确保：`echo $JAVA_HOME` 能查看到路径，并记下来路径 - Hadoop:2.6.5 - 关闭所有机子的防火墙：`systemctl stop firewalld.service` ## 集群环境设置 - Hadoop 集群具体来说包含两个集群：HDFS 集群和 YARN 集群，两者逻辑上分离，但物理上常在一起 - HDFS 集群：负责海量数据的存储，集群中的角色主要有 NameNode / DataNode - YARN 集群：负责海量数据运算时的资源调度，集群中的角色主要有 ResourceManager /NodeManager - HDFS 采用 master/worker 架构。一个 HDFS 集群是由一个 Namenode 和一定数目的 Datanodes 组成。Namenode 是一个中心服务器，负责管理文件系统的命名空间 (namespace) 以及客户端对文件的访问。集群中的 Datanode 一般是一个节点一个，负责管理它所在节点上的存储。 - 分别给三台机子设置 hostname ``` hostnamectl --static set-hostname linux01 hostnamectl --static set-hostname linux02 hostnamectl --static set-hostname linux03 ``` - 修改 hosts ``` 就按这个来，其他多余的别加，不然可能也会有影响 vim /etc/hosts 172.16.0.17 linux01 172.16.0.43 linux02 172.16.0.180 linux03 ``` - 对 linux01 设置免密： ``` 生产密钥对 ssh-keygen -t rsa 公钥内容写入 authorized_keys cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 测试： ssh localhost ``` - 将公钥复制到两台 slave - 如果你是采用 pem 登录的，可以看这个：[SSH 免密登录](SSH-login-without-password.md) ``` ssh-copy-id -i ~/.ssh/id_rsa.pub -p 22 root@172.16.0.43，根据提示输入 linux02 机器的 root 密码，成功会有相应提示 ssh-copy-id -i ~/.ssh/id_rsa.pub -p 22 root@172.16.0.180，根据提示输入 linux03 机器的 root 密码，成功会有相应提示 在 linux01 上测试： ssh linux02 ssh linux03 ``` ## Hadoop 安装 - 关于版本这件事，主要看你的技术生态圈。如果你的其他技术，比如 Spark，Flink 等不支持最新版，则就只能向下考虑。 - 我这里技术栈，目前只能到：2.6.5，所以下面的内容都是基于 2.6.5 版本 - 官网说明： - 分别在三台机子上都创建目录： ``` mkdir -p /data/hadoop/hdfs/name /data/hadoop/hdfs/data /data/hadoop/hdfs/tmp ``` - 下载 Hadoop： - 现在 linux01 机子上安装 ``` cd /usr/local && wget http://apache.claz.org/hadoop/common/hadoop-2.6.5/hadoop-2.6.5.tar.gz tar zxvf hadoop-2.6.5.tar.gz，有 191M 左右 ``` - **给三台机子都先设置 HADOOP_HOME** - 会 ansible playbook 会方便点：[Ansible 安装和配置](Ansible-Install-And-Settings.md) ``` vim /etc/profile export HADOOP_HOME=/usr/local/hadoop-2.6.5 export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin source /etc/profile ``` ## 修改 linux01 配置 ``` 修改 JAVA_HOME vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh 把 25 行的 export JAVA_HOME=${JAVA_HOME} 都改为 export JAVA_HOME=/usr/local/jdk1.8.0_191 vim $HADOOP_HOME/etc/hadoop/yarn-env.sh 文件开头加一行 export JAVA_HOME=/usr/local/jdk1.8.0_191 ``` - hadoop.tmp.dir == 指定hadoop运行时产生文件的存储目录 ``` vim $HADOOP_HOME/etc/hadoop/core-site.xml，改为： hadoop.tmp.dir file:/data/hadoop/hdfs/tmp io.file.buffer.size 131072 fs.defaultFS hdfs://linux01:9000 hadoop.proxyuser.root.hosts * hadoop.proxyuser.root.groups * ``` - 配置包括副本数量 - 最大值是 datanode 的个数 - 数据存放目录 ``` vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml dfs.replication 2 dfs.namenode.name.dir file:/data/hadoop/hdfs/name true dfs.datanode.data.dir file:/data/hadoop/hdfs/data true dfs.webhdfs.enabled true dfs.permissions false ``` - 设置 YARN ``` 新创建：vim $HADOOP_HOME/etc/hadoop/mapred-site.xml mapreduce.framework.name yarn mapreduce.map.memory.mb 4096 mapreduce.reduce.memory.mb 8192 mapreduce.map.java.opts -Xmx3072m mapreduce.reduce.java.opts -Xmx6144m ``` - yarn.resourcemanager.hostname == 指定YARN的老大（ResourceManager）的地址 - yarn.nodemanager.aux-services == NodeManager上运行的附属服务。需配置成mapreduce_shuffle，才可运行MapReduce程序默认值："" - 32G 内存的情况下配置： ``` vim $HADOOP_HOME/etc/hadoop/yarn-site.xml yarn.resourcemanager.hostname linux01 yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.vmem-pmem-ratio 2.1 yarn.nodemanager.resource.memory-mb 20480 yarn.scheduler.minimum-allocation-mb 2048 ``` - 配置 slave 相关信息 ``` vim $HADOOP_HOME/etc/hadoop/slaves 把默认的配置里面的 localhost 删除，换成： linux02 linux03 ``` ``` scp -r /usr/local/hadoop-2.6.5 root@linux02:/usr/local/ scp -r /usr/local/hadoop-2.6.5 root@linux03:/usr/local/ ``` ## linux01 机子运行 ``` 格式化 HDFS hdfs namenode -format ``` - 输出结果： ``` [root@linux01 hadoop-2.6.5]# hdfs namenode -format 18/12/17 17:47:17 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ STARTUP_MSG: Starting NameNode STARTUP_MSG: host = localhost/127.0.0.1 STARTUP_MSG: args = [-format] STARTUP_MSG: version = 2.6.5 STARTUP_MSG: classpath = /usr/local/hadoop-2.6.5/etc/hadoop:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/apacheds-kerberos-codec-2.0.0-M15.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-io-2.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/activation-1.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/netty-3.6.2.Final.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jackson-mapper-asl-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/slf4j-api-1.7.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/junit-4.11.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/curator-recipes-2.6.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jasper-compiler-5.5.23.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jets3t-0.9.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-lang-2.6.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-digester-1.8.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jackson-core-asl-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/apacheds-i18n-2.0.0-M15.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/guava-11.0.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/gson-2.2.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jackson-jaxrs-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jettison-1.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jetty-6.1.26.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/api-util-1.0.0-M20.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/log4j-1.2.17.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-beanutils-core-1.8.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-httpclient-3.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-el-1.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/paranamer-2.3.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/slf4j-log4j12-1.7.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-collections-3.2.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jersey-server-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-net-3.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/hadoop-auth-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jasper-runtime-5.5.23.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jaxb-impl-2.2.3-1.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/hamcrest-core-1.3.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/stax-api-1.0-2.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-beanutils-1.7.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/protobuf-java-2.5.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/curator-framework-2.6.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/xz-1.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jsr305-1.3.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jsp-api-2.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-compress-1.4.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/asm-3.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jsch-0.1.42.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-configuration-1.6.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-cli-1.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jackson-xc-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-logging-1.1.3.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/htrace-core-3.0.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jetty-util-6.1.26.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-math3-3.1.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/mockito-all-1.8.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jersey-json-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/zookeeper-3.4.6.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/httpclient-4.2.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/servlet-api-2.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/xmlenc-0.52.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/httpcore-4.2.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/api-asn1-api-1.0.0-M20.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/java-xmlbuilder-0.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/avro-1.7.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jaxb-api-2.2.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/commons-codec-1.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/jersey-core-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/snappy-java-1.0.4.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/curator-client-2.6.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/lib/hadoop-annotations-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/hadoop-common-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/hadoop-common-2.6.5-tests.jar:/usr/local/hadoop-2.6.5/share/hadoop/common/hadoop-nfs-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-io-2.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/netty-3.6.2.Final.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/jackson-mapper-asl-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-lang-2.6.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-daemon-1.0.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/jackson-core-asl-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/guava-11.0.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/jetty-6.1.26.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/log4j-1.2.17.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-el-1.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/xercesImpl-2.9.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/jersey-server-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/jasper-runtime-5.5.23.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/protobuf-java-2.5.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/jsr305-1.3.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/xml-apis-1.3.04.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/jsp-api-2.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/asm-3.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-cli-1.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-logging-1.1.3.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/htrace-core-3.0.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/jetty-util-6.1.26.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/servlet-api-2.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/xmlenc-0.52.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/commons-codec-1.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/lib/jersey-core-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/hadoop-hdfs-2.6.5-tests.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/hadoop-hdfs-nfs-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/hdfs/hadoop-hdfs-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/commons-io-2.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/activation-1.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/aopalliance-1.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/netty-3.6.2.Final.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jackson-mapper-asl-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/commons-lang-2.6.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jackson-core-asl-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/guice-3.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/guava-11.0.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jackson-jaxrs-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jettison-1.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jetty-6.1.26.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/log4j-1.2.17.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/commons-httpclient-3.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/commons-collections-3.2.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-server-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jaxb-impl-2.2.3-1.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/stax-api-1.0-2.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/protobuf-java-2.5.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/xz-1.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jsr305-1.3.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-client-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/guice-servlet-3.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/commons-compress-1.4.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/asm-3.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/commons-cli-1.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-guice-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jackson-xc-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/commons-logging-1.1.3.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jetty-util-6.1.26.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/leveldbjni-all-1.8.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-json-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/javax.inject-1.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/zookeeper-3.4.6.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/servlet-api-2.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jaxb-api-2.2.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jline-0.9.94.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/commons-codec-1.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/lib/jersey-core-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-web-proxy-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-api-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-common-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-registry-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-nodemanager-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-client-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-common-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-applications-unmanaged-am-launcher-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-tests-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-resourcemanager-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-server-applicationhistoryservice-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/yarn/hadoop-yarn-applications-distributedshell-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/commons-io-2.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/aopalliance-1.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/netty-3.6.2.Final.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/jackson-mapper-asl-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/junit-4.11.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/jackson-core-asl-1.9.13.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/guice-3.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/log4j-1.2.17.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/paranamer-2.3.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/jersey-server-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/hamcrest-core-1.3.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/protobuf-java-2.5.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/xz-1.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/guice-servlet-3.0.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/commons-compress-1.4.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/asm-3.2.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/jersey-guice-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/leveldbjni-all-1.8.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/javax.inject-1.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/avro-1.7.4.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/jersey-core-1.9.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/snappy-java-1.0.4.1.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/lib/hadoop-annotations-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-app-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-common-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-shuffle-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-core-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-hs-plugins-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar:/usr/local/hadoop-2.6.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.6.5-tests.jar:/usr/local/hadoop-2.6.5/contrib/capacity-scheduler/*.jar STARTUP_MSG: build = https://github.com/apache/hadoop.git -r e8c9fe0b4c252caf2ebf1464220599650f119997; compiled by 'sjlee' on 2016-10-02T23:43Z STARTUP_MSG: java = 1.8.0_191 ************************************************************/ 18/12/17 17:47:17 INFO namenode.NameNode: registered UNIX signal handlers for [TERM, HUP, INT] 18/12/17 17:47:17 INFO namenode.NameNode: createNameNode [-format] Formatting using clusterid: CID-beba43b4-0881-48b4-8eda-5c3bca046398 18/12/17 17:47:17 INFO namenode.FSNamesystem: No KeyProvider found. 18/12/17 17:47:17 INFO namenode.FSNamesystem: fsLock is fair:true 18/12/17 17:47:17 INFO blockmanagement.DatanodeManager: dfs.block.invalidate.limit=1000 18/12/17 17:47:17 INFO blockmanagement.DatanodeManager: dfs.namenode.datanode.registration.ip-hostname-check=true 18/12/17 17:47:17 INFO blockmanagement.BlockManager: dfs.namenode.startup.delay.block.deletion.sec is set to 000:00:00:00.000 18/12/17 17:47:17 INFO blockmanagement.BlockManager: The block deletion will start around 2018 Dec 17 17:47:17 18/12/17 17:47:17 INFO util.GSet: Computing capacity for map BlocksMap 18/12/17 17:47:17 INFO util.GSet: VM type = 64-bit 18/12/17 17:47:17 INFO util.GSet: 2.0% max memory 889 MB = 17.8 MB 18/12/17 17:47:17 INFO util.GSet: capacity = 2^21 = 2097152 entries 18/12/17 17:47:17 INFO blockmanagement.BlockManager: dfs.block.access.token.enable=false 18/12/17 17:47:17 INFO blockmanagement.BlockManager: defaultReplication = 2 18/12/17 17:47:17 INFO blockmanagement.BlockManager: maxReplication = 512 18/12/17 17:47:17 INFO blockmanagement.BlockManager: minReplication = 1 18/12/17 17:47:17 INFO blockmanagement.BlockManager: maxReplicationStreams = 2 18/12/17 17:47:17 INFO blockmanagement.BlockManager: replicationRecheckInterval = 3000 18/12/17 17:47:17 INFO blockmanagement.BlockManager: encryptDataTransfer = false 18/12/17 17:47:17 INFO blockmanagement.BlockManager: maxNumBlocksToLog = 1000 18/12/17 17:47:17 INFO namenode.FSNamesystem: fsOwner = root (auth:SIMPLE) 18/12/17 17:47:17 INFO namenode.FSNamesystem: supergroup = supergroup 18/12/17 17:47:17 INFO namenode.FSNamesystem: isPermissionEnabled = false 18/12/17 17:47:17 INFO namenode.FSNamesystem: HA Enabled: false 18/12/17 17:47:17 INFO namenode.FSNamesystem: Append Enabled: true 18/12/17 17:47:17 INFO util.GSet: Computing capacity for map INodeMap 18/12/17 17:47:17 INFO util.GSet: VM type = 64-bit 18/12/17 17:47:17 INFO util.GSet: 1.0% max memory 889 MB = 8.9 MB 18/12/17 17:47:17 INFO util.GSet: capacity = 2^20 = 1048576 entries 18/12/17 17:47:17 INFO namenode.NameNode: Caching file names occuring more than 10 times 18/12/17 17:47:17 INFO util.GSet: Computing capacity for map cachedBlocks 18/12/17 17:47:17 INFO util.GSet: VM type = 64-bit 18/12/17 17:47:17 INFO util.GSet: 0.25% max memory 889 MB = 2.2 MB 18/12/17 17:47:17 INFO util.GSet: capacity = 2^18 = 262144 entries 18/12/17 17:47:17 INFO namenode.FSNamesystem: dfs.namenode.safemode.threshold-pct = 0.9990000128746033 18/12/17 17:47:17 INFO namenode.FSNamesystem: dfs.namenode.safemode.min.datanodes = 0 18/12/17 17:47:17 INFO namenode.FSNamesystem: dfs.namenode.safemode.extension = 30000 18/12/17 17:47:17 INFO namenode.FSNamesystem: Retry cache on namenode is enabled 18/12/17 17:47:17 INFO namenode.FSNamesystem: Retry cache will use 0.03 of total heap and retry cache entry expiry time is 600000 millis 18/12/17 17:47:17 INFO util.GSet: Computing capacity for map NameNodeRetryCache 18/12/17 17:47:17 INFO util.GSet: VM type = 64-bit 18/12/17 17:47:17 INFO util.GSet: 0.029999999329447746% max memory 889 MB = 273.1 KB 18/12/17 17:47:17 INFO util.GSet: capacity = 2^15 = 32768 entries 18/12/17 17:47:17 INFO namenode.NNConf: ACLs enabled? false 18/12/17 17:47:17 INFO namenode.NNConf: XAttrs enabled? true 18/12/17 17:47:17 INFO namenode.NNConf: Maximum size of an xattr: 16384 18/12/17 17:47:17 INFO namenode.FSImage: Allocated new BlockPoolId: BP-233285725-127.0.0.1-1545040037972 18/12/17 17:47:18 INFO common.Storage: Storage directory /data/hadoop/hdfs/name has been successfully formatted. 18/12/17 17:47:18 INFO namenode.FSImageFormatProtobuf: Saving image file /data/hadoop/hdfs/name/current/fsimage.ckpt_0000000000000000000 using no compression 18/12/17 17:47:18 INFO namenode.FSImageFormatProtobuf: Image file /data/hadoop/hdfs/name/current/fsimage.ckpt_0000000000000000000 of size 321 bytes saved in 0 seconds. 18/12/17 17:47:18 INFO namenode.NNStorageRetentionManager: Going to retain 1 images with txid >= 0 18/12/17 17:47:18 INFO util.ExitUtil: Exiting with status 0 18/12/17 17:47:18 INFO namenode.NameNode: SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at localhost/127.0.0.1 ************************************************************/ ``` ## HDFS 启动 - 启动：start-dfs.sh，根据提示一路 yes ``` 这个命令效果： 主节点会启动任务：NameNode 和 SecondaryNameNode 从节点会启动任务：DataNode 主节点查看：jps，可以看到： 21922 Jps 21603 NameNode 21787 SecondaryNameNode 从节点查看：jps 可以看到： 19728 DataNode 19819 Jps ``` - 查看运行更多情况：`hdfs dfsadmin -report` ``` Configured Capacity: 0 (0 B) Present Capacity: 0 (0 B) DFS Remaining: 0 (0 B) DFS Used: 0 (0 B) DFS Used%: NaN% Under replicated blocks: 0 Blocks with corrupt replicas: 0 Missing blocks: 0 ``` - 如果需要停止：`stop-dfs.sh` - 查看 log：`cd $HADOOP_HOME/logs` ## YARN 运行 ``` start-yarn.sh 然后 jps 你会看到一个：ResourceManager 从节点你会看到：NodeManager 停止：stop-yarn.sh ``` ## 端口情况 - 主节点当前运行的所有端口：`netstat -tpnl | grep java` - 会用到端口（为了方便展示，整理下顺序）： ``` tcp 0 0 172.16.0.17:9000 0.0.0.0:* LISTEN 22932/java >> NameNode tcp 0 0 0.0.0.0:50070 0.0.0.0:* LISTEN 22932/java >> NameNode tcp 0 0 0.0.0.0:50090 0.0.0.0:* LISTEN 23125/java >> SecondaryNameNode tcp6 0 0 172.16.0.17:8030 :::* LISTEN 23462/java >> ResourceManager tcp6 0 0 172.16.0.17:8031 :::* LISTEN 23462/java >> ResourceManager tcp6 0 0 172.16.0.17:8032 :::* LISTEN 23462/java >> ResourceManager tcp6 0 0 172.16.0.17:8033 :::* LISTEN 23462/java >> ResourceManager tcp6 0 0 172.16.0.17:8088 :::* LISTEN 23462/java >> ResourceManager ``` - 从节点当前运行的所有端口：`netstat -tpnl | grep java` - 会用到端口（为了方便展示，整理下顺序）： ``` tcp 0 0 0.0.0.0:50010 0.0.0.0:* LISTEN 14545/java >> DataNode tcp 0 0 0.0.0.0:50020 0.0.0.0:* LISTEN 14545/java >> DataNode tcp 0 0 0.0.0.0:50075 0.0.0.0:* LISTEN 14545/java >> DataNode tcp6 0 0 :::8040 :::* LISTEN 14698/java >> NodeManager tcp6 0 0 :::8042 :::* LISTEN 14698/java >> NodeManager tcp6 0 0 :::13562 :::* LISTEN 14698/java >> NodeManager tcp6 0 0 :::37481 :::* LISTEN 14698/java >> NodeManager ``` ------------------------------------------------------------------- ## 管理界面 - 查看 HDFS NameNode 管理界面： - 访问 YARN ResourceManager 管理界面： - 访问 NodeManager-1 管理界面： - 访问 NodeManager-2 管理界面： ------------------------------------------------------------------- ## 运行作业 - 在主节点上操作 - 运行一个 Mapreduce 作业试试： - 计算 π：`hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar pi 5 10` - 运行一个文件相关作业： - 由于运行 hadoop 时指定的输入文件只能是 HDFS 文件系统中的文件，所以我们必须将要进行 wordcount 的文件从本地文件系统拷贝到 HDFS 文件系统中。 - 查看目前根目录结构：`hadoop fs -ls /` - 查看目前根目录结构，另外写法：`hadoop fs -ls hdfs://linux-05:9000/` - 或者列出目录以及下面的文件：`hadoop fs -ls -R /` - 更多命令可以看：[hadoop HDFS常用文件操作命令](https://segmentfault.com/a/1190000002672666) - 创建目录：`hadoop fs -mkdir -p /tmp/zch/wordcount_input_dir` - 上传文件：`hadoop fs -put /opt/input.txt /tmp/zch/wordcount_input_dir` - 查看上传的目录下是否有文件：`hadoop fs -ls /tmp/zch/wordcount_input_dir` - 向 yarn 提交作业，计算单词个数：`hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.5.jar wordcount /tmp/zch/wordcount_input_dir /tmp/zch/wordcount_output_dir` - 查看计算结果输出的目录：`hadoop fs -ls /tmp/zch/wordcount_output_dir` - 查看计算结果输出内容：`hadoop fs -cat /tmp/zch/wordcount_output_dir/part-r-00000` - 查看正在运行的 Hadoop 任务：`yarn application -list` - 关闭 Hadoop 任务进程：`yarn application -kill 你的ApplicationId` ------------------------------------------------------------------- ## 资料 - [如何正确的为 MapReduce 配置内存分配](http://loupipalien.com/2018/03/how-to-properly-configure-the-memory-allocations-for-mapreduce/) - - - - ================================================ FILE: markdown-file/Harbor-Install-And-Usage.md ================================================ # Harbor 安装和配置 ## 环境说明 - CentOS 7.4 - IP：`192.168.0.105` - 需要访问的机子 hosts 需要映射（如果绑定真实域名就不需要这一步了）：`192.168.0.105 harbor.gitnavi.com` - 直接用 IP 也是可以的，只是不用起来不美观 ## 官方文档 - 安装指导： - 从中我们可以知道需要：[Docker、Docker Compose 环境](./Docker-Install-And-Usage.md) - 硬件最低要求：2C + 4GB（推荐 8GB） - 官网有推荐配置说明：[hardware](https://github.com/goharbor/harbor/blob/master/docs/installation_guide.md#hardware) - 下载： - 当前（201806）最新版本：**v1.5.1** - 当前（201810）最新版本：**v1.5.3 和 1.6.0** - 分 offline 和 online 版本，推荐使用 offline - **v1.5.1** 下载地址： - **v1.5.3** 下载地址： ## 安装 - 切换目录：`cd /opt/setups` - 下载：`wget https://storage.googleapis.com/harbor-releases/release-1.5.0/harbor-offline-installer-v1.5.1.tgz` - 解压：`tar xvf harbor-offline-installer-v1.5.1.tgz` - 移动到 /usr 目录下：`mv /opt/setups/harbor /usr/local` - 修改配置文件：`vim /usr/local/harbor/harbor.cfg`： ``` _version = 1.5.0 # hostname 可以使用 ip、域名，不可以设置为 127.0.0.1 或 localhost hostname = harbor.gitnavi.com ui_url_protocol = http max_job_workers = 50 customize_crt = on ssl_cert = /data/cert/server.crt ssl_cert_key = /data/cert/server.key secretkey_path = /data admiral_url = NA log_rotate_count = 50 log_rotate_size = 200M http_proxy = https_proxy = no_proxy = 127.0.0.1,localhost,ui email_identity = email_server = smtp.mydomain.com email_server_port = 25 email_username = sample_admin@mydomain.com email_password = abc email_from = admin email_ssl = false email_insecure = false # 启动Harbor后，管理员UI登录的密码，默认是 Harbor12345，用户名默认是：admin harbor_admin_password = Harbor12345 auth_mode = db_auth ldap_url = ldaps://ldap.mydomain.com ldap_basedn = ou=people,dc=mydomain,dc=com ldap_uid = uid ldap_scope = 2 ldap_timeout = 5 ldap_verify_cert = true ldap_group_basedn = ou=group,dc=mydomain,dc=com ldap_group_filter = objectclass=group ldap_group_gid = cn ldap_group_scope = 2 self_registration = on token_expiration = 30 project_creation_restriction = everyone db_host = mysql db_password = root123 db_port = 3306 db_user = root redis_url = redis:6379 clair_db_host = postgres clair_db_password = password clair_db_port = 5432 clair_db_username = postgres clair_db = postgres uaa_endpoint = uaa.mydomain.org uaa_clientid = id uaa_clientsecret = secret uaa_verify_cert = true uaa_ca_cert = /path/to/ca.pem registry_storage_provider_name = filesystem registry_storage_provider_config = ``` - 安装成功会占用这些端口，所以请先做好准备，如果不想使用下面的端口需要修改：`vim /usr/local/harbor/docker-compose.yml` - `80` - `6379` - `3306` - `5000` - `1514` - 后面重新启动 Harbor 也靠这个文件了：`docker-compose -f /usr/local/harbor/docker-compose.yml restart` - 开始安装：`sh /usr/local/harbor/install.sh`，控制台输出如下（预计需要 5 ~ 10 分钟）： ``` [Step 0]: checking installation environment ... Note: docker version: 17.12.0 Note: docker-compose version: 1.18.0 [Step 1]: loading Harbor images ... 52ef9064d2e4: Loading layer [==================================================>] 135.9MB/135.9MB 4a6862dbadda: Loading layer [==================================================>] 23.25MB/23.25MB 58b7d0c522b2: Loading layer [==================================================>] 24.4MB/24.4MB 9cd4bb748634: Loading layer [==================================================>] 7.168kB/7.168kB c81302a14908: Loading layer [==================================================>] 10.56MB/10.56MB 7848e9ba72a3: Loading layer [==================================================>] 24.39MB/24.39MB Loaded image: vmware/harbor-ui:v1.5.1 f1691b5a5198: Loading layer [==================================================>] 73.15MB/73.15MB a529013c99e4: Loading layer [==================================================>] 3.584kB/3.584kB d9b4853cff8b: Loading layer [==================================================>] 3.072kB/3.072kB 3d305073979e: Loading layer [==================================================>] 4.096kB/4.096kB c9e17074f54a: Loading layer [==================================================>] 3.584kB/3.584kB 956055840e30: Loading layer [==================================================>] 9.728kB/9.728kB Loaded image: vmware/harbor-log:v1.5.1 185db06a02d0: Loading layer [==================================================>] 23.25MB/23.25MB 835213979c70: Loading layer [==================================================>] 20.9MB/20.9MB f74eeb41c1c9: Loading layer [==================================================>] 20.9MB/20.9MB Loaded image: vmware/harbor-jobservice:v1.5.1 9bd5c7468774: Loading layer [==================================================>] 23.25MB/23.25MB 5fa6889b9a6d: Loading layer [==================================================>] 2.56kB/2.56kB bd3ac235b209: Loading layer [==================================================>] 2.56kB/2.56kB cb5d493833cc: Loading layer [==================================================>] 2.048kB/2.048kB 557669a074de: Loading layer [==================================================>] 22.8MB/22.8MB f02b4f30a9ac: Loading layer [==================================================>] 22.8MB/22.8MB Loaded image: vmware/registry-photon:v2.6.2-v1.5.1 5d3b562db23e: Loading layer [==================================================>] 23.25MB/23.25MB 8edca1b0e3b0: Loading layer [==================================================>] 12.16MB/12.16MB ce5f11ea46c0: Loading layer [==================================================>] 17.3MB/17.3MB 93750d7ec363: Loading layer [==================================================>] 15.87kB/15.87kB 36f81937e80d: Loading layer [==================================================>] 3.072kB/3.072kB 37e5df92b624: Loading layer [==================================================>] 29.46MB/29.46MB Loaded image: vmware/notary-server-photon:v0.5.1-v1.5.1 0a2f8f90bd3a: Loading layer [==================================================>] 401.3MB/401.3MB 41fca4deb6bf: Loading layer [==================================================>] 9.216kB/9.216kB f2e28262e760: Loading layer [==================================================>] 9.216kB/9.216kB 68677196e356: Loading layer [==================================================>] 7.68kB/7.68kB 2b006714574e: Loading layer [==================================================>] 1.536kB/1.536kB Loaded image: vmware/mariadb-photon:v1.5.1 a8c4992c632e: Loading layer [==================================================>] 156.3MB/156.3MB 0f37bf842677: Loading layer [==================================================>] 10.75MB/10.75MB 9f34c0cd38bf: Loading layer [==================================================>] 2.048kB/2.048kB 91ca17ca7e16: Loading layer [==================================================>] 48.13kB/48.13kB 5a7e0da65127: Loading layer [==================================================>] 10.8MB/10.8MB Loaded image: vmware/clair-photon:v2.0.1-v1.5.1 0e782fe069e7: Loading layer [==================================================>] 23.25MB/23.25MB 67fc1e2f7009: Loading layer [==================================================>] 15.36MB/15.36MB 8db2141aa82c: Loading layer [==================================================>] 15.36MB/15.36MB Loaded image: vmware/harbor-adminserver:v1.5.1 3f87a34f553c: Loading layer [==================================================>] 4.772MB/4.772MB Loaded image: vmware/nginx-photon:v1.5.1 Loaded image: vmware/photon:1.0 ad58f3ddcb1b: Loading layer [==================================================>] 10.95MB/10.95MB 9b50f12509bf: Loading layer [==================================================>] 17.3MB/17.3MB 2c21090fd212: Loading layer [==================================================>] 15.87kB/15.87kB 38bec864f23e: Loading layer [==================================================>] 3.072kB/3.072kB 6e81ea7b0fa6: Loading layer [==================================================>] 28.24MB/28.24MB Loaded image: vmware/notary-signer-photon:v0.5.1-v1.5.1 897a26fa09cb: Loading layer [==================================================>] 95.02MB/95.02MB 16e3a10a21ba: Loading layer [==================================================>] 6.656kB/6.656kB 85ecac164331: Loading layer [==================================================>] 2.048kB/2.048kB 37a2fb188706: Loading layer [==================================================>] 7.68kB/7.68kB Loaded image: vmware/postgresql-photon:v1.5.1 bed9f52be1d1: Loading layer [==================================================>] 11.78kB/11.78kB d731f2986f6e: Loading layer [==================================================>] 2.56kB/2.56kB c3fde9a69f96: Loading layer [==================================================>] 3.072kB/3.072kB Loaded image: vmware/harbor-db:v1.5.1 7844feb13ef3: Loading layer [==================================================>] 78.68MB/78.68MB de0fd8aae388: Loading layer [==================================================>] 3.072kB/3.072kB 3f79efb720fd: Loading layer [==================================================>] 59.9kB/59.9kB 1c02f801c2e8: Loading layer [==================================================>] 61.95kB/61.95kB Loaded image: vmware/redis-photon:v1.5.1 454c81edbd3b: Loading layer [==================================================>] 135.2MB/135.2MB e99db1275091: Loading layer [==================================================>] 395.4MB/395.4MB 051e4ee23882: Loading layer [==================================================>] 9.216kB/9.216kB 6cca4437b6f6: Loading layer [==================================================>] 9.216kB/9.216kB 1d48fc08c8bc: Loading layer [==================================================>] 7.68kB/7.68kB 0419724fd942: Loading layer [==================================================>] 1.536kB/1.536kB 543c0c1ee18d: Loading layer [==================================================>] 655.2MB/655.2MB 4190aa7e89b8: Loading layer [==================================================>] 103.9kB/103.9kB Loaded image: vmware/harbor-migrator:v1.5.0 [Step 2]: preparing environment ... Generated and saved secret to file: /data/secretkey Generated configuration file: ./common/config/nginx/nginx.conf Generated configuration file: ./common/config/adminserver/env Generated configuration file: ./common/config/ui/env Generated configuration file: ./common/config/registry/config.yml Generated configuration file: ./common/config/db/env Generated configuration file: ./common/config/jobservice/env Generated configuration file: ./common/config/jobservice/config.yml Generated configuration file: ./common/config/log/logrotate.conf Generated configuration file: ./common/config/jobservice/config.yml Generated configuration file: ./common/config/ui/app.conf Generated certificate, key file: ./common/config/ui/private_key.pem, cert file: ./common/config/registry/root.crt The configuration files are ready, please use docker-compose to start the service. Creating harbor-log ... done [Step 3]: checking existing instance of Harbor ... Creating registry ... done Creating harbor-ui ... done Creating network "harbor_harbor" with the default driver Creating nginx ... done Creating registry ... Creating harbor-adminserver ... Creating harbor-db ... Creating redis ... Creating harbor-ui ... Creating harbor-jobservice ... Creating nginx ... ✔ ----Harbor has been installed and started successfully.---- Now you should be able to visit the admin portal at http://harbor.gitnavi.com. For more details, please visit https://github.com/vmware/harbor . ``` - 安装成功后，可以访问： - 默认用户名：`admin` - 默认密码：`Harbor12345` - docker 客户端默认是使用 https 访问 docker registry，我们默认在安装 Harbor 的时候配置文件用的时候 http，所以其他 docker 客户端需要修改 - `vim /lib/systemd/system/docker.service` - 修改默认值为：`ExecStart=/usr/bin/dockerd` - 改为：`ExecStart=/usr/bin/dockerd --insecure-registry harbor.gitnavi.com` - `systemctl daemon-reload` - `systemctl reload docker` - `systemctl restart docker` - 访问：，创建一个项目，比如：`youmeek`，等下需要用到。 - 这里用 admin 用户，不再另外创建用了，但是实际使用最好新建用户。 - `docker login -u admin -p Harbor12345 harbor.gitnavi.com` - 给本地的一个 maven 镜像打 tag：`docker tag maven:3.3-jdk-8 harbor.gitnavi.com/youmeek/harbor-maven:3.3-jdk-8` - push 到仓库：`docker push 182.61.19.178/demo/springboot-jenkins-docker:3` ---------------------------------------------------------------------------- ## harbor.cfg 默认值 ``` ## Configuration file of Harbor #This attribute is for migrator to detect the version of the .cfg file, DO NOT MODIFY! _version = 1.5.0 #The IP address or hostname to access admin UI and registry service. #DO NOT use localhost or 127.0.0.1, because Harbor needs to be accessed by external clients. hostname = reg.mydomain.com #The protocol for accessing the UI and token/notification service, by default it is http. #It can be set to https if ssl is enabled on nginx. ui_url_protocol = http #Maximum number of job workers in job service max_job_workers = 50 #Determine whether or not to generate certificate for the registry's token. #If the value is on, the prepare script creates new root cert and private key #for generating token to access the registry. If the value is off the default key/cert will be used. #This flag also controls the creation of the notary signer's cert. customize_crt = on #The path of cert and key files for nginx, they are applied only the protocol is set to https ssl_cert = /data/cert/server.crt ssl_cert_key = /data/cert/server.key #The path of secretkey storage secretkey_path = /data #Admiral's url, comment this attribute, or set its value to NA when Harbor is standalone admiral_url = NA #Log files are rotated log_rotate_count times before being removed. If count is 0, old versions are removed rather than rotated. log_rotate_count = 50 #Log files are rotated only if they grow bigger than log_rotate_size bytes. If size is followed by k, the size is assumed to be in kilobytes. #If the M is used, the size is in megabytes, and if G is used, the size is in gigabytes. So size 100, size 100k, size 100M and size 100G #are all valid. log_rotate_size = 200M #Config http proxy for Clair, e.g. http://my.proxy.com:3128 #Clair doesn't need to connect to harbor ui container via http proxy. http_proxy = https_proxy = no_proxy = 127.0.0.1,localhost,ui #NOTES: The properties between BEGIN INITIAL PROPERTIES and END INITIAL PROPERTIES #only take effect in the first boot, the subsequent changes of these properties #should be performed on web ui #************************BEGIN INITIAL PROPERTIES************************ #Email account settings for sending out password resetting emails. #Email server uses the given username and password to authenticate on TLS connections to host and act as identity. #Identity left blank to act as username. email_identity = email_server = smtp.mydomain.com email_server_port = 25 email_username = sample_admin@mydomain.com email_password = abc email_from = admin email_ssl = false email_insecure = false ##The initial password of Harbor admin, only works for the first time when Harbor starts. #It has no effect after the first launch of Harbor. #Change the admin password from UI after launching Harbor. harbor_admin_password = Harbor12345 ##By default the auth mode is db_auth, i.e. the credentials are stored in a local database. #Set it to ldap_auth if you want to verify a user's credentials against an LDAP server. auth_mode = db_auth #The url for an ldap endpoint. ldap_url = ldaps://ldap.mydomain.com #A user's DN who has the permission to search the LDAP/AD server. #If your LDAP/AD server does not support anonymous search, you should configure this DN and ldap_search_pwd. #ldap_searchdn = uid=searchuser,ou=people,dc=mydomain,dc=com #the password of the ldap_searchdn #ldap_search_pwd = password #The base DN from which to look up a user in LDAP/AD ldap_basedn = ou=people,dc=mydomain,dc=com #Search filter for LDAP/AD, make sure the syntax of the filter is correct. #ldap_filter = (objectClass=person) # The attribute used in a search to match a user, it could be uid, cn, email, sAMAccountName or other attributes depending on your LDAP/AD ldap_uid = uid #the scope to search for users, 0-LDAP_SCOPE_BASE, 1-LDAP_SCOPE_ONELEVEL, 2-LDAP_SCOPE_SUBTREE ldap_scope = 2 #Timeout (in seconds) when connecting to an LDAP Server. The default value (and most reasonable) is 5 seconds. ldap_timeout = 5 #Verify certificate from LDAP server ldap_verify_cert = true #The base dn from which to lookup a group in LDAP/AD ldap_group_basedn = ou=group,dc=mydomain,dc=com #filter to search LDAP/AD group ldap_group_filter = objectclass=group #The attribute used to name a LDAP/AD group, it could be cn, name ldap_group_gid = cn #The scope to search for ldap groups. 0-LDAP_SCOPE_BASE, 1-LDAP_SCOPE_ONELEVEL, 2-LDAP_SCOPE_SUBTREE ldap_group_scope = 2 #Turn on or off the self-registration feature self_registration = on #The expiration time (in minute) of token created by token service, default is 30 minutes token_expiration = 30 #The flag to control what users have permission to create projects #The default value "everyone" allows everyone to creates a project. #Set to "adminonly" so that only admin user can create project. project_creation_restriction = everyone #************************END INITIAL PROPERTIES************************ #######Harbor DB configuration section####### #The address of the Harbor database. Only need to change when using external db. db_host = mysql #The password for the root user of Harbor DB. Change this before any production use. db_password = root123 #The port of Harbor database host db_port = 3306 #The user name of Harbor database db_user = root ##### End of Harbor DB configuration####### #The redis server address. Only needed in HA installation. #address:port[,weight,password,db_index] redis_url = redis:6379 ##########Clair DB configuration############ #Clair DB host address. Only change it when using an exteral DB. clair_db_host = postgres #The password of the Clair's postgres database. Only effective when Harbor is deployed with Clair. #Please update it before deployment. Subsequent update will cause Clair's API server and Harbor unable to access Clair's database. clair_db_password = password #Clair DB connect port clair_db_port = 5432 #Clair DB username clair_db_username = postgres #Clair default database clair_db = postgres ##########End of Clair DB configuration############ #The following attributes only need to be set when auth mode is uaa_auth uaa_endpoint = uaa.mydomain.org uaa_clientid = id uaa_clientsecret = secret uaa_verify_cert = true uaa_ca_cert = /path/to/ca.pem ### Docker Registry setting ### #registry_storage_provider can be: filesystem, s3, gcs, azure, etc. registry_storage_provider_name = filesystem #registry_storage_provider_config is a comma separated "key: value" pairs, e.g. "key1: value, key2: value2". #Refer to https://docs.docker.com/registry/configuration/#storage for all available configuration. registry_storage_provider_config = ``` ## 资料 - - ================================================ FILE: markdown-file/Hsk-Install.md ================================================ # 花生壳 安装 ## CentOS 下过程 - 官网： - 官网下载： - 官网安装说明： - 软件包下载：`wget http://download.oray.com/peanuthull/linux/phddns-2.0.6.el6.x86_64.rpm` - 安装：`sudo yum localinstall -y phddns-2.0.6.el6.x86_64.rpm` - 配置： - 安装完毕后，在终端下运行：`phddns` - 第一步：：Enter server address(press ENTER use phddns60.oray.net)，这是提示您输入花生壳服务器的域名，如果网站上没有更新域名的公告说明，这一步直接回车即可，会使用默认的 phddns60.oray.net 域名。 - 第二步：Enter your Oray account:这是提示您输入在花生壳官网注册的用户名，请根据实际情况输入。 - 第三步：Password：这是提示您输入在花生壳官网注册的用户名所对应的密码，请根据实际情况输入。 - 第四步：Network interface(s): 这是要配置您这台服务器的网络参数，花生壳（公网版）软件会自动检查，并输出您的网络情况。eth0部分可能和上面的不一样，是您的实际网络设置。如果您有两块网卡，eth0 和eth1 ,而您希望用eth1来绑定花生壳，请在这里输入 eth1 ，然后回车。如果您只有一块网卡，或者您希望使用 eth0来绑定花生壳，在这里直接回车即可。 - 第五步：Log to use(default /var/log/phddns.log):这是提示您输入花生壳（公网版）软件日志的保存位置，请使用绝对路径指定日志文件名。如果直接回车，会使用 /var/log/phddns.log 来保存日志。 - 第六步： Save to configuration file (/etc/phlinux.conf)?(yes/no/other): 这是提示您输入上述配置的保存文件名。如果输入yes 或直接回车，将会使用/etc/phlinux.conf 来作为配置的保存文件名。如果输入other ，将会提示您自行指定文件名，请使用绝对路径来指定这个配置文件名。如果输入no ,不对上述配置进行保存,下次重新使用花生壳（公网版）时,需要手动指定配置文件或再次通过交互模式进行设置. - 第六步执行完毕后，屏幕上会依次出现：defOnStatusChanged ok，DomainsRegistered，UserType，表示安装、配置完成了 - 启动服务：`/usr/bin/phddns -c /etc/phlinux.conf -d` - 设置开机启动：`echo "/usr/bin/phddns -c /etc/phlinux.conf -d" >> /etc/rc.local` - 查看进程：`ps -ef | grep phddns` - 卸载： - `rpm -qa|grep phddns` - `sudo rpm -e phddns-2.0.6-1.el6.x86_64` ## 资料 - ================================================ FILE: markdown-file/Influxdb-Install-And-Settings.md ================================================ # Influxdb 安装和配置 ## Influxdb Docker 安装 - 官网库： ``` docker run -d --name influxdb \ -p 8086:8086 -p 8083:8083 \ -e INFLUXDB_HTTP_AUTH_ENABLED=true \ -e INFLUXDB_ADMIN_ENABLED=true -e INFLUXDB_ADMIN_USER=admin -e INFLUXDB_ADMIN_PASSWORD=123456 \ -e INFLUXDB_DB=mydb1 \ -v /Users/gitnavi/docker_data/influxdb/data:/var/lib/influxdb influxdb ``` - 进入终端交互： ``` docker exec -it influxdb /bin/bash 输入：influx，开始终端交互 auth admin 123456 show databases; use springboot show measurements show series from "jvm_buffer_total_capacity" select * from "jvm_buffer_total_capacity" 如果你要再额外创建数据库： create database demo 如果你要再创建用户： create user "myuser" with password '123456' with all privileges ``` ---------------------------------------------------------------------------------------------- ## 配置 ---------------------------------------------------------------------------------------------- ---------------------------------------------------------------------------------------------- ## 其他资料 - - <> - <> - <> - <> - <> - <> - <> - <> ================================================ FILE: markdown-file/Iptables.md ================================================ # Iptables 介绍 ## 前提说明 iptables 的设置在 CentOS 和 Ubuntu 下有些细节不一样，Ubuntu 这里不讲，文章底下贴的资料有部分关于 Ubuntu 的，有需要的可以自己看。一般大家会用到 iptables 都是服务器，而一般服务器大家普遍是用 CentOS） ## Iptables 安装 - 查看是否已安装： - CentOS：`rpm -qa | grep iptables` - 安装（一般系统是集成的）： - CentOS 6：`yum install -y iptables` ## Iptables 的配置文件 - 路径：`vim /etc/sysconfig/iptables` ## Iptables 服务器配置文件常用参数 - 常用命令： - 查看已有规则列表，并且显示编号：`iptables -L -n --line-numbers` - ![Iptables 服务器配置文件常用参数](../images/Iptables-a-1.jpg) - 要删除 INPUT 里序号为 8 的规则，执行：`iptables -D INPUT 8` - 保存配置命令：`service iptables save 或者 /etc/rc.d/init.d/iptables save` - 重启服务命令 ：`service iptables restart` - 查看服务状态： `service iptables status` - 设置开启默认启动： `chkconfig --level 345 iptables on` - 清除所有规则(慎用) - `iptables -F` - `iptables -X` - `iptables -Z` - 添加规则：格式 `iptables [-AI 链名] [-io 网络接口] [-p 协议] [-s 来源IP/网域] [-d 目标IP/网域] -j [ACCEPT|DROP|REJECT|LOG]` - 选项与参数： - -AI 链名：针对某的链进行规则的 "插入" 或 "累加" - -A ：新增加一条规则，该规则增加在原本规则的最后面。例如原本已经有四条规则，使用 -A 就可以加上第五条规则！ - -I ：插入一条规则。如果没有指定此规则的顺序，默认是插入变成第一条规则。例如原本有四条规则，使用 -I 则该规则变成第一条，而原本四条变成 2~5 号链 ：有 INPUT, OUTPUT, FORWARD 等，此链名称又与 -io 有关，请看底下。 - -io 网络接口：设定封包进出的接口规范 - -i ：封包所进入的那个网络接口，例如 eth0, lo 等接口。需与 INPUT 链配合； - -o ：封包所传出的那个网络接口，需与 OUTPUT 链配合； - -p 协定：设定此规则适用于哪种封包格式。主要的封包格式有： tcp, udp, icmp 及 all 。 - -s 来源 IP/网域：设定此规则之封包的来源项目，可指定单纯的 IP 或包括网域，例如：IP：192.168.0.100，网域：192.168.0.0/24, 192.168.0.0/255.255.255.0 均可。若规范为『不许』时，则加上 ! 即可，例如：-s ! 192.168.100.0/24 表示不许 192.168.100.0/24 之封包来源。 - -d 目标 IP/网域：同 -s ，只不过这里指的是目标的 IP 或网域。 - -j ：后面接动作，主要的动作有接受(ACCEPT)、丢弃(DROP)、拒绝(REJECT)及记录(LOG) ## Iptables 例子 - 开放指定端口 - `iptables -I INPUT -i lo -j ACCEPT` #允许本地回环接口(即运行本机访问本机) - `iptables -I INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT` # 允许已建立的或相关连的通行 - `iptables -I OUTPUT -j ACCEPT` #允许所有本机向外的访问 - `iptables -A INPUT -p tcp -m tcp --dport 22 -j ACCEPT` # 允许访问 22 端口 - `iptables -A INPUT -p tcp -m tcp --dport 80 -j ACCEPT` #允许访问 80 端口 - `iptables -A INPUT -p tcp -m tcp --dport 8080 -j ACCEPT` #允许访问 8080 端口 - `iptables -A INPUT -p tcp -m tcp --dport 21 -j ACCEPT` #允许 FTP 服务的 21 端口 - `iptables -A INPUT -p tcp -m tcp --dport 20 -j ACCEPT` #允许 FTP 服务的 20 端口 - `iptables -I INPUT -p icmp -m icmp --icmp-type 8 -j ACCEPT` #允许 ping - `iptables -I INPUT -j REJECT` #禁止其他未允许的规则访问（使用该规则前一定要保证 22 端口是开着，不然就连 SSH 都会连不上） - `iptables -I FORWARD -j REJECT` ## Iptables 资料 - - ================================================ FILE: markdown-file/JDK-Install.md ================================================ # JDK 安装 ## CentOS 下过程 - JDK 在 CentOS 和 Ubuntu 下安装过程是一样的，所以这里不再讲 Ubuntu 系统下的安装 - JDK 1.8 下载 - 此时（20160205）最新版本：`jdk-8u72-linux-x64.tar.gz` - 官网： - 百度云下载（64 位）： - 官网压缩包地址： - 在命令行模式下下载上面压缩包： - `cd /opt` - `sudo wget http://211.138.156.198:82/1Q2W3E4R5T6Y7U8I9O0P1Z2X3C4V5B/download.oracle.com/otn-pub/java/jdk/8u72-b15/jdk-8u72-linux-x64.tar.gz` - 默认 CentOS 有安装 openJDK，建议先卸载掉 - 检查 JDK 命令：`java -version` - 查询本地 JDK 安装程序情况； `rpm -qa|grep java` - 我查询出来的结果如下： ``` java-1.6.0-openjdk-1.6.0.38-1.13.10.0.el6_7.x86_64 java-1.7.0-openjdk-1.7.0.95-2.6.4.0.el6_7.x86_64 tzdata-java-2015g-2.el6.noarch ``` - 卸载上面三个文件（`--nodeps` 的作用：忽略依赖的检查）： - `sudo rpm -e --nodeps java-1.6.0-openjdk-1.6.0.38-1.13.10.0.el6_7.x86_64` - `sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.95-2.6.4.0.el6_7.x86_64` - `sudo rpm -e --nodeps tzdata-java-2015g-2.el6.noarch` - 也可以一起卸载：`sudo rpm -e --nodeps java-1.6.0-openjdk-1.6.0.38-1.13.10.0.el6_7.x86_64 java-1.7.0-openjdk-1.7.0.95-2.6.4.0.el6_7.x86_64 tzdata-java-2015g-2.el6.noarch` - 如果是 CentOS 7 的话：`sudo rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch java-1.8.0-openjdk-1.8.0.121-0.b13.el7_3.x86_64 java-1.7.0-openjdk-headless-1.7.0.131-2.6.9.0.el7_3.x86_64 python-javapackages-3.4.1-11.el7.noarch java-1.7.0-openjdk-1.7.0.131-2.6.9.0.el7_3.x86_64 java-1.8.0-openjdk-headless-1.8.0.121-0.b13.el7_3.x86_64 tzdata-java-2017a-1.el7.noarch` - JDK 1.8 安装 - 我们以安装 `jdk-8u72-linux-x64.tar.gz` 为例 - 我个人习惯 `/opt` 目录下创建一个目录 `setups` 用来存放各种软件安装包；在 `/usr` 目录下创建一个 `program` 用来存放各种解压后的软件包，下面的讲解也都是基于此习惯 - 我个人已经使用了第三方源：`EPEL、RepoForge`，如果你出现 `yum install XXXXX` 安装不成功的话，很有可能就是你没有相关源，请查看我对源设置的文章 - 解压安装包：`sudo tar -zxvf jdk-8u72-linux-x64.tar.gz` - 移到解压包到我个人习惯的安装目录下：`mv jdk1.8.0_72/ /usr/program/` - 配置环境变量： - 编辑配置文件：`sudo vim /etc/profile` - 在该文件的最尾巴，添加下面内容： ``` # JDK JAVA_HOME=/usr/program/jdk1.8.0_72 JRE_HOME=$JAVA_HOME/jre PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export JRE_HOME export PATH export CLASSPATH ``` - 执行命令，刷新该配置（必备操作）：`source /etc/profile` - 检查是否使用了最新的 JDK：`java -version` ## 其他 - JDK 历史版本下载地址整理（不间断更新）： - **JDK 9**： - **JDK 8**： - **JDK 7**： - JDK 7 - 64 位：`wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.tar.gz` - JDK 7 - 32 位：`wget --no-check-certificate --no-cookies --header "Cookie: oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-i586.tar.gz` - **JDK 6**： ## 资料 - - <> - <> - <> ================================================ FILE: markdown-file/JMeter-Install-And-Settings.md ================================================ # JMeter 安装和配置 ## JMeter 介绍 - JMeter 用 Java 开发，需要 JDK 环境，当前最新版至少需要 JDK 8 - 官网： - 官网下载： - 官网插件库： - 官网 Github 源码： - 当前（201804）最新版本为 4.0 ## JMeter Windows 安装 - 因为是绿色版本，直接解压即可，比如我解压后目录：`D:\software\portable\apache-jmeter-4.0\bin` - 直接双击运行：`ApacheJMeter.jar`（会根据当前系统是中文自行进行切换语言） - 也可以直接双击：`jmeter.bat`（显示的是英文版本） - 如果是作为分布式中的客户端，需要执行：`jmeter-server.bat` - 其他： - `jmeter.log` 是 JMeter 的 log - `jmeter.properties` 是 JMeter 软件配置 ## JMeter Linux 安装 - 解压 zip 包，假设我放在 - 增加环境变量：`vim ~/.zshrc`（我用的是 zsh） ``` # JMeter JMETER_HOME=/usr/local/apache-jmeter-4.0 PATH=$PATH:$JMETER_HOME/bin export JMETER_HOME export PATH ``` - 刷新配置：`source ~/.zshrc` - 测试：`jmeter -v`，输出结果： ``` Apr 12, 2018 10:14:24 AM java.util.prefs.FileSystemPreferences$1 run INFO: Created user preferences directory. _ ____ _ ____ _ _ _____ _ __ __ _____ _____ _____ ____ / \ | _ \ / \ / ___| | | | ____| | | \/ | ____|_ _| ____| _ \ / _ \ | |_) / _ \| | | |_| | _| _ | | |\/| | _| | | | _| | |_) | / ___ \| __/ ___ \ |___| _ | |___ | |_| | | | | |___ | | | |___| _ < /_/ \_\_| /_/ \_\____|_| |_|_____| \___/|_| |_|_____| |_| |_____|_| \_\ 4.0 r1823414 Copyright (c) 1999-2018 The Apache Software Foundation ``` ## JMeter Linux 测试 - Windows 是 GUI 操作，测试方便，Linux 只能用命令，所以这里进行记录 - 准备好 jmx 测试脚本文件（可以在 Windows 上使用后，保存的脚本就是 jmx 后缀文件） - 测试：`jmeter -n -t /opt/myTest.jmx -l /opt/myReport.jtl` - 参数 n 表示以 nogui 方式运行测试计划 - 参数 t 表示指定测试计划 - 参数 l 表示生成测试报告 - 显示 ... end of run 即脚本运行结束 - 如果要后台运行 JMeter 可以：`setsid jmeter -n -t /opt/myTest.jmx -l /opt/myReport.jtl` - 将上一步运行结束后生成的.jtl 文件拷贝到 win 上，打开 win 上的 Jmeter，随便新建一个项目，也可以用之前的项目，添加监听器，在监听器界面点击浏览，选择该.jtl 文件，就可以查看结果了 ## JMeter 分布式安装 - 分布式环境：分为 server、client - server 等同于 controller、master（server 其实也可以作为 Client 使用，但是不推荐这样做） - client 等同于 agent、slave - **注意事项** - 1、保持 controller 和 agent 机器的 JDK、jmeter 以及插件等配置版本一致； - 2、如果测试数据有用到 CSV 或者其他方式进行参数化，需要将 data pools 在每台 Agent 上复制一份，且读取路径必须保持一致； - 3、确保 controller 和 agent 机器在同一个子网里面； - 4、检查防火墙是否被关闭，端口是否被占用（防火墙会影响脚本执行和测试结构收集，端口占用会导致 Agent 机报错）； - 5、分布式测试中，通过远程启动代理服务器，默认查看结果树中的响应数据为空，只有错误信息会被报回； - 6、如果并发较高，建议将 controller 机设置为只启动测试脚本和收集汇总测试结果，在配置文件里去掉 controller 机的 IP； - 7、分布式测试中，如果 1S 启动 100 个模拟请求，有 5 个 Agent 机，那么需要将脚本的线程数设置为 20，否则模拟请求数会变成 500，和预期结果相差太大。 - 分布式测试流程： - 运行所有 agent 机器上的 jmeter-server.bat 文件 - 假定我们使用两台机器 192.168.0.1 和 192.168.0.2 作为 agent - 修改 controller 机器的 JMeter /bin/jmeter.properties 文件 ``` 默认值是： remote_hosts=127.0.0.1 修改为： remote_hosts=192.168.0.1:1099,192.168.0.2:1099 其中默认 RMI 端口是 1099，如果被占用，可以看 http://jmeter.apache.org/usermanual/remote-test.html 进行修改 ``` - 启动 Controller 机器上的 JMeter.bat，进入 Run -> Remote Start ## JMeter 基础知识 ### 线程组 - Ramp-up Period（in seconds） - 决定多长时间启动所有线程。如果使用 10 个线程，ramp-up period 是 100 秒，那么 JMeter 用 100 秒使所有 10 个线程启动并运行。每个线程会在上一个线程启动后 10 秒（100/10）启动。Ramp-up 需要要充足长以避免在启动测试时有一个太大的工作负载，并且要充足小以至于最后一个线程在第一个完成前启动。一般设置 ramp-up 等于线程数，有需求再根据该值进行调整。 - 一般不要设置为 0，不然 JMeter 一启动就会发送大量请求，服务器可能瞬间过载，测试不出平时那种因为平均访问带来的高负载情况。 - 估值方法：假设线程数为 100， 估计的点击率为每秒 10 次， 那么估计的理想 ramp-up period 就是 100/10 = 10 秒。每秒点击率需要自己获取系统数据，或是自己估值。 ### 定时器 - 默认情况下，Jmeter 线程在发送请求之间没有间歇。建议为线程组添加某种定时器，以便设定请求之间应该隔多长时间。如果测试人员不设定这种延迟，Jmeter 可能会在短时间内产生大量访问请求，导致服务器被大量请求所淹没。 - 定时器会让作用域内的每一个采样器都在执行前等待一个固定时长。如果测试人员为线程组添加了多个定时器，那么 Jmeter 会将这些定时器的时长叠加起来，共同影响作用域范围内的采样器。定时器可以作为采样器或者逻辑控制器的子项，目的是只影响作用域内的采样器。 #### synchronized timer（时间集合点，主要用于模拟高并发测试） - 该定时器主要是为了阻塞线程，直到指定的线程数量到达后，再一起释放，可以瞬间产生很大的压力。 - 假设这样的配置： - Number of Simulated Users to Group By = 10 - Timeout in milliseconds = 0 - 该配置表示当用户（线程）数达到 10 的时候才开始测试。 - 下面那个参数 0，表示达到 10 个用户就开始访问。如果填写 1000，则表示达到 10 用户后，延迟 1000 毫秒才开始访问。 #### Constant Throughput Timer（常数吞吐量定时器，主要用于预设好 QPS 场景下测试） - constant throughput timer 常数吞吐量定时器可以让 jmeter 以指定数字的吞吐量（即指定 tps，只是这里要求指定每分钟的执行数，而不是每秒）执行。吞吐量计算的范围可以为指定为当前线程、当前线程组、所有线程组，并且计算吞吐量的依据可以是最近一次线程的执行时延。 ### 聚合报告 - `Label`：每个 JMeter 的 element（例如 HTTP Request）都有一个 Name 属性，这里显示的就是 Name 属性的值 - `Samples`：表示你这次测试中一共发出了多少个请求，如果模拟 10 个用户，每个用户迭代 10 次，那么这里显示 100 - `Average`：平均响应时间——默认情况下是单个 Request 的平均响应时间，当使用了 Transaction Controller 时，也可以以 Transaction 为单位显示平均响应时间（单位是毫秒） - `Median`：中位数，也就是 50％ 用户的响应时间（单位是毫秒） - `90% Line`：90％ 用户的响应时间 - `Note`：关于 50％ 和 90％ 并发用户数的含义，请参考下文 - `http://www.cnblogs.com/jackei/archive/2006/11/11/557972.html - `Min`：最小响应时间 - `Max`：最大响应时间 - `Error%`：本次测试中出现错误的请求的数量 / 请求的总数（怎么测试出整个系统的压力了? 如果 Error% 里面开始出现大量的错误，那就说明系统开始有瓶颈了，基本这时候就是最大压力节点，也就可以得到系统最大并发数是多少了。一般错误率不高于 1%，优秀的情况是不高于 0.01%）（若出现错误就要看服务端的日志，查找定位原因） - `Throughput`：吞吐量——默认情况下表示每秒完成的请求数（Request per Second），当使用了 Transaction Controller 时，也可以表示类似 LoadRunner 的 Transaction per Second 数 - `KB/Sec`：每秒从服务器端接收到的数据量，相当于 LoadRunner 中的 Throughput/Sec，主要看网络传输能力 ## 常见问题 - 个人经验： - 对开发机中的项目测试：一般 100 线程，循环 10 次即可。 - 对服务器上的小项目测试：一般 300 线程，循环 10 次即可。 - 对服务器上的中大型项目测试：采用分布式测试，分别测试：300 ~ 5000 线程情况。 - 假设好一点的机子设置 500 线程，一般的机子设置 300 线程。预计总 5000 线程需要 5 台好机子， 9 台一般机子。 - 也可以通过修改 JVM 方式来调整每台机子性能上限，修改 /bin/jmeter 的合适值 ``` : "${HEAP:="-Xms1g -Xmx1g -XX:MaxMetaspaceSize=256m"}" ``` - JMeter 即使加了 cookie manage 也没有保存 session 的，一个原因是：HTTP 请求默认值，中服务器 IP，只能填 IP 或是域名，一定不要在这里面在加上某个后缀地址，这样没办法保存的 session 的 - 测试多用户的同时测试的效果，一种是用 jmeter 的 csv 功能，一种是复制几个脚本，每个脚本里面的登录信息不一样。或者是创建两个不同的线程组，每个线程组的登录信息不一样，然后每个线程组都有自己的 HTTP Cookie 管理器 - 在压力测试过程中，要监控服务器情况，可以使用 [nmon 系统性能监控工具的使用](Nmon.md) ## JMeter 资料 - 图文： - [官网 User's Manual](http://jmeter.apache.org/usermanual/) - [快速学习Jmeter性能测试工具](http://gitbook.cn/books/58de71a8be13fa66243873ef/index.html) - [jmeter：菜鸟入门到进阶系列](http://www.cnblogs.com/imyalost/p/7062784.html) - 国内视频教程： - [JMeter 之 HTTP 协议接口性能测试 - 慕课网](https://www.imooc.com/learn/791) - [接口测试基础之入门篇 - 慕课网](https://www.imooc.com/learn/738) - [JMeter 性能测试进阶案例实战 - 慕课网](https://coding.imooc.com/class/142.html) - [性能测试工具—Jmeter- 我要自学网](http://www.51zxw.net/list.aspx?page=2&cid=520) - [jmeter 视频教学课程 - 小强](https://www.youtube.com/watch?v=zIiXpCBaBgQ&list=PL3rfV4zNE8CD-rAwlXlGXilN5QpkqDWox) - 国外视频教程： - [JMeter Beginner](https://www.youtube.com/playlist?list=PLhW3qG5bs-L-zox1h3eIL7CZh5zJmci4c) - [JMeter Advanced](https://www.youtube.com/playlist?list=PLhW3qG5bs-L_Eosy1Nj1tKHC5jcBAVkPb) ## 资料 - - - - - - - - - - ================================================ FILE: markdown-file/Java-bin.md ================================================ # Java bin 目录下的工具 ## JVM 内存结构 - 参考资料：[JVM内存结构（基于JDK8）](https://blog.csdn.net/qq_34457118/article/details/81712293) #### 运行时数据区（JVM 规范） ![image.png](https://upload-images.jianshu.io/upload_images/12159-f8cdb04243ea36e4.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) - VM 栈（JVM 虚拟机栈） - 是线程私有的，它的生命周期和线程相同。它描述的是 Java 方法执行的内存模式。 - Java 堆区（Heap） - 是 Java 虚拟机所管理的内存中最大的一块。是被所有线程共享的一块内存区域，在虚拟机启动时候创建。用于存放对象实例。 - 方法区（Method Area） - 也是各个线程共享的内存区域，用于存储已被虚拟机加载的类信息、常量、静态变量、即时编译器编译后的代码等数据。 - 虽然在 JVM 规范上是描述为堆的一个逻辑部分，但是它有一个别名：Non-Heap（非堆），独立于堆区之外的。JDK8 它是：Metaspace 区 - Metaspace：主要存放：Class、Package、Method、Field、字节码、常量池、符号引用等等 - 方法区里面有一个：运行时常量池（Run-Time Constant Pool），用于存放编译期生成的各种字面量和符号应用，在类加载后进入该池存放。 - 本地方法栈（Native Method Stacks） - 与虚拟机栈所发挥的作用类似，之间的区别： - 虚拟机栈是为虚拟机执行 Java 方法（也就是字节码）服务 - 本地方法栈是为了虚拟机使用到 Native 方法服务。 #### JDK8 真实内存结构（HotSpot） - HotSpot--Java HotSpot Performance Engine，是 Java 虚拟机的一个实现，目前是 Oracle 在维护和发布。 ![image.png](https://upload-images.jianshu.io/upload_images/12159-045ea5a11000e8df.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) #### JDK8 HotSpot 的堆内存区域结构 ![image.png](https://upload-images.jianshu.io/upload_images/12159-6a94044da388bb0e.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) - 组成：Eden + Surviver（S0 + S1） + Old - 对象生命周期：Eden > Surviver（S0 + S1） > Old - Eden:该区域是最主要的刚创建的对象的内存分配区域，绝大多数对象都会被创建到这里（除了部分大对象通过内存担保机制创建到Old区域，默认大对象都是能够存活较长时间的），该区域的对象大部分都是短时间都会死亡的，故垃圾回收器针对该部分主要采用标记整理算法了回收该区域。 - Surviver:该区域也是属于新生代的区域，该区域是将在Eden中未被清理的对象存放到该区域中，该区域分为两块区域，采用的是复制算法，每次只使用一块，Eden与Surviver区域的比例是8:1，是根据大量的业务运行总结出来的规律。 - Old:该区域是属于老年代，一般能够在Surviver中没有被清除出去的对象才会进入到这块区域，该区域主要是采用标记清除算法。 - 总结：java堆的垃圾回收是垃圾回收器最主要的光顾对象，整体采用分代收集的策略，对不同区域结合其特点采用不同的垃圾收集算法。我们在编程中也应该关注这一块区域，尽量不适用大对象，尽可能的创建局部对象，使用过后确定废弃不用的对象及时断开引用，尽量避免使用循环的对象引用（可达性分析也是比较消耗资源的）等等。 #### JVM内存区域的详解图 ![image.png](https://upload-images.jianshu.io/upload_images/12159-deafd9588b74a2cf.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) #### 更多这类文章 - [从实际案例聊聊Java应用的GC优化](https://tech.meituan.com/jvm_optimize.html) ------------------------------------------------------------- ## 频繁GC问题或内存溢出排查流程 - 使用 `jps`，查看线程ID，假设 PID 为 12011 - 使用 `jstat -gc PID 250 20`，查看gc情况，一般比较关注PERM区的情况，查看GC的增长情况。 - 使用 `jstat -gccause PID`：额外输出上次GC原因 - 使用 `jmap -dump:format=b,file=/opt/myHeapDumpFileName 12011`，生成堆转储文件 - 使用 jhat 或者可视化工具（Eclipse Memory Analyzer 、IBM HeapAnalyzer）分析堆情况。 - 结合代码解决内存溢出或泄露问题。 ## 死锁问题 - 使用 `jps`查看线程ID，假设 PID 为 12011 - 使用 `jstack 12011` 查看线程情况 ------------------------------------------------------------------- ## jps - 显示当前所有 java 进程 pid 的命令 ``` 16470 Jps 12011 Bootstrap ``` - `jps -v` 跟：`ps -ef|grep java` 主要输出内容一样 - `12011` 是我这边的一个 java 应用的 pid，下面的其他命令都是自己与此应用进行分析的 ------------------------------------------------------------------- ## jstat（重要） - 显示进程中的类装载、内存、垃圾收集、JIT编译等运行数据。 - 查看类加载信息：`jstat -class PID` #### 垃圾回收统计 - `jstat -gc PID 250 10`，每250毫秒查询一次，一共查询10次。 ``` S0C S1C S0U S1U EC EU OC OU MC MU CCSC CCSU YGC YGCT FGC FGCT GCT 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 34944.0 34944.0 1006.5 0.0 279616.0 235729.8 699072.0 12407.5 20736.0 20145.5 2560.0 2411.8 6 0.392 0 0.000 0.392 ``` - 列含义说明： - **34944.0 表示 34M 大小，235729.8 表示 235M ** - **SO + S1 + Eden = young 区** -S0C 年轻代中第一个survivor（幸存区）的容量 (字节) -S1C 年轻代中第二个survivor（幸存区）的容量 (字节) -S0U 年轻代中第一个survivor（幸存区）目前已使用空间 (字节) （字母 U 表示 used） -S1U 年轻代中第二个survivor（幸存区）目前已使用空间 (字节) （字母 U 表示 used） -EC 年轻代中Eden（伊甸园）的容量 (字节) -EU 年轻代中Eden（伊甸园）目前已使用空间 (字节) - **OC + OU = old 区** -OC Old代的容量 (字节) -OU Old代目前已使用空间 (字节) - **MC + MU = Metaspace 区** - MC 方法区大小 - MU 方法区使用大小 - 其他 - CCSC 压缩类空间大小 - CCSU 压缩类空间使用大小 - YGC 年轻代垃圾回收次数 - YGCT 年轻代垃圾回收消耗时间 - FGC 老年代垃圾回收次数 - FGCT 老年代垃圾回收消耗时间 - GCT 垃圾回收消耗总时间 #### 堆内存统计 - `jstat -gccapacity 12011 250 10`，查询进程 12011 VM内存中三代（young,old,perm）对象的使用和占用大小，每250毫秒查询一次，一共查询10次。 ``` NGCMN NGCMX NGC S0C S1C EC OGCMN OGCMX OGC OC MCMN MCMX MC CCSMN CCSMX CCSC YGC FGC 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 349504.0 1398080.0 349504.0 34944.0 34944.0 279616.0 699072.0 2796224.0 699072.0 699072.0 0.0 1067008.0 20736.0 0.0 1048576.0 2560.0 6 0 ``` - 列含义说明： - NGCMN 年轻代(young)中初始化(最小)的大小(字节) - NGCMX 年轻代(young)的最大容量 (字节) - NGC 年轻代(young)中当前的容量 (字节) - S0C 年轻代中第一个survivor（幸存区）的容量 (字节) - S1C 年轻代中第二个survivor（幸存区）的容量 (字节) - EC 年轻代中Eden（伊甸园）的容量 (字节) - OGCMN old代中初始化(最小)的大小 (字节) - OGCMX old代的最大容量(字节) - OGC old代当前新生成的容量 (字节) - OC Old代的容量 (字节) - MCMN 最小元数据容量 - MCMX 最大元数据容量 - MC 当前元数据空间大小 - CCSMN 最小压缩类空间大小 - CCSMX 最大压缩类空间大小 - CCSC 当前压缩类空间大小 - YGC 年轻代gc次数，从应用程序启动到采样时年轻代中gc次数 - FGC 老年代GC次数，从应用程序启动到采样时old代(全gc = Full gc次数)gc次数 - 更多其他参数的使用可以看： - [Java命令学习系列（四）——jstat](https://mp.weixin.qq.com/s?__biz=MzI3NzE0NjcwMg==&mid=402330276&idx=2&sn=58117de92512f83090d0a9de738eeacd&scene=21#wechat_redirect) - [java高分局之jstat命令使用](https://blog.csdn.net/maosijunzi/article/details/46049117) - [ jstat命令查看jvm的GC情况 （以Linux为例）](https://www.cnblogs.com/yjd_hycf_space/p/7755633.html) #### gcutil - 使用：`jstat -gcutil PID 3000 10`： - 正常情况结果应该是这样的： ``` S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 0.00 67.63 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.71 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.71 38.09 78.03 68.82 124 0.966 5 0.778 1.744 ``` - S0：SO 当前使用比例 - S1：S1 当前使用比例 - E：**Eden 区使用比例（百分比）（异常的时候，这里可能会接近 100%）** - O：**old 区使用比例（百分比）（异常的时候，这里可能会接近 100%）** - M：**Metaspace 区使用比例（百分比）（异常的时候，这里可能会接近 100%）** - CCS：压缩使用比例 - YGC：年轻代垃圾回收次数 - FGC：老年代垃圾回收次数 - FGCT：老年代垃圾回收消耗时间（Full gc耗时）（单位秒） - GCT：垃圾回收消耗总时间（单位秒） - **异常的时候每次 Full GC 时间也可能非常长，每次时间计算公式=FGCT值/FGC指）** - 在 YGC 之前 年轻代 = eden + S1；YGC 之后，年轻代 = eden + S0。 - 如果看到 YGC 之后 old 区空间没变，表示此次 YGC，没有对象晋升到 old 区 ------------------------------------------------------------------- ## jmap - 生成堆转储快照（heap dump） - heap dump 主要记录了在某一时刻JVM堆中对象使用的情况，即某个时刻JVM堆的快照，是一个二进制文件，主要用于分析哪些对象占用了太对的堆空间，从而发现导致内存泄漏的对象。 - 堆Dump是反应Java堆使用情况的内存镜像，其中主要包括系统信息、虚拟机属性、完整的线程Dump、所有类和对象的状态等。 一般，在内存不足、GC异常等情况下，我们就会怀疑有内存泄露。这个时候我们就可以制作堆Dump来查看具体情况，分析原因。 - 常见内存错误： - outOfMemoryError 年老代内存不足。 - outOfMemoryError:PermGen Space 永久代内存不足。 - outOfMemoryError:GC overhead limit exceed 垃圾回收时间占用系统运行时间的98%或以上。 - `jmap -heap 12011`，查看指定进程堆（heap）使用情况 ``` Attaching to process ID 12011, please wait... Debugger attached successfully. Server compiler detected. JVM version is 25.151-b12 using thread-local object allocation. Mark Sweep Compact GC Heap Configuration: MinHeapFreeRatio = 40 MaxHeapFreeRatio = 70 MaxHeapSize = 4294967296 (4096.0MB) NewSize = 357892096 (341.3125MB) MaxNewSize = 1431633920 (1365.3125MB) OldSize = 715849728 (682.6875MB) NewRatio = 2 SurvivorRatio = 8 MetaspaceSize = 21807104 (20.796875MB) CompressedClassSpaceSize = 1073741824 (1024.0MB) MaxMetaspaceSize = 17592186044415 MB G1HeapRegionSize = 0 (0.0MB) Heap Usage: New Generation (Eden + 1 Survivor Space): capacity = 322109440 (307.1875MB) used = 242418024 (231.1878433227539MB) free = 79691416 (75.9996566772461MB) 75.2595217327378% used Eden Space: capacity = 286326784 (273.0625MB) used = 241387328 (230.20489501953125MB) free = 44939456 (42.85760498046875MB) 84.30483681191348% used From Space: capacity = 35782656 (34.125MB) used = 1030696 (0.9829483032226562MB) free = 34751960 (33.142051696777344MB) 2.88043458819826% used To Space: capacity = 35782656 (34.125MB) used = 0 (0.0MB) free = 35782656 (34.125MB) 0.0% used tenured generation: capacity = 715849728 (682.6875MB) used = 12705280 (12.11669921875MB) free = 703144448 (670.57080078125MB) 1.774852947908084% used 7067 interned Strings occupying 596016 bytes. ``` - `jmap -histo 12011`，查看堆内存(histogram)中的对象数量及大小（下面 demo 内容太多，所以选取其中一部分） - `jmap -histo:live 12011`，查看堆内存(histogram)中的对象数量及大小，但是JVM会先触发gc，然后再统计信息 - `jmap -dump:format=b,file=/opt/myHeapDumpFileName 12011`，将内存使用的详细情况输出到文件，之后一般使用其他工具进行分析。 - 生成的文件可以用一些可视化工具（Eclipse Memory Analyzer 、IBM HeapAnalyzer）来查看 ``` 编号 个数 字节 类名 508: 6 192 java.lang.invoke.LambdaForm$BasicType 509: 8 192 java.lang.invoke.MethodHandleImpl$Intrinsic 510: 8 192 java.math.RoundingMode 511: 6 192 java.net.NetworkInterface$1checkedAddresses 512: 6 192 java.rmi.server.UID 513: 3 192 java.text.DateFormatSymbols 514: 8 192 java.util.Formatter$FixedString 515: 6 192 java.util.TreeMap$KeyIterator 516: 8 192 java.util.regex.Pattern$Slice 517: 8 192 jdk.net.SocketFlow$Status 518: 6 192 net.sf.ehcache.DefaultElementEvictionData 519: 3 192 net.sf.ehcache.store.chm.SelectableConcurrentHashMap 520: 8 192 org.apache.logging.log4j.Level 521: 8 192 org.apache.logging.log4j.core.appender.rolling.RolloverFrequency 522: 4 192 org.apache.logging.log4j.core.impl.ThrowableProxy 523: 3 192 org.apache.logging.log4j.core.layout.PatternLayout 524: 12 192 org.apache.logging.log4j.core.util.datetime.FastDateParser$NumberStrategy 525: 3 192 org.apache.logging.log4j.core.util.datetime.FixedDateFormat 526: 8 192 org.apache.logging.log4j.spi.StandardLevel 527: 2 192 sun.nio.ch.ServerSocketChannelImpl 528: 4 192 sun.nio.cs.StreamEncoder 529: 6 192 sun.reflect.generics.reflectiveObjects.TypeVariableImpl 530: 11 176 java.text.NumberFormat$Field 531: 11 176 java.util.concurrent.ConcurrentSkipListSet 532: 2 176 javax.management.remote.rmi.NoCallStackClassLoader 533: 11 176 org.apache.logging.log4j.core.lookup.MapLookup 534: 8 168 [Ljava.lang.reflect.TypeVariable; 535: 1 168 [[Ljava.math.BigInteger; ``` ------------------------------------------------------------------- ## jstack（线程快照 -- CPU 负载高） - jstack命令主要用来查看Java线程的调用堆栈的，可以用来分析线程问题（如死锁） - jstack用于生成java虚拟机当前时刻的 **线程快照（thread dump）**。主要记录JVM在某一时刻各个线程执行的情况，以栈的形式显示，是一个文本文件。 - 线程快照是当前java虚拟机内每一条线程正在执行的方法堆栈的集合，生成线程快照的主要目的是定位线程出现长时间停顿的原因，如线程间死锁、死循环、请求外部资源导致的长时间等待等。 - 线程出现停顿的时候通过jstack来查看各个线程的调用堆栈，就可以知道没有响应的线程到底在后台做什么事情，或者等待什么资源。 - 如果java程序崩溃生成core文件，jstack工具可以用来获得core文件的java stack和native stack的信息，从而可以轻松地知道java程序是如何崩溃和在程序何处发生问题。 - 另外，jstack工具还可以附属到正在运行的java程序中，看到当时运行的java程序的java stack和native stack的信息, 如果现在运行的java程序呈现hung的状态，jstack是非常有用的。 - `jstack 12011`，查看线程情况 - `jstack -l 12011`，除堆栈外，显示关于锁的附件信息 - 导出文件：`jstack -l PID >> /opt/jstack-tomcat1-20180917.log` - 把占用 CPU 资源高的线程十进制的 PID 转换成 16 进制：`printf "%x\n" PID`，比如：`printf "%x\n" 12401` 得到结果是：`3071` - 在刚刚输出的那个 log 文件中搜索：`3071`，可以找到：`nid=0x3071` - 在线看某个线程 PID 的情况：`jstack 进程ID | grep 十六进制线程ID -A 10` - `-A 10` 参数用来指定显示行数，否则只会显示一行信息 - 下面 demo 内容太多，所以选取其中一部分结构： - 常见线程状态 - Runnable：正在运行的线程 - Sleeping：休眠的线程 - Waiting：等待的线程 ``` 2018-03-08 14:28:13 Full thread dump Java HotSpot(TM) 64-Bit Server VM (25.151-b12 mixed mode): "Attach Listener" #53 daemon prio=9 os_prio=0 tid=0x00007f8a34009000 nid=0x865 waiting on condition [0x0000000000000000] java.lang.Thread.State: RUNNABLE "Log4j2-AsyncLoggerConfig-1" #16 daemon prio=5 os_prio=0 tid=0x00007f8a5c48d800 nid=0x2f0c waiting on condition [0x00007f8a4cbfe000] java.lang.Thread.State: WAITING (parking) at sun.misc.Unsafe.park(Native Method) - parking to wait for <0x00000007155e4850> (a java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject) at java.util.concurrent.locks.LockSupport.park(LockSupport.java:175) at java.util.concurrent.locks.AbstractQueuedSynchronizer$ConditionObject.await(AbstractQueuedSynchronizer.java:2039) at com.lmax.disruptor.BlockingWaitStrategy.waitFor(BlockingWaitStrategy.java:45) at com.lmax.disruptor.ProcessingSequenceBarrier.waitFor(ProcessingSequenceBarrier.java:56) at com.lmax.disruptor.BatchEventProcessor.run(BatchEventProcessor.java:124) at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624) at java.lang.Thread.run(Thread.java:748) "Wrapper-Control-Event-Monitor" #13 daemon prio=5 os_prio=0 tid=0x00007f8a5c34e000 nid=0x2efc waiting on condition [0x00007f8a60314000] java.lang.Thread.State: TIMED_WAITING (sleeping) at java.lang.Thread.sleep(Native Method) at org.tanukisoftware.wrapper.WrapperManager$3.run(WrapperManager.java:731) "RMI TCP Accept-0" #11 daemon prio=5 os_prio=0 tid=0x00007f8a5c32f800 nid=0x2efa runnable [0x00007f8a60619000] java.lang.Thread.State: RUNNABLE at java.net.PlainSocketImpl.socketAccept(Native Method) at java.net.AbstractPlainSocketImpl.accept(AbstractPlainSocketImpl.java:409) at java.net.ServerSocket.implAccept(ServerSocket.java:545) at java.net.ServerSocket.accept(ServerSocket.java:513) at sun.management.jmxremote.LocalRMIServerSocketFactory$1.accept(LocalRMIServerSocketFactory.java:52) at sun.rmi.transport.tcp.TCPTransport$AcceptLoop.executeAcceptLoop(TCPTransport.java:400) at sun.rmi.transport.tcp.TCPTransport$AcceptLoop.run(TCPTransport.java:372) at java.lang.Thread.run(Thread.java:748) "Service Thread" #7 daemon prio=9 os_prio=0 tid=0x00007f8a5c0b4800 nid=0x2ef3 runnable [0x0000000000000000] java.lang.Thread.State: RUNNABLE "C1 CompilerThread1" #6 daemon prio=9 os_prio=0 tid=0x00007f8a5c0b1800 nid=0x2ef2 waiting on condition [0x0000000000000000] java.lang.Thread.State: RUNNABLE "C2 CompilerThread0" #5 daemon prio=9 os_prio=0 tid=0x00007f8a5c0af800 nid=0x2ef1 waiting on condition [0x0000000000000000] java.lang.Thread.State: RUNNABLE "Signal Dispatcher" #4 daemon prio=9 os_prio=0 tid=0x00007f8a5c0aa800 nid=0x2ef0 runnable [0x0000000000000000] java.lang.Thread.State: RUNNABLE "Finalizer" #3 daemon prio=8 os_prio=0 tid=0x00007f8a5c07b000 nid=0x2eef in Object.wait() [0x00007f8a614f4000] java.lang.Thread.State: WAITING (on object monitor) at java.lang.Object.wait(Native Method) - waiting on <0x00000007155e5ba8> (a java.lang.ref.ReferenceQueue$Lock) at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:143) - locked <0x00000007155e5ba8> (a java.lang.ref.ReferenceQueue$Lock) at java.lang.ref.ReferenceQueue.remove(ReferenceQueue.java:164) at java.lang.ref.Finalizer$FinalizerThread.run(Finalizer.java:209) "VM Thread" os_prio=0 tid=0x00007f8a5c06e800 nid=0x2eed runnable "VM Periodic Task Thread" os_prio=0 tid=0x00007f8a5c332000 nid=0x2efb waiting on condition JNI global references: 281 ``` ## 资料 - - - ================================================ FILE: markdown-file/Jenkins-Install-And-Settings.md ================================================ # Jenkins 安装和配置 ## Jenkins 介绍 - 官网： - 官网插件库： - 官网下载： - 官网帮助中心： ## Docker 下安装 Jenkins - 配置：至少需要 2G 内存 - 先禁用 selinux - 编辑配置文件：`vim /etc/selinux/config` - 把 `SELINUX=enforcing` 改为 `SELINUX=disabled` - 重启服务器 - 官网下载中有介绍其版本标识： - 我们就选用：Long-term Support (LTS) - 官网关于 Docker 部署也有专门文档： - 先创建一个宿主机以后用来存放数据的目录：`mkdir -p /data/jenkins/jenkins_home && chmod 777 -R /data/jenkins/jenkins_home` - 安装镜像（813MB，有点大）：`docker pull jenkins/jenkins:lts` - 查看下载下来的镜像：`docker images` - 首次运行镜像：`docker run --name jenkins-master -p 8123:18080 -p 50000:50000 -v /etc/localtime:/etc/localtime -v /data/jenkins/jenkins_home:/var/jenkins_home -e JAVA_OPTS="-Duser.timezone=Asia/Shanghai" -d --restart always jenkins/jenkins:lts` - 这里的 8080 端口是 jenkins 运行程序的端口，必须要有映射的。50000 端口是非必须映射的，但是如果你要用 Jenkins 分布式构建这个就必须开放 - 如果报下面的错误： ``` touch: cannot touch '/var/jenkins_home/copy_reference_file.log': Permission denied Can not write to /var/jenkins_home/copy_reference_file.log. Wrong volume permissions? ``` - 解决办法：`chown -R 1000:1000 /data/jenkins/jenkins_home`，具体原因：[点击查看](http://www.cnblogs.com/jackluo/p/5783116.html) - 问题的本质就是，jenkins 镜像中的系统用户是：jenkins，当你进入容器 bash 内，输入：`whoami && id`，你就可以看到他的 uid 是 1000，所以这里才 chown 1000 - 查看容器运行情况：`docker ps` - 进入容器中 Jenkins shell 交互界面：`docker exec -it bd290d5eb0d /bin/bash` ## 首次使用 Jenkins / Jenkins 插件推荐 - 我这里就不截图了，有需要截图可以看这博文，差不多就是这样的：[点击我o(∩_∩)o ](https://blog.csdn.net/boling_cavalry/article/details/78942408) - 首次进入 Jenkins 的 Web UI 界面是一个解锁页面 Unlock Jenkins，需要让你输入：Administrator password - 这个密码放在：`/var/jenkins_home/secrets/initialAdminPassword`，你需要先：`docker exec -it ci_jenkins_1 /bin/bash` - 然后：`cat /data/jenkins/jenkins_home/secrets/initialAdminPassword` - 也有可能是这个目录：`cat /var/jenkins_home/secrets/initialAdminPassword` - 然后再接下来就是插件的安装，我推荐直接用它推荐给我们的插件直接安装，稍后再安装自己需要定制的。 - 插件安装完会进入：Create First Admin User 页面，填写一个用户信息即可。 - 我的这里的代码仓库是：Gitlab - 推荐插件 - Publish Over SSH（具体名字要看下） - Dashbroad View - Folders View - OWASP Markup Formatter Plugin - Build Name Setter Plugin - build timeout plugin - Credentials Binding Plugin - Embeddable Build Status Plugin - Pipeline - Build Pipeline Plugin - Docker Pipeline Plugin - Git plugin - GitLab Plugin - SSH Slaves plugin - Maven Integration plugin - Matrix Authorization Strategy Plugin - PAM Authentication plugin - LDAP Plugin - Role-based Authorization Strategy - Email Extension Plugin - Email Extension Template Plugin - Mailer Plugin - NotifyQQ（[QQ 消息通知](https://github.com/ameizi/NotifyQQ)） - 钉钉通知（[钉钉 消息通知](https://wiki.jenkins.io/display/JENKINS/Dingding+Notification+Plugin)） - 360 FireLine：代码规范检查，已经集成了阿里巴巴的代码规约（P3C）检查 - AnsiColor（可选）：这个插件可以让Jenkins的控制台输出的log带有颜色 - oauth（具体名字要看下） - Build Failure Analyzer 分析构建错误日志并在构建页面显示错误 - SSH plugin 支持通过SSH执行脚本 - Pre SCM BuildStep Plugin 在拉代码之前插入一些步骤 - GitHub API Plugin Github API插件 - GitHub Pull Request Builder Github Pull Request时自动构建 - GitHub plugin Github与Jenkins集成 - GIT client plugin Git客户端插件 - Maven Integration plugin：用于构建 Maven 项目 - Gradle Plugin：用于构建 Gradle 项目 - Gitlab Plugin：可能会直接安装不成功，如果不成功根据报错的详细信息可以看到 hpi 文件的下载地址，挂代理下载下来，然后离线安装即可 - Gitlab Hook：用于触发 GitLab 的一些 WebHooks 来构建项目 - Gitlab Authentication 这个插件提供了使用GitLab进行用户认证和授权的方案 - Docker Commons Plugin - Docker plugin - Kubernetes - Pre SCM BuildStep Plugin 在拉代码之前插入一些步骤 - GitHub Pull Request Builder Github Pull Request时自动构建 - GitHub API Plugin Github API插件 - NodeJS Plugin ## Docker 的 Jenkins 与 Docker 结合使用 - 运行镜像命令：`docker run --name jenkins-master -p 8123:18080 -p 50000:50000 -v /etc/localtime:/etc/localtime -v /data/jenkins/jenkins_home:/var/jenkins_home -v /var/run/docker.sock:/var/run/docker.sock -e JAVA_OPTS="-Duser.timezone=Asia/Shanghai" -d --restart always jenkins/jenkins:lts` - 比上面多了一步：`-v /var/run/docker.sock:/var/run/docker.sock` - 这样，在 jenkins 里面写 shell 脚本调用 docker 程序，就可以直接调用宿主机的 docker 了。 ------------------------------------------------------------------- ## Jenkins 安装（YUM） - **需要 JDK8 环境** - 当前最新版本：`2.138.1-1.1`（201810） - 官网安装说明 RedHat Linux RPM packages： - 官网在线安装（72M），该安装方式会自己生成一个 jenkins 用户组和用户： ``` sudo wget -O /etc/yum.repos.d/jenkins.repo https://pkg.jenkins.io/redhat-stable/jenkins.repo sudo rpm --import https://pkg.jenkins.io/redhat-stable/jenkins.io.key sudo yum install -y jenkins ``` - 查看安装后的情况：`rpm -ql jenkins` ``` /etc/init.d/jenkins /etc/logrotate.d/jenkins /etc/sysconfig/jenkins /usr/lib/jenkins /usr/lib/jenkins/jenkins.war /usr/sbin/rcjenkins /var/cache/jenkins /var/lib/jenkins /var/log/jenkins ``` - jenkins 相关目录释义： ``` /usr/lib/jenkins/：jenkins安装目录，war 包会放在这里。 /etc/sysconfig/jenkins：jenkins配置文件，“端口”，“JENKINS_HOME” 等都可以在这里配置。 /var/lib/jenkins/：默认的 JENKINS_HOME。 /var/log/jenkins/jenkins.log：jenkins 日志文件。 ``` - 控制台输出方式启动：`java -jar /usr/lib/jenkins/jenkins.war --httpPort=18080` - 内置 Jetty，默认是 18080 端口，你也可以改为其他（建议修改为其他） - 可以看到有一个这个重点内容，这是你的初始化密码，等下会用到的： ``` Jenkins initial setup is required. An admin user has been created and a password generated. Please use the following password to proceed to installation: daacc724767640a29ddc99d159a80cf8 This may also be found at: /root/.jenkins/secrets/initialAdminPassword ``` - 守护进程启动：`nohup java -jar /usr/lib/jenkins/jenkins.war --httpPort=18080 > /dev/null 2>&1 &` - 浏览器访问 Jenkins 首页开始配置： - 特殊情况： - 如果配置插件过程遇到这个错误：`No valid crumb was included in the request`，则多重试几次。 - 登录后把： 下面的 `防止跨站点请求伪造` 勾选去掉。遇到问题多试几次。 ## 忘记 admin 密码进行重置 - 备份配置文件：`cp /root/.jenkins/config.xml /root/.jenkins/config.xml.back` - 编辑：`vim /root/.jenkins/config.xml`，删除 config.xml 文件中的这部分内容，在 10 行左右位置 ``` true true true false ``` - 重启服务，进入首页此时系统是免密状态 - 选择左侧的 `系统管理`，系统会提示你需要配置安全设置：`全局安全配置` - 勾选 `启用安全` - 安全域 > 勾选 `Jenkins专有用户数据库` - 点击保存 - 重新点击首页：`系统管理` - 点击 `管理用户` - 在用户列表中点击 admin 右侧齿轮 - 修改密码，修改后即可重新登录。 - 选择左侧的 `系统管理`，系统会提示你需要配置安全设置：`全局安全配置` - 勾选 `启用安全` - 授权策略 > 勾选 `登录用户可以做任何事` 或 `安全矩阵` - 点击保存 ------------------------------------------------------------------- ## pipeline 语法 - 全局 pipeline 语法说明： - 其他资料 - - - - - #### 内置的参数 ``` BUILD_NUMBER = ${env.BUILD_NUMBER}" BUILD_ID = ${env.BUILD_ID}" BUILD_DISPLAY_NAME = ${env.BUILD_DISPLAY_NAME}" JOB_NAME = ${env.JOB_NAME}" JOB_BASE_NAME = ${env.JOB_BASE_NAME}" WORKSPACE = ${env.WORKSPACE}" JENKINS_HOME = ${env.JENKINS_HOME}" JENKINS_URL = ${env.JENKINS_URL}" BUILD_URL = ${env.BUILD_URL}" JOB_URL = ${env.JOB_URL}" ``` - 输出结果： ``` BUILD_NUMBER = 21 BUILD_ID = 21 BUILD_DISPLAY_NAME = #21 JOB_NAME = react JOB_BASE_NAME = react WORKSPACE = /root/.jenkins/workspace/react JENKINS_HOME = /root/.jenkins JENKINS_URL = http://192.168.0.105:18080/ BUILD_URL = http://192.168.0.105:18080/job/react/21/ JOB_URL = http://192.168.0.105:18080/job/react/ ``` #### 构建时指定参数 - 如果要构建的时候明确输入参数值，可以用 `parameters`： ``` pipeline { agent any parameters { string(name: 'assignVersionValue', defaultValue: '1.1.3', description: '构建之前请先指定版本号') } tools { jdk 'JDK8' maven 'MAVEN3' } options { timestamps() disableConcurrentBuilds() buildDiscarder(logRotator( numToKeepStr: '20', daysToKeepStr: '30', )) } environment { gitUrl = "https://gitee.com/youmeek/springboot-jenkins-demo.git" branchName = "master" giteeCredentialsId = "Gitee" projectWorkSpacePath = "${env.WORKSPACE}" } stages { stage('Check Env') { /*当指定的参数版本号等于空字符的时候进入 steps。这里的 when 对 当前 stage 有效，对其他 stage 无效*/ when { environment name: 'assignVersionValue', value: '' } /*结束整个任务。如果不想结束整个任务，就不要用：exit 1*/ steps { sh "exit 1" } } stage('Pre Env') { steps { echo "======================================项目名称 = ${env.JOB_NAME}" echo "======================================项目 URL = ${gitUrl}" echo "======================================项目分支 = ${branchName}" echo "======================================当前编译版本号 = ${env.BUILD_NUMBER}" echo "======================================项目空间文件夹路径 = ${projectWorkSpacePath}" echo "======================================构建时自己指定的版本号值 = ${params.assignVersionValue}" } } } } ``` #### 定时构建 ``` pipeline { agent any /*采用 linux cron 语法即可*/ triggers { cron('*/1 * * * *') } tools { jdk 'JDK8' maven 'MAVEN3' } options { timestamps() disableConcurrentBuilds() buildDiscarder(logRotator( numToKeepStr: '20', daysToKeepStr: '30', )) } environment { gitUrl = "https://gitee.com/youmeek/springboot-jenkins-demo.git" branchName = "master" giteeCredentialsId = "Gitee" projectWorkSpacePath = "${env.WORKSPACE}" } stages { stage('Pre Env') { steps { echo "======================================项目名称 = ${env.JOB_NAME}" echo "======================================项目 URL = ${gitUrl}" echo "======================================项目分支 = ${branchName}" echo "======================================当前编译版本号 = ${env.BUILD_NUMBER}" echo "======================================项目空间文件夹路径 = ${projectWorkSpacePath}" } } } } ``` #### 同时构建其他 Job ``` stage('运行其他任务') { steps { build job: '任务名称' } } ``` ------------------------------------------------------------------- ## Jenkins 前端 React 项目构建 - **确保**：安装了 [Node.js](Node-Install-And-Usage.md) #### 简单的 pipeline 写法（开源项目） ``` pipeline { agent any options { timestamps() disableConcurrentBuilds() buildDiscarder(logRotator( numToKeepStr: '20', daysToKeepStr: '30', )) } /*=======================================常修改变量-start=======================================*/ environment { gitUrl = "https://github.com/satan31415/heh_umi_template.git" branchName = "master" projectBuildPath = "${env.WORKSPACE}/dist" nginxHtmlRoot = "/usr/share/nginx/react" } /*=======================================常修改变量-end=======================================*/ stages { stage('Pre Env') { steps { echo "======================================项目名称 = ${env.JOB_NAME}" echo "======================================项目 URL = ${gitUrl}" echo "======================================项目分支 = ${branchName}" echo "======================================当前编译版本号 = ${env.BUILD_NUMBER}" echo "======================================项目 Build 文件夹路径 = ${projectBuildPath}" echo "======================================项目 Nginx 的 ROOT 路径 = ${nginxHtmlRoot}" } } stage('Git Clone'){ steps { git branch: "${branchName}", url: "${gitUrl}" } } stage('NPM Install') { steps { sh "npm install" } } stage('NPM Build') { steps { sh "npm run build" } } stage('Nginx Deploy') { steps { sh "rm -rf ${nginxHtmlRoot}/" sh "cp -r ${projectBuildPath}/ ${nginxHtmlRoot}/" } } } } ``` #### 简单的 pipeline 写法（闭源项目 -- 码云为例） - 新增一个全局凭据： - 类型：`Username with password` - 范围：`全局` - Username：`你的 Gitee 账号` - Password：`你的 Gitee 密码` - **ID**：`只要是唯一值就行，后面要用到` - 描述：`最好跟 ID 一致，方便认` ``` pipeline { agent any options { timestamps() disableConcurrentBuilds() buildDiscarder(logRotator( numToKeepStr: '20', daysToKeepStr: '30', )) } /*=======================================常修改变量-start=======================================*/ environment { gitUrl = "https://gitee.com/youmeek/react-demo.git" branchName = "master" giteeCredentialsId = "上面全局凭据填写的 ID" projectBuildPath = "${env.WORKSPACE}/dist" nginxHtmlRoot = "/usr/share/nginx/react" } /*=======================================常修改变量-end=======================================*/ stages { stage('Pre Env') { steps { echo "======================================项目名称 = ${env.JOB_NAME}" echo "======================================项目 URL = ${gitUrl}" echo "======================================项目分支 = ${branchName}" echo "======================================当前编译版本号 = ${env.BUILD_NUMBER}" echo "======================================项目 Build 文件夹路径 = ${projectBuildPath}" echo "======================================项目 Nginx 的 ROOT 路径 = ${nginxHtmlRoot}" } } stage('Git Clone'){ steps { git branch: "${branchName}", credentialsId: "${giteeCredentialsId}", url: "${gitUrl}" } } stage('NPM Install') { steps { sh "npm install" } } stage('NPM Build') { steps { sh "npm run build" } } stage('Nginx Deploy') { steps { sh "rm -rf ${nginxHtmlRoot}/" sh "cp -r ${projectBuildPath}/ ${nginxHtmlRoot}/" } } } } ``` ------------------------------------------------------------------- ## Jenkins 后端 Spring Boot 项目构建 #### 安装 Maven - [参考该文章](Maven-Install-And-Settings.md) #### 配置工具 - 访问： - 我习惯自己安装，所以这里修改配置： - **需要注意**：配置里面的 `别名` 不要随便取名字，后面 Pipeline 要用到的。在 tool 标签里面会用到。 - 具体可以查看该图片说明：[点击查看](https://upload-images.jianshu.io/upload_images/12159-ef61595aebaa4244.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) #### 简单的 pipeline 写法（Jar 方式运行）（闭源项目 -- 码云为例） ###### 用 supervisord 做进程控制 - [supervisord 的使用](Daemontools.md) - 生成 supervisord 的配置文件会写在 Pipeline，所以只要你保证服务器 supervisord 正常运行即可 ###### 配置 Jenkins - **必须**：新增一个全局凭据，方法参考前端部分 ``` pipeline { agent any /*=======================================工具环境修改-start=======================================*/ tools { jdk 'JDK8' maven 'MAVEN3' } /*=======================================工具环境修改-end=======================================*/ options { timestamps() disableConcurrentBuilds() buildDiscarder(logRotator( numToKeepStr: '20', daysToKeepStr: '30', )) } /*=======================================常修改变量-start=======================================*/ environment { gitUrl = "https://gitee.com/youmeek/springboot-jenkins-demo.git" branchName = "master" giteeCredentialsId = "Gitee" projectWorkSpacePath = "${env.WORKSPACE}" projectBuildTargetPath = "${env.WORKSPACE}/target" projectJarNewName = "${env.JOB_NAME}.jar" supervisorConfigFileFullPath = "/etc/supervisor/conf.d/${env.JOB_NAME}.conf" supervisorLogPath = "/var/log/supervisor" } /*=======================================常修改变量-end=======================================*/ stages { stage('Pre Env') { steps { echo "======================================项目名称 = ${env.JOB_NAME}" echo "======================================项目 URL = ${gitUrl}" echo "======================================项目分支 = ${branchName}" echo "======================================当前编译版本号 = ${env.BUILD_NUMBER}" echo "======================================项目空间文件夹路径 = ${projectWorkSpacePath}" echo "======================================项目 build 后 jar 路径 = ${projectBuildTargetPath}" echo "======================================项目 jar 新名称 = ${projectJarNewName}" echo "======================================supervisor 配置文件路径 = ${supervisorConfigFileFullPath}" echo "======================================supervisor 存放 log 路径 = ${supervisorLogPath}" } } stage('Git Clone'){ steps { git branch: "${branchName}", credentialsId: "${giteeCredentialsId}", url: "${gitUrl}" } } stage('Maven Clean') { steps { sh "mvn clean" } } stage('Maven Package') { steps { sh "mvn package -DskipTests" } } stage('Spring Boot Run') { steps { sh """ mv ${projectBuildTargetPath}/*.jar ${projectBuildTargetPath}/${projectJarNewName} if [ ! -f ${supervisorConfigFileFullPath} ]; then touch ${supervisorConfigFileFullPath} cat << EOF >> ${supervisorConfigFileFullPath} [program:${env.JOB_NAME}] command=java -jar ${projectBuildTargetPath}/${projectJarNewName} stdout_logfile=${supervisorLogPath}/${env.JOB_NAME}.log stderr_logfile=${supervisorLogPath}/${env.JOB_NAME}-err.log user=root autostart=true autorestart=false startsecs=5 priority=1 stopasgroup=true killasgroup=true EOF /usr/bin/supervisorctl update fi /usr/bin/supervisorctl restart ${env.JOB_NAME} """ } } } } ``` #### 简单的 pipeline 写法（Docker 方式运行）（闭源项目 -- 码云为例） - **确保** 项目根目录有 Dockerfile 文件（部分内容自己修改），内容模板： ``` FROM java:8 VOLUME /tmp ENV TZ=Asia/Shanghai RUN ln -snf /usr/share/zoneinfo/$TZ /etc/localtime && echo $TZ > /etc/timezone ADD ./target/buildApp.jar /app.jar RUN bash -c 'touch /app.jar' EXPOSE 8081 ENTRYPOINT ["java", "-jar", "-Xms512M", "-Xmx512M" , "-XX:MetaspaceSize=128M", "-XX:MaxMetaspaceSize=256M" ,"/app.jar"] ``` - Pipeline 写法 ``` pipeline { agent any /*=======================================工具环境修改-start=======================================*/ tools { jdk 'JDK8' maven 'MAVEN3' } /*=======================================工具环境修改-end=======================================*/ options { timestamps() disableConcurrentBuilds() buildDiscarder(logRotator( numToKeepStr: '20', daysToKeepStr: '30', )) } /*=======================================常修改变量-start=======================================*/ environment { gitUrl = "https://gitee.com/youmeek/springboot-jenkins-demo.git" branchName = "master" giteeCredentialsId = "Gitee" projectWorkSpacePath = "${env.WORKSPACE}" projectBuildTargetPath = "${env.WORKSPACE}/target" projectJarNewName = "buildApp.jar" dockerImageName = "docker.youmeek.com/demo/${env.JOB_NAME}:${env.BUILD_NUMBER}" dockerContainerName = "${env.JOB_NAME}" inHostPort = "8082" inDockerAndJavaPort = "8081" inHostLogPath = "/data/docker/logs/${dockerContainerName}/${env.BUILD_NUMBER}" inDockerLogPath = "/data/logs" dockerRunParam = "--name=${dockerContainerName} --hostname=${dockerContainerName} -v /etc/hosts:/etc/hosts -v ${inHostLogPath}:${inDockerLogPath} --restart=always -p ${inHostPort}:${inDockerAndJavaPort}" } /*=======================================常修改变量-end=======================================*/ stages { stage('Pre Env') { steps { echo "======================================项目名称 = ${env.JOB_NAME}" echo "======================================项目 URL = ${gitUrl}" echo "======================================项目分支 = ${branchName}" echo "======================================当前编译版本号 = ${env.BUILD_NUMBER}" echo "======================================项目空间文件夹路径 = ${projectWorkSpacePath}" echo "======================================项目 build 后 jar 路径 = ${projectBuildTargetPath}" echo "======================================项目 jar 新名称 = ${projectJarNewName}" echo "======================================Docker 镜像名称 = ${dockerImageName}" echo "======================================Docker 容器名称 = ${dockerContainerName}" } } stage('Git Clone'){ steps { git branch: "${branchName}", credentialsId: "${giteeCredentialsId}", url: "${gitUrl}" } } stage('Maven Clean') { steps { sh "mvn clean" } } stage('Maven Package') { steps { sh "mvn package -DskipTests" } } stage('构建 Docker 镜像') { steps { sh """ mv ${projectBuildTargetPath}/*.jar ${projectBuildTargetPath}/${projectJarNewName} cd ${projectWorkSpacePath} docker build -t ${dockerImageName} ./ """ } } stage('运行 Docker 镜像') { steps { sh """ docker stop ${dockerContainerName} | true docker rm -f ${dockerContainerName} | true docker run -d ${dockerRunParam} ${dockerImageName} """ } } } } ``` #### 简单的 pipeline 写法（Docker + Harbor 方式运行）（闭源项目 -- 码云为例） - 请先看懂上面 Docker 方式 - 一共需要 3 台机子（要保证在内网环境，不然一定会有安全问题） - 一台部署 [Harbor](Harbor-Install-And-Usage.md) - 一台部署 Jenkins - 一台运行项目 - 确保 Jenkins 机子已经 Docker Login Harbor，这个就一次性的动作，所以自己在 Jenkins 服务器上操作即可 - 确保 Spring Boot 项目运行的机子已经 Docker Login Harbor，这个就一次性的动作，所以自己在 Jenkins 服务器上操作即可 - 确保 Spring Boot 项目运行的机子 docker remote api 开启（没有身份认证功能，所以才要保证内网） - Pipeline 写法 ``` pipeline { agent any /*=======================================工具环境修改-start=======================================*/ tools { jdk 'JDK8' maven 'MAVEN3' } /*=======================================工具环境修改-end=======================================*/ options { timestamps() disableConcurrentBuilds() buildDiscarder(logRotator( numToKeepStr: '20', daysToKeepStr: '30', )) } /*=======================================常修改变量-start=======================================*/ environment { gitUrl = "https://gitee.com/youmeek/springboot-jenkins-demo.git" branchName = "master" giteeCredentialsId = "Gitee" projectWorkSpacePath = "${env.WORKSPACE}" projectBuildTargetPath = "${env.WORKSPACE}/target" projectJarNewName = "buildApp.jar" projectDockerDaemon = "tcp://192.168.1.12:2376" harborUrl = "192.168.1.13" harborProjectName = "demo" dockerImageName = "${harborUrl}/${harborProjectName}/${env.JOB_NAME}:${env.BUILD_NUMBER}" dockerContainerName = "${env.JOB_NAME}" inHostPort = "8082" inDockerAndJavaPort = "8081" inHostLogPath = "/data/docker/logs/${dockerContainerName}/${env.BUILD_NUMBER}" inDockerLogPath = "/data/logs" dockerRunParam = "--name=${dockerContainerName} --hostname=${dockerContainerName} -v /etc/hosts:/etc/hosts -v ${inHostLogPath}:${inDockerLogPath} --restart=always -p ${inHostPort}:${inDockerAndJavaPort}" } /*=======================================常修改变量-end=======================================*/ stages { stage('Pre Env') { steps { echo "======================================项目名称 = ${env.JOB_NAME}" echo "======================================项目 URL = ${gitUrl}" echo "======================================项目分支 = ${branchName}" echo "======================================当前编译版本号 = ${env.BUILD_NUMBER}" echo "======================================项目空间文件夹路径 = ${projectWorkSpacePath}" echo "======================================项目 build 后 jar 路径 = ${projectBuildTargetPath}" echo "======================================项目 jar 新名称 = ${projectJarNewName}" echo "======================================Docker 镜像名称 = ${dockerImageName}" echo "======================================Docker 容器名称 = ${dockerContainerName}" echo "======================================harbor 地址 = ${harborUrl}" echo "======================================harbor 项目名称 = ${harborProjectName}" echo "======================================项目在宿主机的端口 = ${inHostPort}" echo "======================================项目在 Docker 容器中的端口 = ${inDockerAndJavaPort}" echo "======================================项目在宿主机的 log 路径 = ${inHostLogPath}" echo "======================================项目在 docker 容器的 log 路径 = ${inDockerLogPath}" echo "======================================项目运行的 Docker remote ip 信息 = ${projectDockerDaemon}" echo "======================================项目运行的参数 = ${dockerRunParam}" } } stage('Git Clone'){ steps { git branch: "${branchName}", credentialsId: "${giteeCredentialsId}", url: "${gitUrl}" } } stage('Maven Clean') { steps { sh "mvn clean" } } stage('Maven Package') { steps { sh "mvn package -DskipTests" } } stage('构建 Docker 镜像') { steps { sh """ mv ${projectBuildTargetPath}/*.jar ${projectBuildTargetPath}/${projectJarNewName} cd ${projectWorkSpacePath} docker build -t ${dockerImageName} ./ """ } } stage('Push Docker 镜像') { options { timeout(time: 5, unit: 'MINUTES') } steps { sh """ docker push ${dockerImageName} docker rmi ${dockerImageName} """ } } stage('运行远程 Docker 镜像') { options { timeout(time: 5, unit: 'MINUTES') } steps { sh """ docker -H ${projectDockerDaemon} pull ${dockerImageName} docker -H ${projectDockerDaemon} stop ${dockerContainerName} | true docker -H ${projectDockerDaemon} rm -f ${dockerContainerName} | true docker -H ${projectDockerDaemon} run -d ${dockerRunParam} ${dockerImageName} """ } } } } ``` ------------------------------------------------------------------- ## 多节点 master 与 slave - 可以参考这篇： ------------------------------------------------------------------- ## 资料 - - - - ================================================ FILE: markdown-file/Jira-Install-And-Settings.md ================================================ # Jira 安装和配置 ## Jira 7.13.3 - 最新 7.13.3 版本时间：2019-04 #### 数据库 ``` docker run \ --name mysql-jira \ --restart always \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD=adg123456 \ -e MYSQL_DATABASE=jira_db \ -e MYSQL_USER=jira_user \ -e MYSQL_PASSWORD=jira_123456 \ -d \ mysql:5.7 ``` - 连上容器：`docker exec -it mysql-jira /bin/bash` - 连上 MySQL：`mysql -u root -p` - 设置编码：**必须做这一步，不然配置过程会报错，JIRA 的 DB 要求是 utf8mb4** ``` SET NAMES 'utf8mb4'; alter database jira_db character set utf8mb4; ``` #### 安装 - 下载： - 选择：tar.gz 类型下载 - 解压：`tar zxvf atlassian-jira-software-7.13.3.tar.gz` - 创建 home 目录：`mkdir /usr/local/atlassian-jira-software-7.13.3-standalone/data` - 配置 home 变量： ``` 编辑：vim ~/.zshrc 在文件尾部添加： JIRA_HOME=/usr/local/atlassian-jira-software-7.13.3-standalone/data export JIRA_HOME 刷新配置：`source ~/.zshrc` ``` - 设置 MySQL 连接： - 把 mysql-connector-java-5.1.47.jar 放在目录 `/usr/local/atlassian-jira-software-7.13.3-standalone/atlassian-jira/WEB-INF/lib` #### License 过程 - 参考自己的为知笔记 #### 运行 - 启动：`sh /usr/local/atlassian-jira-software-7.13.3-standalone/bin/start-jira.sh` - 停止：`sh /usr/local/atlassian-jira-software-7.13.3-standalone/bin/stop-jira.sh` - `ps -ef | grep java` - 查看 log：`tail -300f /usr/local/atlassian-jira-software-7.13.3-standalone/logs/catalina.out` - 访问： - 注意防火墙配置 - 如果需要更换端口号可以修改：`/usr/local/atlassian-jira-software-7.13.3-standalone/conf/server.xml` 文件中的内容。 #### 中文化 - 从 7.x 版本默认已经有中文支持，不需要再汉化了 - 在安装后首次进入的时候就可以配置，选择中文了 #### 首次配置 - 参考文章： - 因为步骤一样，所以我就不再截图了。 ================================================ FILE: markdown-file/K8S-Install-And-Usage.md ================================================ # Kubernets（K8S） 使用 ## 环境说明 - CentOS 7.5（不准确地说：要求必须是 CentOS 7 64位） - Docker ## Kubernetes - 目前流行的容器编排系统 - 简称：K8S - 官网： - 主要解决几个问题： - `调度` - `生命周期及健康状况` - `服务发现` - `监控` - `认证` - `容器聚合` - 主要角色：Master、Node #### 安装准备 - Kubernetes 1.13 版本 - 推荐最低 2C2G，优先：2C4G 或以上 - 特别说明：1.13 之前的版本，由于网络问题，需要各种设置，这里就不再多说了。1.13 之后相对就简单了点。 - 优先官网软件包：kubeadm - 官网资料： - issues 入口： - 源码入口： - 安装指导： - 按官网要求做下检查： - 网络环境： - 端口检查： - **对 Docker 版本的支持，这里官网推荐的是 18.06**： - 三大核心工具包，都需要各自安装，并且注意版本关系： - `kubeadm`: the command to bootstrap the cluster. - 集群部署、管理工具 - `kubelet`: the component that runs on all of the machines in your cluster and does things like starting pods and containers. - 具体执行层面的管理 Pod 和 Docker 工具 - `kubectl`: the command line util to talk to your cluster. - 操作 k8s 的命令行入口工具 - 官网插件安装过程的故障排查： - 其他部署方案： - - - #### 开始安装 - Kubernetes 1.13.3 版本 - 三台机子： - master-1：`192.168.0.127` - node-1：`192.168.0.128` - node-2：`192.168.0.129` - 官网最新版本： - 官网 1.13 版本的 changelog： - **所有节点安装 Docker 18.06，并设置阿里云源** - 可以参考：[点击我o(∩_∩)o ](https://github.com/judasn/Linux-Tutorial/blob/master/favorite-file/shell/install_docker_k8s_disable_firewalld_centos7-aliyun.sh) - 核心，查看可以安装的 Docker 列表：`yum list docker-ce --showduplicates` - 所有节点设置 kubernetes repo 源，并安装 Kubeadm、Kubelet、Kubectl 都设置阿里云的源 - Kubeadm 初始化集群过程当中，它会下载很多的镜像，默认也是去 Google 家里下载。但是 1.13 新增了一个配置：`--image-repository` 算是救了命。 #### 安装具体流程 - 同步所有机子时间：`systemctl start chronyd.service && systemctl enable chronyd.service` - 所有机子禁用防火墙、selinux、swap ``` systemctl stop firewalld.service systemctl disable firewalld.service systemctl disable iptables.service iptables -P FORWARD ACCEPT setenforce 0 && sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config echo "vm.swappiness = 0" >> /etc/sysctl.conf swapoff -a && sysctl -w vm.swappiness=0 ``` - 给各自机子设置 hostname 和 hosts ``` hostnamectl --static set-hostname k8s-master-1 hostnamectl --static set-hostname k8s-node-1 hostnamectl --static set-hostname k8s-node-2 vim /etc/hosts 192.168.0.127 k8s-master-1 192.168.0.128 k8s-node-1 192.168.0.129 k8s-node-2 ``` - 给 master 设置免密 ``` ssh-keygen -t rsa cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys ssh localhost ssh-copy-id -i ~/.ssh/id_rsa.pub -p 22 root@k8s-node-1（根据提示输入 k8s-node-1 密码） ssh-copy-id -i ~/.ssh/id_rsa.pub -p 22 root@k8s-node-2（根据提示输入 k8s-node-2 密码） ssh k8s-master-1 ssh k8s-node-1 ssh k8s-node-2 ``` - 给所有机子设置 yum 源 ``` vim /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ enabled=1 gpgcheck=1 repo_gpgcheck=1 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg scp -r /etc/yum.repos.d/kubernetes.repo root@k8s-node-1:/etc/yum.repos.d/ scp -r /etc/yum.repos.d/kubernetes.repo root@k8s-node-2:/etc/yum.repos.d/ ``` - 给 master 机子创建 flannel 配置文件 ``` mkdir -p /etc/cni/net.d && vim /etc/cni/net.d/10-flannel.conflist { "name": "cbr0", "plugins": [ { "type": "flannel", "delegate": { "hairpinMode": true, "isDefaultGateway": true } }, { "type": "portmap", "capabilities": { "portMappings": true } } ] } ``` - 给所有机子创建配置 ``` vim /etc/sysctl.d/k8s.conf net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward=1 vm.swappiness=0 scp -r /etc/sysctl.d/k8s.conf root@k8s-node-1:/etc/sysctl.d/ scp -r /etc/sysctl.d/k8s.conf root@k8s-node-2:/etc/sysctl.d/ modprobe br_netfilter && sysctl -p /etc/sysctl.d/k8s.conf ``` - 给所有机子安装组件 ``` yum install -y kubelet-1.13.3 kubeadm-1.13.3 kubectl-1.13.3 --disableexcludes=kubernetes ``` - 给所有机子添加一个变量 ``` vim /etc/systemd/system/kubelet.service.d/10-kubeadm.conf 最后一行添加：Environment="KUBELET_CGROUP_ARGS=--cgroup-driver=cgroupfs" ``` - 启动所有机子 ``` systemctl enable kubelet && systemctl start kubelet kubeadm version kubectl version ``` - 初始化 master 节点： ``` echo 1 > /proc/sys/net/ipv4/ip_forward kubeadm init \ --image-repository registry.cn-hangzhou.aliyuncs.com/google_containers \ --pod-network-cidr 10.244.0.0/16 \ --kubernetes-version 1.13.3 \ --ignore-preflight-errors=Swap 其中 10.244.0.0/16 是 flannel 插件固定使用的ip段，它的值取决于你准备安装哪个网络插件 这个过程会下载一些 docker 镜像，时间可能会比较久，看你网络情况。 终端会输出核心内容： [init] Using Kubernetes version: v1.13.3 [preflight] Running pre-flight checks [preflight] Pulling images required for setting up a Kubernetes cluster [preflight] This might take a minute or two, depending on the speed of your internet connection [preflight] You can also perform this action in beforehand using 'kubeadm config images pull' [kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env" [kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml" [kubelet-start] Activating the kubelet service [certs] Using certificateDir folder "/etc/kubernetes/pki" [certs] Generating "front-proxy-ca" certificate and key [certs] Generating "front-proxy-client" certificate and key [certs] Generating "etcd/ca" certificate and key [certs] Generating "etcd/server" certificate and key [certs] etcd/server serving cert is signed for DNS names [k8s-master-1 localhost] and IPs [192.168.0.127 127.0.0.1 ::1] [certs] Generating "etcd/peer" certificate and key [certs] etcd/peer serving cert is signed for DNS names [k8s-master-1 localhost] and IPs [192.168.0.127 127.0.0.1 ::1] [certs] Generating "etcd/healthcheck-client" certificate and key [certs] Generating "apiserver-etcd-client" certificate and key [certs] Generating "ca" certificate and key [certs] Generating "apiserver-kubelet-client" certificate and key [certs] Generating "apiserver" certificate and key [certs] apiserver serving cert is signed for DNS names [k8s-master-1 kubernetes kubernetes.default kubernetes.default.svc kubernetes.default.svc.cluster.local] and IPs [10.96.0.1 192.168.0.127] [certs] Generating "sa" key and public key [kubeconfig] Using kubeconfig folder "/etc/kubernetes" [kubeconfig] Writing "admin.conf" kubeconfig file [kubeconfig] Writing "kubelet.conf" kubeconfig file [kubeconfig] Writing "controller-manager.conf" kubeconfig file [kubeconfig] Writing "scheduler.conf" kubeconfig file [control-plane] Using manifest folder "/etc/kubernetes/manifests" [control-plane] Creating static Pod manifest for "kube-apiserver" [control-plane] Creating static Pod manifest for "kube-controller-manager" [control-plane] Creating static Pod manifest for "kube-scheduler" [etcd] Creating static Pod manifest for local etcd in "/etc/kubernetes/manifests" [wait-control-plane] Waiting for the kubelet to boot up the control plane as static Pods from directory "/etc/kubernetes/manifests". This can take up to 4m0s [apiclient] All control plane components are healthy after 19.001686 seconds [uploadconfig] storing the configuration used in ConfigMap "kubeadm-config" in the "kube-system" Namespace [kubelet] Creating a ConfigMap "kubelet-config-1.13" in namespace kube-system with the configuration for the kubelets in the cluster [patchnode] Uploading the CRI Socket information "/var/run/dockershim.sock" to the Node API object "k8s-master-1" as an annotation [mark-control-plane] Marking the node k8s-master-1 as control-plane by adding the label "node-role.kubernetes.io/master=''" [mark-control-plane] Marking the node k8s-master-1 as control-plane by adding the taints [node-role.kubernetes.io/master:NoSchedule] [bootstrap-token] Using token: 8tpo9l.jlw135r8559kaad4 [bootstrap-token] Configuring bootstrap tokens, cluster-info ConfigMap, RBAC Roles [bootstraptoken] configured RBAC rules to allow Node Bootstrap tokens to post CSRs in order for nodes to get long term certificate credentials [bootstraptoken] configured RBAC rules to allow the csrapprover controller automatically approve CSRs from a Node Bootstrap Token [bootstraptoken] configured RBAC rules to allow certificate rotation for all node client certificates in the cluster [bootstraptoken] creating the "cluster-info" ConfigMap in the "kube-public" namespace [addons] Applied essential addon: CoreDNS [addons] Applied essential addon: kube-proxy Your Kubernetes master has initialized successfully! To start using your cluster, you need to run the following as a regular user: mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config You should now deploy a pod network to the cluster. Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at: https://kubernetes.io/docs/concepts/cluster-administration/addons/ You can now join any number of machines by running the following on each node as root: kubeadm join 192.168.0.127:6443 --token 8tpo9l.jlw135r8559kaad4 --discovery-token-ca-cert-hash sha256:d6594ccc1310a45cbebc45f1c93f5ac113873786365ed63efcf667c952d7d197 ``` - 给 master 机子设置配置 ``` mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config export KUBECONFIG=$HOME/.kube/config ``` - 在 master 上查看一些环境 ``` kubeadm token list kubectl cluster-info ``` - 给 master 安装 Flannel ``` cd /opt && wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml kubectl apply -f /opt/kube-flannel.yml ``` - 到 node 节点加入集群： ``` echo 1 > /proc/sys/net/bridge/bridge-nf-call-iptables kubeadm join 192.168.0.127:6443 --token 8tpo9l.jlw135r8559kaad4 --discovery-token-ca-cert-hash sha256:d6594ccc1310a45cbebc45f1c93f5ac113873786365ed63efcf667c952d7d197 这时候终端会输出： [preflight] Running pre-flight checks [discovery] Trying to connect to API Server "192.168.0.127:6443" [discovery] Created cluster-info discovery client, requesting info from "https://192.168.0.127:6443" [discovery] Requesting info from "https://192.168.0.127:6443" again to validate TLS against the pinned public key [discovery] Cluster info signature and contents are valid and TLS certificate validates against pinned roots, will use API Server "192.168.0.127:6443" [discovery] Successfully established connection with API Server "192.168.0.127:6443" [join] Reading configuration from the cluster... [join] FYI: You can look at this config file with 'kubectl -n kube-system get cm kubeadm-config -oyaml' [kubelet] Downloading configuration for the kubelet from the "kubelet-config-1.13" ConfigMap in the kube-system namespace [kubelet-start] Writing kubelet configuration to file "/var/lib/kubelet/config.yaml" [kubelet-start] Writing kubelet environment file with flags to file "/var/lib/kubelet/kubeadm-flags.env" [kubelet-start] Activating the kubelet service [tlsbootstrap] Waiting for the kubelet to perform the TLS Bootstrap... [patchnode] Uploading the CRI Socket information "/var/run/dockershim.sock" to the Node API object "k8s-node-1" as an annotation This node has joined the cluster: * Certificate signing request was sent to apiserver and a response was received. * The Kubelet was informed of the new secure connection details. Run 'kubectl get nodes' on the master to see this node join the cluster. ``` - 如果 node 节点加入失败，可以：`kubeadm reset`，再来重新 join - 在 master 节点上：`kubectl get cs` ``` NAME STATUS MESSAGE ERROR controller-manager Healthy ok scheduler Healthy ok etcd-0 Healthy {"health": "true"} 结果都是 Healthy 则表示可以了，不然就得检查。必要时可以用：`kubeadm reset` 重置，重新进行集群初始化 ``` - 在 master 节点上：`kubectl get nodes` ``` 如果还是 NotReady，则查看错误信息：kubectl get pods --all-namespaces 其中：Pending/ContainerCreating/ImagePullBackOff 都是 Pod 没有就绪，我们可以这样查看对应 Pod 遇到了什么问题 kubectl describe pod --namespace=kube-system 或者：kubectl logs -n kube-system tail -f /var/log/messages ``` #### 主要概念 - Master 节点，负责集群的调度、集群的管理 - 常见组件： - kube-apiserver：API服务 - kube-scheduler：调度 - Kube-Controller-Manager：容器编排 - Etcd：保存了整个集群的状态 - Kube-proxy：负责为 Service 提供 cluster 内部的服务发现和负载均衡 - Kube-DNS：负责为整个集群提供 DNS 服务 - node 节点，负责容器相关的处理 - `Pods` ``` 创建，调度以及管理的最小单元 共存的一组容器的集合 容器共享PID，网络，IPC以及UTS命名空间 容器共享存储卷 短暂存在 ``` - `Volumes` ``` 数据持久化 Pod中容器共享数据 生命周期 支持多种类型的数据卷 – emptyDir, hostpath, gcePersistentDisk, awsElasticBlockStore, nfs, iscsi, glusterfs, secrets ``` - `Labels` ``` 用以标示对象（如Pod）的key/value对 组织并选择对象子集 ``` - `Replication Controllers` ``` 确保在任一时刻运行指定数目的Pod 容器重新调度 规模调整 在线升级 多发布版本跟踪 ``` - `Services` ``` 抽象一系列Pod并定义其访问规则 固定IP地址和DNS域名 通过环境变量和DNS发现服务 负载均衡 外部服务 – ClusterIP, NodePort, LoadBalancer ``` #### 主要组成模块 - `etcd` ``` 高可用的Key/Value存储 只有apiserver有读写权限 使用etcd集群确保数据可靠性 ``` - `apiserver` ``` Kubernetes系统入口， REST 认证 授权 访问控制 服务帐号 资源限制 ``` - `kube-scheduler` ``` 资源需求 服务需求 硬件/软件/策略限制 关联性和非关联性 数据本地化 ``` - `kube-controller-manager` ``` Replication controller Endpoint controller Namespace controller Serviceaccount controller ``` - `kubelet` ``` 节点管理器 确保调度到本节点的Pod的运行和健康 ``` - `kube-proxy` ``` Pod网络代理 TCP/UDP请求转发 负载均衡（Round Robin） ``` - `服务发现` ``` 环境变量 DNS – kube2sky， etcd，skydns ``` - `网络` ``` 容器间互相通信 节点和容器间互相通信 每个Pod使用一个全局唯一的IP ``` - `高可用` ``` kubelet保证每一个master节点的服务正常运行 系统监控程序确保kubelet正常运行 Etcd集群 多个apiserver进行负载均衡 Master选举确保kube-scheduler和kube-controller-manager高可用 ``` ## 资料 - [如何更“优雅”地部署Kubernetes集群](https://juejin.im/entry/5a03f98d6fb9a04524054516) - []() - []() - []() - []() - []() - []() ================================================ FILE: markdown-file/Kafka-Install-And-Settings.md ================================================ # Kafka 安装和配置 ## 对于版本 - 由于 Kafka 经常会被连接到各个地方去，所以对于 Kafka 的版本，一般不能用太新的，要看你用在什么地方。 - [Flink 的要求](https://ci.apache.org/projects/flink/flink-docs-release-1.6/dev/connectors/kafka.html) - [Spark 的要求](https://spark.apache.org/docs/latest/streaming-kafka-integration.html) - [Spring 的要求](http://projects.spring.io/spring-kafka/) ## 消息系统的好处 - 解耦（各个业务系统各自为政，有各自新需求，各自系统自行修改，只通过消息来通信） - 大系统层面的扩展性（不用改旧业务系统代码，增加新系统，接收新消息） - 异步通信（一个消息，多个业务系统来消费。某些场景可以堆积到一定程度再去消费） - 缓冲（解耦某些需要长时间处理业务） ## Kafka 介绍 > A distributed streaming platform - 官网： - Github： - 主要是由 Java 和 Scala 开发 - 官网下载： - 当前最新稳定版本（201803）：**1.0.1** - 官网 quickstart： - 运行的机子不要小于 2G 内存 - Kafka 流行的主要原因： - 支持常见的发布订阅功能 - 分布式 - 高吞吐量（听说：普通单机也支持每秒 100000 条消息的传输） - 磁盘数据持久化，消费者 down 后，重新 up 的时候可以继续接收前面未接收到的消息 - 支持流数据处理，常见于大数据 - 核心概念： - Producer：生产者（业务系统），负责发布消息到 broker - Consumer：消费者（业务系统），向 broker 读取消息的客户端 - Broker：可以理解为：存放消息的管道（kafka 软件节点本身） - Topic：可以理解为：消息主题、消息标签、消息通道、消息队列（物理上不同 Topic 的消息分开存储，根据 Partition 参数决定一个 Topic 的消息保存于一个或多个 broker 上。作为使用者，不用关心 Topic 实际物理存储地方。） - Partition：是物理上的概念，每个 Topic 包含一个或多个 Partition。一般有几个 Broker，填写分区最好是等于大于节点值。分区目的主要是数据分片，解决水平扩展、高吞吐量。当 Producer 生产消息的时候，消息会被算法计算后分配到对应的分区，Consumer 读取的时候算法也会帮我们找到消息所在分区，这是内部实现的，应用层面不用管。 - Replication-factor：副本。假设有 3 个 Broker 的情况下，当副本为 3 的时候每个 Partition 会在每个 Broker 都会存有一份，目的主要是容错。 - 其中有一个 Leader。 - 如果你只有一个 Broker，但是创建 Topic 的时候指定 Replication-factor 为 3，则会报错 - Consumer Group：每个 Consumer 属于一个特定的 Consumer Group（可为每个 Consumer 指定 group name，若不指定 group name 则属于默认的 group）一般一个业务系统集群指定同一个一个 group id，然后一个业务系统集群只能一个节点来消费同一个消息。 - Consumer Group 信息存储在 zookeeper 中，需要通过 zookeeper 的客户端来查看和设置 - 如果某 Consumer Group 中 consumer 数量少于 partition 数量，则至少有一个 consumer 会消费多个 partition 的数据 - 如果 consumer 的数量与 partition 数量相同，则正好一个 consumer 消费一个 partition 的数据 - 如果 consumer 的数量多于 partition 的数量时，会有部分 consumer 无法消费该 topic 下任何一条消息。 - 具体实验可以看这篇文章：[Kafka深度解析](http://www.jasongj.com/2015/01/02/Kafka%E6%B7%B1%E5%BA%A6%E8%A7%A3%E6%9E%90/) - Record：消息数据本身，由一个 key、value、timestamp 组成 - 业界常用的 docker 镜像： - [wurstmeister/kafka-docker（不断更新，优先）](https://github.com/wurstmeister/kafka-docker/) - Spring 项目选用依赖包的时候，对于版本之间的关系可以看这里： - 目前（201803） - spring boot 2.0 以上基础框架版本，kafka 版本 1.0.x，推荐使用：spring-kafka 2.1.4.RELEASE - spring boot 2.0 以下基础框架版本，kafka 版本 0.11.0.x, 1.0.x，推荐使用：spring-kafka 1.3.3.RELEASE - 官网 quickstart 指导： - 常用命令： - wurstmeister/kafka-docker 容器中 kafka home：`cd /opt/kafka` - 假设我的 zookeeper 地址：`10.135.157.34:2181`，如果你有多个节点用逗号隔开 - 列出所有 topic：`bin/kafka-topics.sh --list --zookeeper 10.135.157.34:2181` - 创建 topic：`bin/kafka-topics.sh --create --topic kafka-test-topic-1 --partitions 3 --replication-factor 1 --zookeeper 10.135.157.34:2181` - 创建名为 kafka-test-topic-1 的 topic，3个分区分别存放数据，数据备份总共 2 份 - 查看特定 topic 的详情：`bin/kafka-topics.sh --describe --topic kafka-test-topic-1 --zookeeper 10.135.157.34:2181` - 删除 topic：`bin/kafka-topics.sh --delete --topic kafka-test-topic-1 --zookeeper 10.135.157.34:2181` - 更多命令可以看： - 假设 topic 详情的返回信息如下： - `PartitionCount:6`：分区为 6 个 - `ReplicationFactor:3`：副本为 3 个 - `Partition: 0 Leader: 3`：Partition 下标为 0 的主节点是 broker.id=3 - 当 Leader down 掉之后，其他节点会选举中一个新 Leader - `Replicas: 3,1,2`：在 `Partition: 0` 下共有 3 个副本，broker.id 分别为 3,1,2 - `Isr: 3,1,2`：在 `Partition: 0` 下目前存活的 broker.id 分别为 3,1,2 ``` Topic:kafka-all PartitionCount:6 ReplicationFactor:3 Configs: Topic: kafka-all Partition: 0 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2 Topic: kafka-all Partition: 1 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3 Topic: kafka-all Partition: 2 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1 Topic: kafka-all Partition: 3 Leader: 3 Replicas: 3,2,1 Isr: 3,2,1 Topic: kafka-all Partition: 4 Leader: 1 Replicas: 1,3,2 Isr: 1,3,2 Topic: kafka-all Partition: 5 Leader: 2 Replicas: 2,1,3 Isr: 2,1,3 ``` ---------------------------------------------------------------------------------------------- ## Docker 单个实例部署（1.0.1） - 目前 latest 用的时候 kafka 1.0.1，要指定版本可以去作者 [github](https://github.com/wurstmeister/kafka-docker) 看下 tag 目录，切换不同 tag，然后看下 Dockerfile 里面的 kafka 版本号 - 我的服务器外网 ip：`182.61.19.177`，hostname 为：`instance-3v0pbt5d` - 在我的开发机上上配置 host： ``` 182.61.19.177 instance-3v0pbt5d ``` - 部署 kafka： - 目前 latest 用的时候 kafka 1.0.1，要指定版本可以去作者 [github](https://github.com/wurstmeister/kafka-docker) 看下 tag 目录，切换不同 tag，然后看下 Dockerfile 里面的 kafka 版本号 - 新建文件：`vim docker-compose.yml` - 这里的 kafka 对外网暴露端口是 9094，内网端口是 9092 ``` version: '3.2' services: zookeeper: image: wurstmeister/zookeeper ports: - "2181:2181" kafka: image: wurstmeister/kafka:latest ports: - target: 9094 published: 9094 protocol: tcp mode: host environment: HOSTNAME_COMMAND: "docker info | grep ^Name: | cut -d' ' -f 2" KAFKA_ZOOKEEPER_CONNECT: zookeeper:2181 KAFKA_LISTENER_SECURITY_PROTOCOL_MAP: INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT KAFKA_ADVERTISED_PROTOCOL_NAME: OUTSIDE KAFKA_ADVERTISED_PORT: 9094 KAFKA_PROTOCOL_NAME: INSIDE KAFKA_PORT: 9092 KAFKA_LOG_DIRS: /data/docker/kafka/logs KAFKA_AUTO_CREATE_TOPICS_ENABLE: 'true' KAFKA_LOG_RETENTION_HOURS: 168 volumes: - /var/run/docker.sock:/var/run/docker.sock - /data/docker/kafka/logs:/data/docker/kafka/logs ``` - 启动：`docker-compose up -d` - 停止：`docker-compose stop` - 测试： - 进入 kafka 容器：`docker exec -it kafkadocker_kafka_1 /bin/bash` - 根据官网 Dockerfile 说明，kafka home 应该是：`cd /opt/kafka` - 创建 topic 命令：`bin/kafka-topics.sh --create --zookeeper zookeeper:2181 --replication-factor 1 --partitions 1 --topic my-topic-test` - 查看 topic 命令：`bin/kafka-topics.sh --list --zookeeper zookeeper:2181` - 删除 topic：`bin/kafka-topics.sh --delete --topic my-topic-test --zookeeper zookeeper:2181` - 给 topic 发送消息命令：`bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-topic-test`，然后在出现交互输入框的时候输入你要发送的内容 - 再开一个终端，进入 kafka 容器，接受消息：`bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic-test --from-beginning` - 其中 `--from-beginning` 参数表示在启动该客户端的时候接受前面 kafka 的所有记录。不加这个参数，则旧数据不会收到，生产者新生产的消息才会接收到。 - 此时发送的终端输入一个内容回车，接受消息的终端就可以收到。 ---------------------------------------------------------------------------------------------- ## Docker 多机多实例部署（外网无法访问） - 三台机子： - 内网 ip：`172.24.165.129`，外网 ip：`47.91.22.116` - 内网 ip：`172.24.165.130`，外网 ip：`47.91.22.124` - 内网 ip：`172.24.165.131`，外网 ip：`47.74.6.138` - 修改三台机子 hostname： - 节点 1：`hostnamectl --static set-hostname youmeekhost1` - 节点 2：`hostnamectl --static set-hostname youmeekhost2` - 节点 3：`hostnamectl --static set-hostname youmeekhost3` - 三台机子的 hosts 都修改为如下内容：`vim /etc/hosts` ``` 172.24.165.129 youmeekhost1 172.24.165.130 youmeekhost2 172.24.165.131 youmeekhost3 ``` - 开发机设置 hosts： ``` 47.91.22.116 youmeekhost1 47.91.22.124 youmeekhost2 47.74.6.138 youmeekhost3 ``` #### Zookeeper 集群 - 节点 1： ``` docker run -d --name=zookeeper1 --net=host --restart=always \ -v /data/docker/zookeeper/data:/data \ -v /data/docker/zookeeper/log:/datalog \ -v /etc/hosts:/etc/hosts \ -e ZOO_MY_ID=1 \ -e "ZOO_SERVERS=server.1=youmeekhost1:2888:3888 server.2=youmeekhost2:2888:3888 server.3=youmeekhost3:2888:3888" \ zookeeper:latest ``` - 节点 2： ``` docker run -d --name=zookeeper2 --net=host --restart=always \ -v /data/docker/zookeeper/data:/data \ -v /data/docker/zookeeper/log:/datalog \ -v /etc/hosts:/etc/hosts \ -e ZOO_MY_ID=2 \ -e "ZOO_SERVERS=server.1=youmeekhost1:2888:3888 server.2=youmeekhost2:2888:3888 server.3=youmeekhost3:2888:3888" \ zookeeper:latest ``` - 节点 3： ``` docker run -d --name=zookeeper3 --net=host --restart=always \ -v /data/docker/zookeeper/data:/data \ -v /data/docker/zookeeper/log:/datalog \ -v /etc/hosts:/etc/hosts \ -e ZOO_MY_ID=3 \ -e "ZOO_SERVERS=server.1=youmeekhost1:2888:3888 server.2=youmeekhost2:2888:3888 server.3=youmeekhost3:2888:3888" \ zookeeper:latest ``` #### 先安装 nc 再来校验 zookeeper 集群情况 - 环境：CentOS 7.4 - 官网下载：，找到 rpm 包 - 当前时间（201803）最新版本下载：`wget https://nmap.org/dist/ncat-7.60-1.x86_64.rpm` - 安装并 ln：`sudo rpm -i ncat-7.60-1.x86_64.rpm && ln -s /usr/bin/ncat /usr/bin/nc` - 检验：`nc --version` #### zookeeper 集群测试 - 节点 1 执行命令：`echo stat | nc youmeekhost1 2181`，能得到如下信息： ``` Zookeeper version: 3.4.11-37e277162d567b55a07d1755f0b31c32e93c01a0, built on 11/01/2017 18:06 GMT Clients: /172.31.154.16:35336[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/0/0 Received: 1 Sent: 0 Connections: 1 Outstanding: 0 Zxid: 0x0 Mode: follower Node count: 4 ``` - 节点 2 执行命令：`echo stat | nc youmeekhost2 2181`，能得到如下信息： ``` Zookeeper version: 3.4.11-37e277162d567b55a07d1755f0b31c32e93c01a0, built on 11/01/2017 18:06 GMT Clients: /172.31.154.17:55236[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/0/0 Received: 1 Sent: 0 Connections: 1 Outstanding: 0 Zxid: 0x100000000 Mode: leader Node count: 4 ``` - 节点 3 执行命令：`echo stat | nc youmeekhost3 2181`，能得到如下信息： ``` Zookeeper version: 3.4.11-37e277162d567b55a07d1755f0b31c32e93c01a0, built on 11/01/2017 18:06 GMT Clients: /172.31.65.88:41840[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/0/0 Received: 1 Sent: 0 Connections: 1 Outstanding: 0 Zxid: 0x100000000 Mode: follower Node count: 4 ``` ##### Kafka 集群 - 节点 1 执行： ``` docker run -d --net=host --name=kafka1 \ --restart=always \ --env KAFKA_BROKER_ID=1 \ --env KAFKA_ZOOKEEPER_CONNECT=youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181 \ --env KAFKA_LOG_DIRS=/data/docker/kafka/logs \ --env HOSTNAME_COMMAND="docker info | grep ^Name: | cut -d' ' -f 2" \ --env KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT \ --env KAFKA_ADVERTISED_PROTOCOL_NAME=OUTSIDE \ --env KAFKA_ADVERTISED_PORT=9094 \ --env KAFKA_PROTOCOL_NAME=INSIDE \ --env KAFKA_PORT=9092 \ --env KAFKA_AUTO_CREATE_TOPICS_ENABLE=true \ --env KAFKA_LOG_RETENTION_HOURS=168 \ --env KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /etc/localtime:/etc/localtime \ -v /data/docker/kafka/logs:/data/docker/kafka/logs \ -v /etc/hosts:/etc/hosts \ wurstmeister/kafka:latest ``` - 节点 2 执行： ``` docker run -d --net=host --name=kafka2 \ --restart=always \ --env KAFKA_BROKER_ID=2 \ --env KAFKA_ZOOKEEPER_CONNECT=youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181 \ --env KAFKA_LOG_DIRS=/data/docker/kafka/logs \ --env HOSTNAME_COMMAND="docker info | grep ^Name: | cut -d' ' -f 2" \ --env KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT \ --env KAFKA_ADVERTISED_PROTOCOL_NAME=OUTSIDE \ --env KAFKA_ADVERTISED_PORT=9094 \ --env KAFKA_PROTOCOL_NAME=INSIDE \ --env KAFKA_PORT=9092 \ --env KAFKA_AUTO_CREATE_TOPICS_ENABLE=true \ --env KAFKA_LOG_RETENTION_HOURS=168 \ --env KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /etc/localtime:/etc/localtime \ -v /data/docker/kafka/logs:/data/docker/kafka/logs \ -v /etc/hosts:/etc/hosts \ wurstmeister/kafka:latest ``` - 节点 3 执行： ``` docker run -d --net=host --name=kafka3 \ --restart=always \ --env KAFKA_BROKER_ID=3 \ --env KAFKA_ZOOKEEPER_CONNECT=youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181 \ --env KAFKA_LOG_DIRS=/data/docker/kafka/logs \ --env HOSTNAME_COMMAND="docker info | grep ^Name: | cut -d' ' -f 2" \ --env KAFKA_LISTENER_SECURITY_PROTOCOL_MAP=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT \ --env KAFKA_ADVERTISED_PROTOCOL_NAME=OUTSIDE \ --env KAFKA_ADVERTISED_PORT=9094 \ --env KAFKA_PROTOCOL_NAME=INSIDE \ --env KAFKA_PORT=9092 \ --env KAFKA_AUTO_CREATE_TOPICS_ENABLE=true \ --env KAFKA_LOG_RETENTION_HOURS=168 \ --env KAFKA_HEAP_OPTS="-Xmx1G -Xms1G" \ -v /var/run/docker.sock:/var/run/docker.sock \ -v /etc/localtime:/etc/localtime \ -v /data/docker/kafka/logs:/data/docker/kafka/logs \ -v /etc/hosts:/etc/hosts \ wurstmeister/kafka:latest ``` #### Kafka 集群测试 - 在 kafka1 上测试： - 进入 kafka1 容器：`docker exec -it kafka1 /bin/bash` - 根据官网 Dockerfile 说明，kafka home 应该是：`cd /opt/kafka` - 创建 topic 命令：`bin/kafka-topics.sh --create --zookeeper youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181 --replication-factor 3 --partitions 3 --topic my-topic-test` - 查看 topic 命令：`bin/kafka-topics.sh --list --zookeeper youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181` - 给 topic 发送消息命令：`bin/kafka-console-producer.sh --broker-list youmeekhost1:9092 --topic my-topic-test`，然后在出现交互输入框的时候输入你要发送的内容 - 在 kafka2 上测试： - 进入 kafka2 容器：`docker exec -it kafka2 /bin/bash` - 接受消息：`cd /opt/kafka && bin/kafka-console-consumer.sh --bootstrap-server youmeekhost2:9092 --topic my-topic-test --from-beginning` - 在 kafka3 上测试： - 进入 kafka3 容器：`docker exec -it kafka3 /bin/bash` - 接受消息：`cd /opt/kafka && bin/kafka-console-consumer.sh --bootstrap-server youmeekhost3:9092 --topic my-topic-test --from-beginning` - 如果 kafka1 输入的消息，kafka2 和 kafka3 能收到，则表示已经成功。 #### Kafka 认证配置 - 可以参考：[Kafka的SASL/PLAIN认证配置说明](http://www.2bowl.info/kafka%e7%9a%84saslplain%e8%ae%a4%e8%af%81%e9%85%8d%e7%bd%ae%e8%af%b4%e6%98%8e/) #### Kafka 单纯监控 KafkaOffsetMonitor - Github 官网： - README 带了下载地址和运行命令 - 只是已经很久不更新了 #### 部署 kafka-manager - Github 官网： - 注意官网说明的版本支持 - 节点 1（没成功）：`docker run -d --name=kafka-manager1 --restart=always -p 9000:9000 -e ZK_HOSTS="youmeekhost1:2181,youmeekhost2:2181,youmeekhost3:2181" sheepkiller/kafka-manager:latest` - 源码类安装可以看：[Kafka监控工具—Kafka Manager](http://www.2bowl.info/kafka%e7%9b%91%e6%8e%a7%e5%b7%a5%e5%85%b7-kafka-manager/) - Kafka manager 是一款管理 + 监控的工具，比较重 ---------------------------------------------------------------------------------------------- ## Kafka 1.0.1 源码安装（也支持 1.0.2、0.11.0.3、0.10.2.2） - 测试环境：2G 内存足够 - 一台机子：CentOS 7.4，根据文章最开头，已经修改了 hosts - 确保本机安装有 JDK8（JDK 版本不能随便挑选） - 先用上面的 docker 方式部署一个 zookeeper，我这里的 zookeeper IP 地址为：`172.16.0.2` - **如果该 zookeeper 前面已经用过了，最好重新删除，重新 run，因为 zookeeper 上保留的旧的 topic 配置** - 官网下载： - 当前（201803）最新版本为：**1.0.1，同时推荐 Scala 版本为 2.11**，这里要特别注意：kafka_2.11-1.0.1.tgz 中的 2.11 指的是 Scala 版本 - 找到：`Binary downloads` 下面的链接 - 下载：`wget http://mirrors.shu.edu.cn/apache/kafka/1.0.1/kafka_2.11-1.0.1.tgz` - 解压：`tar zxvf kafka_2.11-1.0.1.tgz`，假设当前目录为：`/usr/local/kafka_2.11-1.0.1` - 为了方便，修改目录名字：`mv /usr/local/kafka_2.11-1.0.1 /usr/local/kafka` - 创建 log 输出目录：`mkdir -p /data/kafka/logs` - 修改 kafka-server 的配置文件：`vim /usr/local/kafka/config/server.properties` - 找到下面两个参数内容，修改成如下： ``` # 唯一ID（kafka 集群环境下，该值必须唯一，默认从 0 开始），和 zookeeper 的配置文件中的 myid 类似道理（单节点多 broker 的情况下该参数必改） broker.id=1 # 监听地址（单节点多 broker 的情况下该参数必改） listeners=PLAINTEXT://0.0.0.0:9092 # 向 Zookeeper 注册的地址。这里可以直接填写外网IP地址，但是不建议这样做，而是通过配置 hosts 的方式来设置。不然填写外网 IP 地址会导致所有流量都走外网（单节点多 broker 的情况下该参数必改） advertised.listeners=PLAINTEXT://youmeekhost:9092 # zookeeper，存储了 broker 的元信息 zookeeper.connect=youmeekhost:2181 # 日志数据目录，可以通过逗号来指定多个目录（单节点多 broker 的情况下该参数必改） log.dirs=/data/kafka/logs # 创建新 topic 的时候默认 1 个分区。需要特别注意的是：已经创建好的 topic 的 partition 的个数只可以被增加，不能被减少。 # 如果对消息有高吞吐量的要求，可以增加分区数来分摊压力 num.partitions=1 # 允许删除topic delete.topic.enable=false # 允许自动创建topic（默认是 true） auto.create.topics.enable=true # 磁盘IO不足的时候，可以适当调大该值 ( 当内存足够时 ) #log.flush.interval.messages=10000 #log.flush.interval.ms=1000 # kafka 数据保留时间 默认 168 小时 == 7 天 log.retention.hours=168 # 其余都使用默认配置，但是顺便解释下： # borker 进行网络处理的线程数 num.network.threads=3 # borker 进行 I/O 处理的线程数 num.io.threads=8 # 发送缓冲区 buffer 大小，数据不是一下子就发送的，先回存储到缓冲区了到达一定的大小后在发送，能提高性能 socket.send.buffer.bytes=102400 # 接收缓冲区大小，当数据到达一定大小后在序列化到磁盘 socket.receive.buffer.bytes=102400 # 这个参数是向 kafka 请求消息或者向 kafka 发送消息的请请求的最大数，这个值不能超过 java 的堆栈大小 socket.request.max.bytes=104857600 ``` - 启动 kafka 服务（必须制定配置文件）：`cd /usr/local/kafka && bin/kafka-server-start.sh config/server.properties` - 后台方式运行 kafka 服务：`cd /usr/local/kafka && bin/kafka-server-start.sh -daemon config/server.properties` - 停止 kafka 服务：`cd /usr/local/kafka && bin/kafka-server-stop.sh` - 再开一个终端测试： - 创建 topic 命令：`cd /usr/local/kafka && bin/kafka-topics.sh --create --zookeeper youmeekhost:2181 --replication-factor 1 --partitions 1 --topic my-topic-test` - 查看 topic 命令：`cd /usr/local/kafka && bin/kafka-topics.sh --list --zookeeper youmeekhost:2181` - 删除 topic：`cd /usr/local/kafka && bin/kafka-topics.sh --delete --topic my-topic-test --zookeeper youmeekhost:2181` - 给 topic 发送消息命令：`cd /usr/local/kafka && bin/kafka-console-producer.sh --broker-list youmeekhost:9092 --topic my-topic-test`，然后在出现交互输入框的时候输入你要发送的内容 - 再开一个终端，进入 kafka 容器，接受消息：`cd /usr/local/kafka && bin/kafka-console-consumer.sh --bootstrap-server youmeekhost:9092 --topic my-topic-test --from-beginning` - 此时发送的终端输入一个内容回车，接受消息的终端就可以收到。 - Spring Boot 依赖： ```xml org.springframework.kafka spring-kafka 1.3.3.RELEASE org.apache.kafka kafka-clients 1.0.1 org.apache.kafka kafka-streams 1.0.1 ``` - 项目配置文件：bootstrap-servers 地址：`instance-3v0pbt5d:9092`（这里端口是 9092 别弄错了） ---------------------------------------------------------------------------------------------- ## kafka 1.0.1 默认配置文件内容 ``` # Licensed to the Apache Software Foundation (ASF) under one or more # contributor license agreements. See the NOTICE file distributed with # this work for additional information regarding copyright ownership. # The ASF licenses this file to You under the Apache License, Version 2.0 # (the "License"); you may not use this file except in compliance with # the License. You may obtain a copy of the License at # # http://www.apache.org/licenses/LICENSE-2.0 # # Unless required by applicable law or agreed to in writing, software # distributed under the License is distributed on an "AS IS" BASIS, # WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. # See the License for the specific language governing permissions and # limitations under the License. # see kafka.server.KafkaConfig for additional details and defaults ############################# Server Basics ############################# # The id of the broker. This must be set to a unique integer for each broker. broker.id=0 ############################# Socket Server Settings ############################# # The address the socket server listens on. It will get the value returned from # java.net.InetAddress.getCanonicalHostName() if not configured. # FORMAT: # listeners = listener_name://host_name:port # EXAMPLE: # listeners = PLAINTEXT://your.host.name:9092 #listeners=PLAINTEXT://:9092 # Hostname and port the broker will advertise to producers and consumers. If not set, # it uses the value for "listeners" if configured. Otherwise, it will use the value # returned from java.net.InetAddress.getCanonicalHostName(). #advertised.listeners=PLAINTEXT://your.host.name:9092 # Maps listener names to security protocols, the default is for them to be the same. See the config documentation for more details #listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL # The number of threads that the server uses for receiving requests from the network and sending responses to the network num.network.threads=3 # The number of threads that the server uses for processing requests, which may include disk I/O num.io.threads=8 # The send buffer (SO_SNDBUF) used by the socket server socket.send.buffer.bytes=102400 # The receive buffer (SO_RCVBUF) used by the socket server socket.receive.buffer.bytes=102400 # The maximum size of a request that the socket server will accept (protection against OOM) socket.request.max.bytes=104857600 ############################# Log Basics ############################# # A comma seperated list of directories under which to store log files log.dirs=/tmp/kafka-logs # The default number of log partitions per topic. More partitions allow greater # parallelism for consumption, but this will also result in more files across # the brokers. num.partitions=1 # The number of threads per data directory to be used for log recovery at startup and flushing at shutdown. # This value is recommended to be increased for installations with data dirs located in RAID array. num.recovery.threads.per.data.dir=1 ############################# Internal Topic Settings ############################# # The replication factor for the group metadata internal topics "__consumer_offsets" and "__transaction_state" # For anything other than development testing, a value greater than 1 is recommended for to ensure availability such as 3. offsets.topic.replication.factor=1 transaction.state.log.replication.factor=1 transaction.state.log.min.isr=1 ############################# Log Flush Policy ############################# # Messages are immediately written to the filesystem but by default we only fsync() to sync # the OS cache lazily. The following configurations control the flush of data to disk. # There are a few important trade-offs here: # 1. Durability: Unflushed data may be lost if you are not using replication. # 2. Latency: Very large flush intervals may lead to latency spikes when the flush does occur as there will be a lot of data to flush. # 3. Throughput: The flush is generally the most expensive operation, and a small flush interval may lead to exceessive seeks. # The settings below allow one to configure the flush policy to flush data after a period of time or # every N messages (or both). This can be done globally and overridden on a per-topic basis. # The number of messages to accept before forcing a flush of data to disk #log.flush.interval.messages=10000 # The maximum amount of time a message can sit in a log before we force a flush #log.flush.interval.ms=1000 ############################# Log Retention Policy ############################# # The following configurations control the disposal of log segments. The policy can # be set to delete segments after a period of time, or after a given size has accumulated. # A segment will be deleted whenever *either* of these criteria are met. Deletion always happens # from the end of the log. # The minimum age of a log file to be eligible for deletion due to age log.retention.hours=168 # A size-based retention policy for logs. Segments are pruned from the log unless the remaining # segments drop below log.retention.bytes. Functions independently of log.retention.hours. #log.retention.bytes=1073741824 # The maximum size of a log segment file. When this size is reached a new log segment will be created. log.segment.bytes=1073741824 # The interval at which log segments are checked to see if they can be deleted according # to the retention policies log.retention.check.interval.ms=300000 ############################# Zookeeper ############################# # Zookeeper connection string (see zookeeper docs for details). # This is a comma separated host:port pairs, each corresponding to a zk # server. e.g. "127.0.0.1:3000,127.0.0.1:3001,127.0.0.1:3002". # You can also append an optional chroot string to the urls to specify the # root directory for all kafka znodes. zookeeper.connect=localhost:2181 # Timeout in ms for connecting to zookeeper zookeeper.connection.timeout.ms=6000 ############################# Group Coordinator Settings ############################# # The following configuration specifies the time, in milliseconds, that the GroupCoordinator will delay the initial consumer rebalance. # The rebalance will be further delayed by the value of group.initial.rebalance.delay.ms as new members join the group, up to a maximum of max.poll.interval.ms. # The default value for this is 3 seconds. # We override this to 0 here as it makes for a better out-of-the-box experience for development and testing. # However, in production environments the default value of 3 seconds is more suitable as this will help to avoid unnecessary, and potentially expensive, rebalances during application startup. group.initial.rebalance.delay.ms=0 ``` ---------------------------------------------------------------------------------------------- ## 其他资料 - [管理Kafka的Consumer-Group信息](http://lsr1991.github.io/2016/01/03/kafka-consumer-group-management/) - [Kafka--Consumer消费者](http://blog.xiaoxiaomo.com/2016/05/14/Kafka-Consumer%E6%B6%88%E8%B4%B9%E8%80%85/) - - - - - - - - - - - - - - - - - - - - - - - - - ================================================ FILE: markdown-file/Kibana-Base.md ================================================ # kibana 知识 ## 基础知识 - 官网文档： ### 安装 Kibana - CentOS 7.4 - 至少需要 500M 内存 - 官网文档： - 官网文档 CentOS： - 添加 KEY：`rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch` - 添加源：`vim /etc/yum.repos.d/kibana.repo` ``` [kibana-6.x] name=Kibana repository for 6.x packages baseurl=https://artifacts.elastic.co/packages/6.x/yum gpgcheck=1 gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch enabled=1 autorefresh=1 type=rpm-md ``` - 开始安装：`yum install -y kibana`，预计文件有 200M 左右，国内网络安装可能会很慢，慢慢等 - 安装完后会多了一个：kibana 用户和组 - 启动和停止软件（默认是不启动的）： - 启动：`systemctl start kibana.service` - 状态：`systemctl status kibana.service` - 停止：`systemctl stop kibana.service` - 重新启动：`systemctl restart kibana.service` - 安装完成后，增加系统自启动： - `/bin/systemctl daemon-reload` - `/bin/systemctl enable kibana.service` #### RPM 安装后的一些配置位置说明 - 官网文档 CentOS： - 配置文件的参数说明： - kibana 安装后位置：`/usr/share/kibana` - kibana 的配置文件：`/etc/kibana/kibana.yml` - Log 位置：`/var/log/kibana/` - 数据位置：`/var/lib/kibana` - 插件位置：`/usr/share/kibana/plugins` #### 配置 - 编辑配置文件：`vim /etc/kibana/kibana.yml` - 默认只能 localhost 访问，修改成支持外网访问 ``` 打开这个注释：#server.host: "localhost" 改为：server.host: "0.0.0.0" ``` - 然后你可以访问：`http://192.168.0.105:5601`，可以看到 kibana 的相关界面。 - 1. Create index pattern - 如果你 Elasticsearch 新创建了索引，kibana 是不会自动帮你匹配到的，所以要匹配新索引，这一步都要走 - 2. Discover | 右上角筛选时间区间 - 这一步非常重要，里面的 filter，图表等都是基于此时间区间的 - 在 logstash 安装这一步，如果你刚刚有按着我说的去做一个 elasticsearch 索引，那你此时不会看到这样的提示：`Unable to fetch mapping. Do you have indices matching the pattern?` - 此时你可以直接点击 `create` 统计 `logstash-*` 格式的索引结果，看到相关内容 - 如果你知道你的索引名称的规则，比如我现在要统计 Tomcat 的相关索引，我的索引名称是：`tomcat-log-*`，则我输入这个，点击：create 即可。 ## 资料 - <> - <> ================================================ FILE: markdown-file/Kubernetes-Install-And-Usage.md ================================================ # Kubernetes 部署 ## 环境说明 - CentOS 7.4 - 购买自阿里云普通的 ECS 华南地区（如果你是购买美国地区的服务器，则直接使用 kubespray 原项目，那些镜像地址不用修改，其他照着文档即可） - 所有机子都是干净的不需要先安装 Docker 等其他容器相关的东西 - 建议还是用美国服务器，不然各种网络的坑 | 机器简称 | 内网 IP 地址 | 部署软件 | 系统环境 | 硬件配置 | |---|---|---|---|---| | 操作机 | 172.20.229.224 | ansible | CentOS 7.4 | 1 vCPU + 2 GB | | node1 | 172.20.229.225 | master | CentOS 7.4 | 1 vCPU + 4 GB | | node2 | 172.20.229.226 | worker | CentOS 7.4 | 1 vCPU + 4 GB | | node3 | 172.20.229.227 | worker | CentOS 7.4 | 1 vCPU + 4 GB | ## 所有机子都需要的环境准备 - 关闭 SELinux - 编辑配置文件：`vim /etc/selinux/config` - 把 `SELINUX=enforcing` 改为 `SELINUX=disabled` 所有节点关闭防火墙：`systemctl stop firewalld && systemctl disable firewalld` 安装自己常用的一些组件（非必须）：vim zsh zip unzip lrzsz git ## 安装过程 #### 操作机安装 ansible ================================= yum install -y epel-release yum install -y python34 python34-pip python-pip python-netaddr ansible git pip install --upgrade Jinja2 yum install -y gcc libffi-devel python-devel openssl-devel ================================= 操作机免密码登录到其他节点 如果还不懂可以具体看我的这篇文章：[]() ssh-keygen ssh-copy-id -i /root/.ssh/id_rsa.pub -p 22 root@172.20.229.225 ssh-copy-id -i /root/.ssh/id_rsa.pub -p 22 root@172.20.229.226 ssh-copy-id -i /root/.ssh/id_rsa.pub -p 22 root@172.20.229.227 测试下是否可以免登陆： ssh -p 22 root@172.20.229.225 ssh -p 22 root@172.20.229.226 ssh -p 22 root@172.20.229.227 #### 修改 kubespray 项目配置 - kubespray 项目官网： 在本地机子上 git clone https://github.com/kubernetes-incubator/kubespray.git 当前时间（2018-02）最新版本是：v2.4.0，所以我 checkout v2.4.0 的 tag 用 IntelliJ IDEA 打开该项目，然后批量替换： - `gcr.io/` 替换成：`registry.cn-hangzhou.aliyuncs.com/` - 因为 gcr.io 这个网站的本地址是：https://cloud.google.com/container-registry/，国内的环境当然就没资格上了，所以才要替换。 - 但是需要注意的是，官网的这些镜像阿里云不一定有，所以稳妥点，你最好可以去阿里云检查下的：，或者是： ====================================================== cd /opt/kubespray && cp -rfp inventory/sample inventory/mycluster 修改：inventory/mycluster/hosts.ini python3 contrib/inventory_builder/inventory.py 172.20.229.225 172.20.229.226 172.20.229.227 # Review and change parameters under ``inventory/mycluster/group_vars`` cat inventory/mycluster/group_vars/all.yml cat inventory/mycluster/group_vars/k8s-cluster.yml 修改 /kubespray/inventory/mycluster/hosts.ini，改为如下内容： ``` node1 ansible_ssh_host=172.20.229.225 ansible_user=root ip=172.20.229.225 node2 ansible_ssh_host=172.20.229.226 ansible_user=root ip=172.20.229.226 node3 ansible_ssh_host=172.20.229.227 ansible_user=root ip=172.20.229.227 [kube-master] node1 [etcd] node1 [kube-node] node2 node3 [k8s-cluster:children] kube-node kube-master ``` 然后把这个项目压缩成 zip 上传到操作机的 /opt 根目录上，然后解压。 然后在操作机上执行：`cd /opt/kubespray && ansible-playbook -i inventory/mycluster/hosts.ini cluster.yml` 然后会开始输出一大堆执行任务的东西，等等吧，预计需要 20~60 分钟左右。 然后报错： ``` Thursday 08 February 2018 18:03:14 +0800 (0:00:00.038) 0:04:14.420 ***** FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (4 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (4 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (4 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (3 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (3 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (3 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (2 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (2 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (2 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (1 retries left). FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (1 retries left). fatal: [node1]: FAILED! => {"attempts": 4, "changed": true, "cmd": ["/usr/bin/docker", "pull", "registry.cn-hangzhou.aliyuncs.com/google_containers/cluster-proportional-autoscaler-amd64:1.1.2"], "delta": "0:00:00.413852", "end": "2018-02-08 18:03:38.396245", "msg": "non-zero return code", "rc": 1, "start": "2018-02-08 18:03:37.982393", "stderr": "Error response from daemon: repository registry.cn-hangzhou.aliyuncs.com/google_containers/cluster-proportional-autoscaler-amd64 not found: does not exist or no pull access", "stderr_lines": ["Error response from daemon: repository registry.cn-hangzhou.aliyuncs.com/google_containers/cluster-proportional-autoscaler-amd64 not found: does not exist or no pull access"], "stdout": "", "stdout_lines": []} FAILED - RETRYING: container_download | Download containers if pull is required or told to always pull (all nodes) (1 retries left). fatal: [node3]: FAILED! => {"attempts": 4, "changed": true, "cmd": ["/usr/bin/docker", "pull", "registry.cn-hangzhou.aliyuncs.com/google_containers/cluster-proportional-autoscaler-amd64:1.1.2"], "delta": "0:00:00.421977", "end": "2018-02-08 18:03:42.334875", "msg": "non-zero return code", "rc": 1, "start": "2018-02-08 18:03:41.912898", "stderr": "Error response from daemon: repository registry.cn-hangzhou.aliyuncs.com/google_containers/cluster-proportional-autoscaler-amd64 not found: does not exist or no pull access", "stderr_lines": ["Error response from daemon: repository registry.cn-hangzhou.aliyuncs.com/google_containers/cluster-proportional-autoscaler-amd64 not found: does not exist or no pull access"], "stdout": "", "stdout_lines": []} fatal: [node2]: FAILED! => {"attempts": 4, "changed": true, "cmd": ["/usr/bin/docker", "pull", "registry.cn-hangzhou.aliyuncs.com/google_containers/cluster-proportional-autoscaler-amd64:1.1.2"], "delta": "0:00:00.390301", "end": "2018-02-08 18:03:46.246213", "msg": "non-zero return code", "rc": 1, "start": "2018-02-08 18:03:45.855912", "stderr": "Error response from daemon: repository registry.cn-hangzhou.aliyuncs.com/google_containers/cluster-proportional-autoscaler-amd64 not found: does not exist or no pull access", "stderr_lines": ["Error response from daemon: repository registry.cn-hangzhou.aliyuncs.com/google_containers/cluster-proportional-autoscaler-amd64 not found: does not exist or no pull access"], "stdout": "", "stdout_lines": []} ``` 说明这个镜像在阿里云没有，所以我有在 docker 官网找了下，有一个这个：`mirrorgooglecontainers/cluster-proportional-autoscaler-amd64` 建议你可以找个有 docker 的服务器试一下：`docker pull mirrorgooglecontainers/cluster-proportional-autoscaler-amd64`，如果能下载，那就说明没问题了。 同时也发现这个 docker hub 用户是北京的，应该同道。 然后又报了下面这个错误。主要是这个脚本：/usr/local/bin/etcd-scripts/make-ssl-etcd.sh 有这个错误：$'\r': command not found 而这个脚本是来自操作机上的 /opt/kubespray/roles/etcd/files 目录 ``` fatal: [node1 -> 172.20.229.225]: FAILED! => {"changed": true, "cmd": ["bash", "-x", "/usr/local/bin/etcd-scripts/make-ssl-etcd.sh", "-f", "/etc/ssl/etcd/openssl.conf", "-d", "/etc/ssl/etcd/ssl"], "delta": "0:00:00.012822", "end": "2018-02-08 18:42:09.815776", "msg": "non-zero return code", "rc": 2, "start": "2018-02-08 18:42:09.802954", "stderr": "+ $'\\r'\n/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 2: $'\\r': command not found\n+ $'\\r'\n/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 16: $'\\r': command not found\n+ set -o $'errexit\\r'\n/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 17: set: errexit\r: invalid option name\n+ set -o $'pipefail\\r'\n/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 18: set: pipefail\r: invalid option name\n/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 19: syntax error near unexpected token `$'\\r''\n/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 19: `usage()\r'", "stderr_lines": ["+ $'\\r'", "/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 2: $'\\r': command not found", "+ $'\\r'", "/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 16: $'\\r': command not found", "+ set -o $'errexit\\r'", "/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 17: set: errexit", ": invalid option name", "+ set -o $'pipefail\\r'", "/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 18: set: pipefail", ": invalid option name", "/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 19: syntax error near unexpected token `$'\\r''", "/usr/local/bin/etcd-scripts/make-ssl-etcd.sh: line 19: `usage()", "'"], "stdout": "", "stdout_lines": []} ``` 我们需要操作这个机节点做这样的操作： ``` yum install -y dos2unix unix2dos cd /opt/kubespray/roles/etcd/files && dos2unix make-ssl-etcd.sh cd /opt/kubespray/roles/kubernetes/secrets/files && dos2unix make-ssl.sh ``` #### 验证 SSH 连上 master 节点：ssh root@172.20.229.225 输入：`kubectl get nodes` 展示出如下信息： NAME STATUS AGE VERSION node1 Ready,SchedulingDisabled 1m v1.6.1+coreos.0 node2 Ready 1m v1.6.1+coreos.0 node3 Ready 1m v1.6.1+coreos.0 ## 资料 - - - <> ====================================================== 安装bzip2软件 yum install -y bzip2 tar -xjvf k8s_images.tar.bz2 设置 hostname hostnamectl --static set-hostname k8s-master hostnamectl --static set-hostname k8s-node-1 在master和slave的/etc/hosts文件中均加入以下内容： 172.18.218.96 k8s-master 172.18.218.96 etcd 172.18.218.96 registry 172.18.218.97 k8s-node-1 ================================================ FILE: markdown-file/LDAP-Install-And-Settings.md ================================================ # LDAP 安装和配置 ## LDAP 基本概念 - - - ## LDAP 服务器端安装 - 环境：CentOS 7.3 x64（为了方便，已经禁用了防火墙） - 常见服务端： - [OpenLDAP](http://www.openldap.org/) - 这里选择：OpenLDAP，安装（最新的是 2.4.40）：`yum install -y openldap openldap-clients openldap-servers migrationtools` - 配置： - `cp /usr/share/openldap-servers/DB_CONFIG.example /var/lib/ldap/DB_CONFIG` - `chown ldap. /var/lib/ldap/DB_CONFIG` - 启动： - `systemctl start slapd` - `systemctl enable slapd` - 查看占用端口（默认用的是 389）：`netstat -tlnp | grep slapd` ### 设置OpenLDAP管理员密码 - 输入命令：`slappasswd`，重复输入两次明文密码后（我是：123456），我得到一个加密后密码（后面会用到）：`{SSHA}YK8qBtlmEpjUiVEPyfmNNDALjBaUTasc` - 新建临时配置目录： - `mkdir /root/my_ldif ; cd /root/my_ldif` - `vim chrootpw.ldif`，添加如下内容： ``` ini dn: olcDatabase={0}config,cn=config changetype: modify add: olcRootPW olcRootPW: {SSHA}YK8qBtlmEpjUiVEPyfmNNDALjBaUTasc ``` - 添加刚刚写的配置（过程比较慢）：`ldapadd -Y EXTERNAL -H ldapi:/// -f chrootpw.ldif ` - 导入默认的基础配置（过程比较慢）：`for i in /etc/openldap/schema/*.ldif; do ldapadd -Y EXTERNAL -H ldapi:/// -f $i; done` ### 修改默认的domain - 输入命令：`slappasswd`，重复输入两次明文密码后（我是：111111），我得到一个加密后密码（后面会用到）：`{SSHA}rNLkIMYKvYhbBjxLzSbjVsJnZSkrfC3w` - `cd /root/my_ldif ; vim chdomain.ldif`，添加如下内容（cn，dc，dc，olcRootPW 几个值需要你自己改）： ``` ini dn: olcDatabase={1}monitor,cn=config changetype: modify replace: olcAccess olcAccess: {0}to * by dn.base="gidNumber=0+uidNumber=0,cn=peercred,cn=external,cn=auth" read by dn.base="cn=gitnavi,dc=youmeek,dc=com" read by * none dn: olcDatabase={2}hdb,cn=config changetype: modify replace: olcSuffix olcSuffix: dc=youmeek,dc=com dn: olcDatabase={2}hdb,cn=config changetype: modify replace: olcRootDN olcRootDN: cn=gitnavi,dc=youmeek,dc=com dn: olcDatabase={2}hdb,cn=config changetype: modify add: olcRootPW olcRootPW: {SSHA}rNLkIMYKvYhbBjxLzSbjVsJnZSkrfC3w dn: olcDatabase={2}hdb,cn=config changetype: modify add: olcAccess olcAccess: {0}to attrs=userPassword,shadowLastChange by dn="cn=gitnavi,dc=youmeek,dc=com" write by anonymous auth by self write by * none olcAccess: {1}to dn.base="" by * read olcAccess: {2}to * by dn="cn=gitnavi,dc=youmeek,dc=com" write by * read ``` - 添加配置：`ldapadd -Y EXTERNAL -H ldapi:/// -f chdomain.ldif` ### 添加一个基本的目录 - `cd /root/my_ldif ; vim basedomain.ldif`，添加如下内容（cn，dc，dc 几个值需要你自己改）： ``` ini dn: dc=youmeek,dc=com objectClass: top objectClass: dcObject objectclass: organization o: youmeek dot Com dc: youmeek dn: cn=gitnavi,dc=youmeek,dc=com objectClass: organizationalRole cn: gitnavi description: Directory Manager dn: ou=People,dc=youmeek,dc=com objectClass: organizationalUnit ou: People dn: ou=Group,dc=youmeek,dc=com objectClass: organizationalUnit ou: Group ``` - 添加配置：`ldapadd -x -D cn=gitnavi,dc=youmeek,dc=com -W -f basedomain.ldif`，会提示让你输入配置 domain 的密码，我是：111111 - `简单的配置到此就好了` ### 测试连接 - 重启下服务：`systemctl restart slapd` - 本机测试，输入命令：`ldapsearch -LLL -W -x -D "cn=gitnavi,dc=youmeek,dc=com" -H ldap://localhost -b "dc=youmeek,dc=com"`，输入 domain 密码，可以查询到相应信息 - 局域网客户端连接测试，下载 Ldap Admin（下载地址看文章下面），具体连接信息看下图： - ![Ldap Admin](../images/Ldap-Install-And-Settings-a-1.png) ## LDAP 客户端 - 常见客户端： - [LdapAdmin](http://www.ldapadmin.org/download/ldapadmin.html) - [LdapBrowser](http://www.ldapbrowser.com/) - [phpLDAPadmin](http://phpldapadmin.sourceforge.net/wiki/index.php/Main_Page) - [Softerra LDAP Administrator](http://softerra-ldap-administrator.software.informer.com/3.5/) ## 资料 - - - - ================================================ FILE: markdown-file/Linux.md ================================================ # Linux 介绍 ## Linux 这个名字 Linux 的 Wiki 介绍： Linux 也称：`GNU/Linux`，而其中 GNU 的全称又是：`Gnu’s Not Unix`。 其中 GNU 放前面是有原因的，GNU 介绍： 对于 Linux 和 GNU/Linux 的两种叫法是有争议，可以看下面文章： 其实我们可以认为：Linux 本质是指 Linux 内核，而称 GNU/Linux 则代表这是一个系统，所以我认为 Debian 的这个叫法是合理的，但是确实有点不好念和记忆。所以普遍大家直接称作 Linux。 通过上面的全称和资料其实我们也就了解到，Linux 本质来源不是 Unix，但是它借鉴了 Unix 的设计思想，所以在系统业界上把这种和 Unix 是一致设计思想的系统归为：`类 Unix 系统`。 类 Unix 系统的介绍： 类 Unix 系统，除了我们今天要讲的 Linux，还有大家熟知的 Mac OS X、FreeBSD（这两个是直接从 Unix 系发展过来的，所以相对 Linux 是比较地道的类 Unix 系统） - FreeBSD 介绍： - Mac OS X 介绍： ## Linux 的发行版本 Linux 的 Wiki 中有这句话： > 通常情况下，Linux 被打包成供个人计算机和服务器使用的 Linux 发行版，一些流行的主流 Linux 发布版，包括 Debian（及其派生版本 Ubuntu、Linux Mint）、Fedora（及其相关版本 Red Hat Enterprise Linux、CentOS）和 openSUSE、ArchLinux（这个是我补充的）等。 **通过上面这句话我做了总结，我个人觉得应该这样分：** - Fedora、RHEL、Centos 是一个系，他们的区别： - Debian、Ubuntu 是一个系的，他们的区别直接看 Ubuntu 的 Wiki 就可以得知： - ArchLinux 自己一个系： - openSUSE 自己一个系： **根据用途可以再总结：** - Fedora 系业界一般用于做服务器 - Debian 系业界一般用于桌面，移动端，TV这一类 - ArchLinux 系，很轻量的Linux，适合有一定Linux基础，并且爱折腾的人使用，用它做桌面或是服务器都行。 - OpenSuse 系，嘛，嗯…人气相对比较差，一般是服务器。 其实 Linux 的发行版本有太多了，我也只是简单说下常见的而已，具体可以看： ## Linux 作用 为什么要用 Linux 系统？大家常看到的说法是这样的： > Linux 是一个开源的，有潜力，安全，免费的操作系统 我觉得这几个点都比较虚， 特别是免费这东西，在景德镇应该算是最不值钱的东西。作为系统的上层使用者来讲，我们之所以喜欢某个操作系统就是因为它可以加快的你生产效率，提高产能。我推荐 Linux 也只是因为它适合常见的编程语言做开发环境，仅此一点。 **所有，对此我的总结就是：** 如果你是某种语言的开发者，你从事这个行业，不管你怎么学习下去，Linux 永远绕不开。从简单的各种语言开发，到后期的服务器部署，分布式，集群环境，数据库相关等，Linux 都在等着你。如果你是新手程序员可能还不太懂我这句话，但是我这里可以这样提示：你可以认真去看下各个语言的官网、对应的开发组件官网，看下他们的下载和新手上路相关页面，都会有 Linux 系统对应的介绍，但是不一定有会 Windows。（P.S：微软系、美工等设计系是唯一这个总结之外的人） 在认识 Linux 作用上我以下面这边文章为结尾。Linux 和 Mac OS X 都是类 Unix 系统，所以这篇文章中基本上的理由都可以用到 Linux 上的。 为什么国外程序员爱用 Mac？ ## 推荐的发行版本 **Ubuntu：适用于开发机** **推荐版本：Ubuntu kylin 15.10** - Ubuntu kylin 官网： - Ubuntu 英文官网： - Ubuntu 中文官网： - 网易镜像： - 阿里云镜像： - Ubuntu kylin 15.10 **64 位**镜像地址： **推荐理由：** 我们是要在上面做开发的，不是要把他变成生活用机的，所以你认为自己尝试安装各种中文输入法很爽吗？自己尝试让国际 Ubuntu 版变成又一个符合国情的 kylin 很爽吗？真心别折腾这些没用的东西。就像我以前说的，大学老师让 Java 新手使用记事本写代码就是一种非常 shit 行为，不断地在 Windows 上用 `cmd > javac` 是毫无意义的。 ------ **CentOS：适用于服务器机** **推荐版本：6.7** - CentOS 官网： - 网易镜像： - 阿里云镜像： - CentOS 6.7 **64 位**镜像地址： **推荐理由：** Fedora（CentOS、RHEL） 系，是在国内外，作为企业服务器的系统最多，没有之一。我在 Quora 和知乎上也搜索了下，基本上大家都是赞同这个观点的。 ================================================ FILE: markdown-file/Logstash-Base.md ================================================ # Logstash 知识 ## 基础知识 - 基于 ruby 写的 - 官网文档： - 如果是通过网络来收集，并不需要所有机子都装，但是如果是要通过读取文件来收集，那文件所在的那个机子就的安装 - 配置文件的写法格式： ### logstash 5.5.0 安装 - 假设你已经看了 Elasticsearch 专题文，并且设置了仓库地址：[Elasticsearch 相关知识](Elasticsearch-Base.md) - 安装：`yum install -y logstash` ### logstash 2.4.1 安装 - logstash 基于 ruby，也需要 JDK 环境 - 如果是通过网络来收集，并不需要所有机子都装，但是如果是要通过读取文件来收集，那文件所在的那个机子就的安装 logstash - 安装： - 切换到存放目录：`cd /usr/program/elk` - 解压：`tar zxvf logstash-2.4.1.tar.gz` - 切换到 root 用户下，启动 logstash - 带控制台的启动（比较慢）进行最简单的 hello world 测试：`/usr/program/elk/logstash-2.4.1/bin/logstash -e 'input { stdin { } } output { stdout { codec => rubydebug} }'` - 启动后显示如下内容： ``` nginx Settings: Default pipeline workers: 1 Pipeline main started ``` - 然后此时的光标是为可输入状态，我们输入：hello world 回车，然后应该会得到这样的结果： ``` json { "message" => "hello world", "@version" => "1", "@timestamp" => "2017-03-14T06:56:44.690Z", "host" => "youmeeklocalhost" } ``` - 现在进一步加深，把控制台输入的内容放在 elasticsearch 索引中 - 记得先切换到 elasticsearch 用户下，然后先启动 elasticsearch。先确保 elasticsearch 集群是启动的。 - 带控制台的启动（比较慢）：`/usr/program/elk/logstash-2.4.1/bin/logstash -e 'input { stdin { } } output { elasticsearch { hosts => ["192.168.1.127:9200"] } }'` - 启动后显示如下内容： ``` nginx Settings: Default pipeline workers: 1 Pipeline main started ``` - 然后此时的光标是为可输入状态，我们输入任意内容回车，然后访问 elasticsearch 的 head 插件控制台：`http://192.168.1.127:9200/_plugin/head/` - 然后你可以看到有一个类似这样的名称格式的索引：`logstash-2017.03.14`，这一步必须有，等下 kibana 会用到这个索引 ## 配置文件中的 Filter 讲解 - grok 比较耗 CPU 能少用就尽量少用 - 主要讲解 grok 这个插件，官网资料： - 官网给我们整理的 120 个正则表达式变量： - 内置的变量格式为，eg：`%{IP}` - 而这个格式 `%{IP:client}` 表示把日志中匹配 IP 格式的内容存储到 ES 中的 client 域（字段）中，这样 ES 界面就有单独字段查看，方便。 - 安装完 logstash 本地也是有这些文件的，路径：`/usr/program/elk/logstash-2.4.1/vendor/bundle/jruby/1.9/gems/logstash-patterns-core-2.0.5/patterns` - 官网简单的日志讲解： - **新建** 配置文件：`vim /usr/program/elk/logstash-2.4.1/config/filter-grok-test.conf`： ``` nginx input { stdin { } } filter { grok { match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" } } } output { elasticsearch { hosts => ["192.168.1.127:9200"] index => "filter-grok-test" } } ``` - 启动 Logstash 并加载该配置文件：`/usr/program/elk/logstash-2.4.1/bin/logstash -f /usr/program/elk/logstash-2.4.1/config/filter-grok-test.conf` - 然后我们在交互界面中分别输入下面内容： - `55.3.244.1 GET /index.html 15824 0.043` - `125.4.234.22 GET /GitNavi.html 124 0.13` - 然后你开始关注 elasticsearch 集群的索引变化。 ## 配置文件中的 multiline 多行内容收集插件讲解 - 配置的格式如下： - 在 file 中的：`codec => multiline` ``` nginx input { file { path => ["/usr/program/tomcat8/logs/logbackOutFile.log.*.log"] type => "tomcat-log" start_position => "beginning" codec => multiline { pattern => "^\[" negate => true what => "previous" } } } output { if [type] == "tomcat-log" { elasticsearch { hosts => ["192.168.1.127:9200"] index => "tomcat-log-%{+YYYY.MM.dd}" } } } ``` ## 案例 ### 测试模式 #### 自己写正则表达式，匹配后输出到控制台先看下： - 新建目录（如果存在就不用）：`mkdir -p /usr/program/elk/logstash-2.4.1/config` - **新建** 配置文件：`vim /usr/program/elk/logstash-2.4.1/config/regexp-test.conf`： ``` nginx input { stdin { codec => multiline { pattern => "^\[" negate => true what => "previous" } } } output { stdout { codec => "rubydebug" } } ``` - 启动 Logstash 并加载该配置文件：`/usr/program/elk/logstash-2.4.1/bin/logstash -f /usr/program/elk/logstash-2.4.1/config/regexp-test.conf` #### 读取文件，输出到控制台先看下： - 新建目录（如果存在就不用）：`mkdir -p /usr/program/elk/logstash-2.4.1/config` - **新建** 配置文件：`vim /usr/program/elk/logstash-2.4.1/config/file-test.conf`： ``` nginx input { file { path => ["/var/log/nginx/access.log"] type => "nginx-access-log" start_position => "beginning" } } output { stdout { codec => "rubydebug" } } ``` - 启动 Logstash 并加载该配置文件：`/usr/program/elk/logstash-2.4.1/bin/logstash -f /usr/program/elk/logstash-2.4.1/config/regexp-test.conf` ### Nginx 日志收集 - 机子：192.168.1.121 - Nginx 日志位置： - `/var/log/nginx/access.log` - `/var/log/nginx/error.log` - 安装 Logstash 过程请看：[ELK 日志收集系统安装和配置](ELK-Install-And-Settings.md) - 新建目录（如果存在就不用）：`mkdir -p /usr/program/elk/logstash-2.4.1/config` - **新建** 配置文件：`vim /usr/program/elk/logstash-2.4.1/config/nginx.conf`： ``` nginx input { file { path => ["/var/log/nginx/access.log"] type => "nginx-access-log" start_position => "beginning" } file { path => ["/var/log/nginx/error.log"] type => "nginx-error-log" start_position => "beginning" } } output { if [type] == "nginx-access-log" { elasticsearch { hosts => ["192.168.1.127:9200"] index => "nginx-access-log" } } if [type] == "nginx-error-log" { elasticsearch { hosts => ["192.168.1.127:9200"] index => "nginx-error-log" } } } ``` - 启动 Logstash 并加载该配置文件：`/usr/program/elk/logstash-2.4.1/bin/logstash -f /usr/program/elk/logstash-2.4.1/config/nginx.conf` - 然后你开始访问 nginx，再关注 elasticsearch 集群的索引变化，如果有新增索引那就表示可以了。 #### 进一步优化：把 nginx 的日志输出格式改为 json - 配置 nginx 访问日志的输出格式：`vim /usr/local/nginx/conf/nginx.conf` ``` nginx user root; worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; log_format json '{"@timestamp":"$time_iso8601",' '"host":"$server_addr",' '"clientip":"$remote_addr",' '"size":$body_bytes_sent,' '"responsetime":$request_time,' '"upstreamtime":"$upstream_response_time",' '"upstreamhost":"$upstream_addr",' '"http_host":"$host",' '"url":"$uri",' '"xff":"$http_x_forwarded_for",' '"referer":"$http_referer",' '"agent":"$http_user_agent",' '"status":"$status"}'; #全局日志 access_log /var/log/nginx/access.log; error_log /var/log/nginx/error.log; server { listen 80; server_name localhost; # 针对服务的日志输出 access_log /var/log/nginx/access-json.log json; location / { root html; index index.html index.htm; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } } ``` - 修改 Logstash 的收集 - **编辑** 配置文件：`vim /usr/program/elk/logstash-2.4.1/config/nginx.conf`： ``` nginx input { file { path => ["/var/log/nginx/access-json.log"] codec => json type => "nginx-access-json-log" start_position => "beginning" } } output { if [type] == "nginx-access-json-log" { elasticsearch { hosts => ["192.168.1.127:9200"] index => "nginx-access-json-log" } } } ``` - 启动 Logstash 并加载该配置文件：`/usr/program/elk/logstash-2.4.1/bin/logstash -f /usr/program/elk/logstash-2.4.1/config/nginx.conf` - 然后你开始访问 nginx，再关注 elasticsearch 集群的索引变化，如果有新增索引那就表示可以了。 ### Tomcat 日志收集 - 机子：192.168.1.121 - Tomcat 日志位置：`/usr/program/tomcat8/logs` - 安装 Logstash 过程请看：[ELK 日志收集系统安装和配置](ELK-Install-And-Settings.md) - 新建目录（如果存在就不用）：`mkdir -p /usr/program/elk/logstash-2.4.1/config` - **新建** 配置文件：`vim /usr/program/elk/logstash-2.4.1/config/tomcat.conf`： ``` nginx input { file { path => ["/usr/program/tomcat8/logs/logbackOutFile.log.*.log"] type => "tomcat-log" start_position => "beginning" codec => multiline { pattern => "^\[" negate => true what => "previous" } } } output { if [type] == "tomcat-log" { elasticsearch { hosts => ["192.168.1.127:9200"] index => "tomcat-log-%{+YYYY.MM.dd}" } } } ``` - 启动 Logstash 并加载该配置文件：`/usr/program/elk/logstash-2.4.1/bin/logstash -f /usr/program/elk/logstash-2.4.1/config/tomcat.conf` - 然后你开始访问 nginx，再关注 elasticsearch 集群的索引变化，如果有新增索引那就表示可以了。 ### MySQL 慢 SQL 日志收集 - 其他的细节都跟上面一样不多说了，配置文件这里需要用到 grok 进行正则的拆分 - 这里有资料，我觉得别人已经说得很好了（Google 关键字：`grok mysql slow`）： - - - - - ``` "(?m)^#\s+User@Host:\s+%{USER:user}\[[^\]]+\]\s+@\s+%{USER:clienthost}\s+\[(?:%{IP:clientip})?\]\s+Id:\s+%{NUMBER:id:int}\n#\s+Schema:\s+%{USER:schema}\s+Last_errno:\s+%{NUMBER:lasterrorno:int}\s+Killed:\s+%{NUMBER:killedno:int}\n#\s+Query_time:\s+%{NUMBER:query_time:float}\s+Lock_time:\s+%{NUMBER:lock_time:float}\s+Rows_sent:\s+%{NUMBER:rows_sent:int}\s+Rows_examined:\s+%{NUMBER:rows_examined:int}\s+Rows_affected:\s+%{NUMBER:rows_affected:int}\n#\s+Bytes_sent:\s+%{NUMBER:bytes_sent:int}\n\s*(?:use\s+%{USER:usedatabase};\s*\n)?SET\s+timestamp=%{NUMBER:timestamp};\n\s*(?(?\w+)\b.*)\s*(?:\n#\s+Time)?.*$" ``` ### Logstash 不直接写到 ES 先写到 Redis 再写到 ES - 官网 Redis 插件使用说明： #### 一台 Logstash 把数据写到 Redis - Redis 机器 IP：192.168.1.125 - Logstash 机器 IP：192.168.1.121 - Logstash 机器 **新建** 配置文件：`vim /usr/program/elk/logstash-2.4.1/config/redis-test.conf`： ``` nginx input { stdin { } } output { redis { host => "192.168.1.125" port => "6379" db => "2" data_type => "list" key => "gitnavi-logstash-info" } } ``` - 启动 Logstash 并加载该配置文件：`/usr/program/elk/logstash-2.4.1/bin/logstash -f /usr/program/elk/logstash-2.4.1/config/redis-test.conf` - 然后我们在交互界面中分别输入下面内容： - `hello` 回车 - `world` 回车 - 进入 Redis 机器上的数据： - 进入 redis 交互端：`redis-cli` - 查询 db2：`select 2` - 查询 db2 下的所有内容：`keys *`，可以看到有一个："gitnavi-logstash-info" - 查询该 list 类型的数据：`LRANGE gitnavi-logstash-info 0 1`，正常可以得到这样的数据 ``` json 1) "{\"message\":\"hello\",\"@version\":\"1\",\"@timestamp\":\"2017-03-15T15:23:35.064Z\",\"host\":\"youmeekhost\"}" 2) "{\"message\":\"world\",\"@version\":\"1\",\"@timestamp\":\"2017-03-15T15:23:37.245Z\",\"host\":\"youmeekhost\"}" ``` #### 一台 Logstash 把数据从 Redis 读取出来写到 ES - Redis 机器 IP：192.168.1.125 - Logstash 机器 IP：192.168.1.125 - Logstash 机器 **新建** 配置文件：`vim /usr/program/elk/logstash-2.4.1/config/redis-test.conf`： ``` nginx input { redis { type => "redis-log" host => "192.168.1.125" port => "6379" db => "2" data_type => "list" key => "gitnavi-logstash-info" } } output { if [type] == "redis-log" { elasticsearch { hosts => ["192.168.1.127:9200"] index => "redis-log" } } } ``` - 启动 Logstash 并加载该配置文件：`/usr/program/elk/logstash-2.4.1/bin/logstash -f /usr/program/elk/logstash-2.4.1/config/redis-test.conf` - 然后现在在 Logstash 机器 IP：192.168.1.121 上继续输入一些内容，看下 ES 集群是否有对应的索引创建。 ### Logstash 不直接写到 ES 先写到 MQ 再写到 ES - 官网 RabbitMQ 插件使用说明： #### 一台 Logstash 把数据写到 rabbitMQ ``` nginx input { file { path => "/usr/local/tomcat/logs/tomcat_json.log" codec => "json" type => "tomcat" } } output { rabbitmq { host => "RabbitMQ_server" port => "5672" vhost => "elk" exchange => "elk_exchange" exchange_type => "direct" key => "elk_key" user => "liang" password => "liang123" } stdout { codec => rubydebug } } ``` #### 一台 Logstash 把数据从 rabbitMQ 读取出来写到 ES （还未测试） ``` nginx input { rabbitmq { host => "127.0.0.1" subscription_retry_interval_seconds => "5" vhost => "elk" exchange => "elk_exchange" queue => "elk_queue" durable => "true" key => "elk_key" user => "liang" password => "liang123" } } output { if [type] == "nginx" { elasticsearch { hosts => "192.168.1.127:9200" user => "logstash" password => "123456" index => "nginx-%{+YYYY.MM.dd}" } } if [type] == "tomcat" { elasticsearch { hosts => "192.168.1.127:9200" user => "logstash" password => "123456" index => "tomcat-%{+YYYY.MM.dd}" } } stdout { codec => rubydebug } } ``` ## 资料 - - <> ================================================ FILE: markdown-file/Maven-Install-And-Settings.md ================================================ # Maven 安装和配置 ## Maven 资料 - 官网： - 官网下载： - 历史版本下载： - 此时（20160208） Maven 最新版本为：**3.3.9** ## Maven 安装（bash 环境） - Maven 3.3 的 JDK 最低要求是 JDK 7 - 下载压缩包：`wget http://mirrors.cnnic.cn/apache/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz` - 解压：`tar zxvf apache-maven-3.3.9-bin.tar.gz` - 修改目录名，默认的太长了：`mv apache-maven-3.3.9/ maven3.3.9/` - 移到我个人习惯的安装目录下：`mv maven3.3.9/ /usr/local` - 环境变量设置：`vim /etc/profile` - 在文件最尾巴添加下面内容： ``` ini # Maven MAVEN_HOME=/usr/local/maven3.3.9 M3_HOME=/usr/local/maven3.3.9 PATH=$PATH:$M3_HOME/bin MAVEN_OPTS="-Xms256m -Xmx356m" export M3_HOME export MAVEN_HOME export PATH export MAVEN_OPTS ``` - 刷新配置文件：`source /etc/profile` - 测试是否安装成功：`mvn -version` ## Maven 配置 - 创建本地参数：`mkdir -p /opt/maven-repository` - 配置项目连接上私服 - 编辑配置文件：`vim /usr/local/maven3.3.9/conf/settings.xml` ``` xml /opt/maven-repository nexus-releases admin admin123 nexus-snapshots admin admin123 aliyun-releases * http://maven.aliyun.com/nexus/content/groups/public/ aliyun-snapshots * http://maven.aliyun.com/nexus/content/groups/public/ ``` ## 资料 - - - - - - - - ================================================ FILE: markdown-file/MongoDB-Install-And-Settings.md ================================================ ## MongoDB 安装和配置 ## 基础概念 - MongoDB 元素概念 - databases: 数据库; - collections:表；（collections组成了databases） - documents:行；（documents组成了collections） - MongoDB 没有新建数据库的命令，只要进行 insert 或其它操作，MongoDB 就会自动帮你建立数据库和 collection。当查询一个不存在的 collection 时也不会出错，MongoDB 会认为那是一个空的 collection。 - 一个对象被插入到数据库中时，如果它没有 ID，会自动生成一个 "_id" 字段，为 12 字节(24位)16进制数。 - 当然如果插入文档不带 _id，则系统会帮你自动创建一个，如果自己指定了就用自己指定的。 ## 如果你用 Spring Data MongoDB 依赖请注意 - 请先看官网最新支持到哪个版本的依赖： - 查看锚点为：`What’s new in Spring Data MongoDB` 的内容，比如：What’s new in Spring Data MongoDB 1.10，出现这样一句话：`Compatible with MongoDB Server 3.4 and the MongoDB Java Driver 3.4` - 目前 201712 支持 MongoDB 3.4 ## 如果你用 Robomongo 客户端请注意 - 请查看介绍中支持哪个版本： - 目前 201712 支持 MongoDB 3.4 ------------------------------------------------------------------- ## Docker 下安装 MongoDB（方式一） - 先创建一个宿主机以后用来存放数据的目录：`mkdir -p /data/docker/mongo/db` - 赋权：`chmod 777 -R /data/docker/mongo/db` - 首次运行镜像：`docker run --name cloud-mongo -p 27017:27017 -v /data/docker/mongo/db:/data/db -d mongo:3.4` - 进入容器中 mongo shell 交互界面：`docker exec -it cloud-mongo mongo adg_mongo_db` - 创建一个用户： ``` db.createUser( { user: "adguser", pwd: "adg123456", roles: [ { role: "dbAdmin", db: "adg_mongo_db" }, { role: "readWrite", db: "adg_mongo_db" } ] } ) ``` - 然后停掉容器：`docker stop cloud-mongo` - 然后删除容器：`docker rm cloud-mongo` - 重新运行镜像，这次增加需要授权才能访问的配置：`docker run -d -p 27017:27017 -v /data/docker/mongo/db:/data/db --restart always --name cloud-mongo mongo:3.4 --auth` - 重新启动服务：`docker restart cloud-mongo` - 导出：`docker exec -it cloud-mongo mongoexport -h 127.0.0.1 -u 用户名 -p 密码 -d 库名 -c 集合名 -o /data/db/mongodb.json --type json` - 导入：`docker exec -it cloud-mongo mongoimport -h 127.0.0.1 -u 用户名 -p 密码 -d 库名 -c 集合名 --file /data/db/mongodb.json --type json` ## Docker 下安装 MongoDB（方式二） - 先创建一个宿主机以后用来存放数据的目录：`mkdir -p /data/docker/mongo/db` - 赋权：`chmod 777 -R /data/docker/mongo/db` - 运行镜像：`docker run --name cloud-mongo2 -p 37017:27017 -v /data/docker/mongo/db:/data/db -d mongo:3.4 --auth` - 进入容器中 mongo shell 交互界面：`docker exec -it cloud-mongo2 mongo` - 创建一个超级用户： ``` use admin db.createUser( { user: "mongo-admin", pwd: "123456", roles: [ { role: "root", db: "admin" } ] } ) db.auth("mongo-admin","123456") ``` - 使用 db.auth() 可以对数据库中的用户进行验证，如果验证成功则返回 1，否则返回 0 - 接着创建一个普通数据库和用户： ``` use my_test_db db.createUser( { user: "mytestuser", pwd: "123456", roles: [ { role: "dbAdmin", db: "my_test_db" }, { role: "readWrite", db: "my_test_db" } ] } ) db.auth("mytestuser","123456") ``` ------------------------------------------------------------------- ## MongoDB 传统方式安装 - 关闭 SELinux - 编辑配置文件：`vim /etc/selinux/config` - 把 `SELINUX=enforcing` 改为 `SELINUX=disabled` - MongoDB 资料 - 官网： - 官网文档： - 此时（20170228） 最新稳定版本为：**3.4.2** - 官网下载： - 官网安装方法介绍： - 官网文档使用的 Package 的安装方式。还有一种安装方式是下载 tar 包的方法，如果需要 tar 包方式可以看这篇文章： - ### yum 卸载 - `yum remove "mongodb-org-*"` ### 3.4.2 yum 安装 - 新建文件：`vim /etc/yum.repos.d/mongodb-org-3.4.repo`，文件内容如下： ``` bash [mongodb-org-3.4] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/ gpgcheck=1 enabled=1 gpgkey=https://www.mongodb.org/static/pgp/server-3.4.asc ``` - 如果你要安装 2.6 的版本，可以使用下面这个内容： ``` bash [mongodb-org-2.6] name=MongoDB 2.6 Repository baseurl=http://downloads-distro.mongodb.org/repo/redhat/os/x86_64/ gpgcheck=0 enabled=1 ``` - 上面文件新建好之后，输入安装命令：`yum install -y mongodb-org`，一共有 5 个包，加起来有 100M 左右，国内下载速度不快，需要等等，可能还会出错，如果出错用国内源： - 开放防火墙端口： - `iptables -A INPUT -p tcp -m tcp --dport 27017 -j ACCEPT` - `service iptables save` - `service iptables restart` ### 3.6 yum 安装： - 新建文件：`vim /etc/yum.repos.d/mongodb-org-3.6.repo`，文件内容如下： ``` bash [mongodb-org-3.6] name=MongoDB Repository baseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/testing/x86_64/ gpgcheck=1 enabled=1 gpgkey=https://www.mongodb.org/static/pgp/server-3.6.asc ``` - 上面文件新建好之后，输入安装命令：`yum install -y mongodb-org`，一共有 5 个包，加起来有 100M 左右，国内下载速度不快，需要等等，可能还会出错，如果出错用国内源： - 开放防火墙端口： - `iptables -A INPUT -p tcp -m tcp --dport 27017 -j ACCEPT` - `service iptables save` - `service iptables restart` ### 3.4.10 tar 绿色安装 - 下载：`wget https://fastdl.mongodb.org/linux/mongodb-linux-x86_64-rhel62-3.4.10.tgz` - 解压到指定目录，并重命名： ``` tar zxvf mongodb-linux-x86_64-rhel62-3.4.10.gz mv mongodb-linux-x86_64-rhel62-3.4.10 mongodb mv mongodb /usr/program ``` - 增加系统变量，我这里是用 zsh ``` vim ~/.zshrc export MONGODB_HOME=/usr/program/mongodb export PATH=$MONGODB_HOME/bin:$PATH source ~/.zshrc ``` - 测试是否安装成功：`mongod -v`，安装成功会得到如下信息： ``` 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] MongoDB starting : pid=31155 port=27017 dbpath=/data/db 64-bit host=youmeek 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] db version v3.4.10 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] git version: 078f28920cb24de0dd479b5ea6c66c644f6326e9 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] OpenSSL version: OpenSSL 1.0.1e-fips 11 Feb 2013 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] allocator: tcmalloc 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] modules: none 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] build environment: 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] distmod: rhel62 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] distarch: x86_64 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] target_arch: x86_64 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] options: { systemLog: { verbosity: 1 } } 2017-12-03T00:08:09.854+0800 D - [initandlisten] User Assertion: 29:Data directory /data/db not found. src/mongo/db/service_context_d.cpp 98 2017-12-03T00:08:09.854+0800 I STORAGE [initandlisten] exception in initAndListen: 29 Data directory /data/db not found., terminating 2017-12-03T00:08:09.854+0800 I NETWORK [initandlisten] shutdown: going to close listening sockets... 2017-12-03T00:08:09.854+0800 I NETWORK [initandlisten] shutdown: going to flush diaglog... 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] now exiting 2017-12-03T00:08:09.854+0800 I CONTROL [initandlisten] shutting down with code:100 ``` - 创建数据库、日志存放目录： ``` mkdir -p /usr/program/mongodb/data mkdir -p /usr/program/mongodb/log touch /usr/program/mongodb/log/mongodb.log ``` - 创建配置文件：`vim /etc/mongodb.conf`，并写入内容： ``` dbpath=/usr/program/mongodb/data logpath=/usr/program/mongodb/log/mongodb.log logappend=true port=27017 fork=true ``` - 看下是否已经有 mongo 在运行，如果有就 kill 掉：`ps -ef | grep mongo` - 通过配置文件启动：`mongod -f /etc/mongodb.conf` - 显示下面信息则表示启动了： ``` about to fork child process, waiting until server is ready for connections. forked process: 29167 child process started successfully, parent exiting ``` - 进入 MongoDB 后台管理 Shell：`cd /usr/program/mongodb/bin && ./mongo` - 创建数据库： ``` use youmeek ``` - 创建用户，并授权，需要注意的是：dbAdmin 的权限是没有包含 readWrite，所以很多时候要根据需求添加多个权限： ``` db.createUser( { user: "youmeek", pwd: "youmeek123456", roles: [ { role: "dbAdmin", db: "youmeek" }, { role: "readWrite", db: "youmeek" } ] } ) ``` - 开放防火墙端口： ``` iptables -A INPUT -p tcp -m tcp --dport 27017 -j ACCEPT service iptables save service iptables restart ``` - 修改配置文件：`vim /etc/mongodb.conf`，在文件最后面增加一行： ``` auth=true ``` - 表示开启用户认证，这样后面要连接 mongo 就必须输入数据库、用户名、密码。 - 然后重启 mongo，开始使用。 ## 其他常用命令： - 检查版本：`mongod --version` - 启动：`service mongod start` - 停止：`service mongod stop` - 重启：`service mongod restart` - 添加自启动：`chkconfig mongod on` - 进入客户端：`mongo`，如果有授权用户格式为：`mongo 127.0.0.1:27017/admin -u 用户名 -p 用户密码` - 卸载命令：`yum erase $(rpm -qa | grep mongodb-org)` - 删除数据库：`rm -r /var/lib/mongo` - 删除 log：`rm -r /var/log/mongodb` ## 添加授权用户 - 先进入 mongo 客户端 ：`mongo` - 输入：`use admin`，然后输入： ``` bash db.createUser( { user: "gitnavi", pwd: "123456", roles: [ { "role" : "dbAdmin", "db" : "youmeek_nav" } ] } ) ``` - 修改密码：`db.changeUserPassword(用户名, 密码)` - 删除用户：` db.removeUser(用户名)` - 内置角色： - read：允许用户读取指定数据库 - readWrite：允许用户读写指定数据库 - dbAdmin：允许用户在指定数据库中执行管理函数，如索引创建、删除，查看统计或访问system.profile - userAdmin：允许用户向system.users集合写入，可以找指定数据库里创建、删除和管理用户 - clusterAdmin：只在admin数据库中可用，赋予用户所有分片和复制集相关函数的管理权限。 - readAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的读权限 - readWriteAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的读写权限 - userAdminAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的userAdmin权限 - dbAdminAnyDatabase：只在admin数据库中可用，赋予用户所有数据库的dbAdmin权限。 - root：只在admin数据库中可用。超级账号，超级权限 ## MongoDB 配置 - 编辑配置文件：`vim /etc/mongod.conf`，注意：编辑完记得重启 MongoDB 服务 - 默认的数据库目录：`/var/lib/mongo` - 默认的日志目录：`/var/log/mongodb` - 默认的配置文件内容： ``` ini bindIp:127.0.0.1 #注释此行，表示除了本机也可以登陆 # 补充这个，表示必须使用带用户名密码的才能请求 mongodb，比如访问 admin 数据库：mongo 192.168.1.121:27017/admin -u 用户名 -p 用户密码 security: authorization: enabled ``` ## 常用命令 - `show dbs`，查看已有数据库 - `use 数据库名`，进入指定数据库，如果这个数据库不存在了也是可以进入的，进入之后 insert 一条语句就会自动创建了。 - `db`，显示当前用的数据库 - `show collections`，列出当前数据库的collections(当前数据库下的表) - `show tables`，查看数据库中的集 - `exit`，退出 - `show users`，查看当前库下的用户 - `db.system.users.find().pretty()`，查看所有用户 - `db.dropAllUsers()`，删除所有用户 - `db.dropDatebase()`，删除当前这个数据库 - `db.集名称.find()`，查看集中的所有数据，等同于：select * from 表名称 - `db.集名称.findOne()`，查看集中的一条数据，等同于：select * from 表名称 limit 0,1 - `db.集名称.find().limit(10)`，查看集中的一条数据 - `db.集名称.find().sort({name:1})`，查询列表，根据字段name排序 #1正序 -1倒序 - `db.集名称.find().sort({x:1}).skip(5).limit(10)`，查询列表，根据字段name排序，等同于 select from foo order by x asc limit 5, 10 - `db.集名称.find({x:10})`，查询列表，等同于 select from foo where x = 10 - `db.集名称.find({x: {$lt:10}})`，select from foo where x <= 10 - `db.集名称.find({}, {y:true})`，select y from foo - `db.集名称.find({"address.city":"gz"})`，搜索嵌套文档address中city值为gz的记录 - `db.集名称.find({likes:"math"})`，搜索数组 - `db.集名称.insert({"a":1,"b":2})`，插入一个测试数据 - `db.集名称.find({name:"lichuang"})`，根据索引或字段查找数据 - `db.集名称.update({name:"张三"},{$set:{name:"李四"}})`，更新数据，等同于：UPDATE 表名 SET name='李四' WHERE name = '张三' - `db.集名称.update({name:"张三"},{$set:{name:"李四"},{upsert:true},{multi:true}})`，更新数据，等同于：UPDATE 表名 SET name='李四' WHERE name = '张三'。其中特殊的是 upsert 为 true 的时候，表示如果没有这条数据，则创建一条。multi 表示，所有满足条件的都进行更新，不然默认只找到的第一条更新。 - `db.集名称.remove({name:"lichuang"})`，删除数据，等同于：DELETE FROM 表名 WHERE name='lichuang' - `db.集名称.drop()`，删除这个集合 - `db.集名称.getIndexes()`，查看集合索引 - `db.集名称.dropIndex("name_1")`，删除索引 - `db.集名称.ensureIndex({title:1})`，创建索引 - `db.集名称.ensureIndex({titile:1},{name:"indexname"})`，创建索引，第二个属性设置索引名称 - `db.集名称.ensureIndex({titile:1},{unique:true/false})`，创建唯一索引，第二个属性设置为true说明该字段中值不能重复，false可以重复 - `db.集名称.ensureIndex({name:1,age:1})`，复合索引 - `db.集名称.ensureIndex({"address.city":1})`，在嵌套文档的字段上建索引 - `db.集名称.insert({"article","text"})`，全文索引，指定为text类型,每个数据集合中只允许创建一个全文索引 - `db.adminCommand( {setParameter:1, textSearchEnabled:true})`，开启全文本索引功能 - 一些符号说明： ``` ini $lt ->less then 小于 $lte ->less than and equal 不大于 $lt ->less then 小于 $gt ->greater then 大于 $gte ->greater then and equal 不小于） $ne ->not equal 不等于 ``` - 其他材料： - - - - - - - ## 导入 / 导出 / 备份 /还原 - 数据的导出、导入 - 导出：`mongoexport -h 127.0.0.1 -u 用户名 -p 密码 -d 库名 -c 集合名 -o /opt/mongodb.json --type json` - 导入：`mongoimport -h 127.0.0.1 -u 用户名 -p 密码 -d 库名 -c 集合名 --file /opt/mongodb.json --type json` ## Java 包 - spring-data-mongodb： - mongo-java-driver： ## GUI 管理工具 - Robomongo： ## 基准测试 - ## 随机生成测试数据 - ## 资料 - - ================================================ FILE: markdown-file/Mycat-Install-And-Settings.md ================================================ # Mycat 安装和配置 ## 部署的环境 - 系统：CentOS 6.7 / CentOS 7.4 - JDK：jdk-8u72-linux-x64.tar.gz - Mycat：Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz - 推荐测试机子配置：1 CPU + 2 GB RAM + Docker ## Docker 快速部署 MySQL ``` docker run --name mysql1 -p 3316:3306 -e MYSQL_ROOT_PASSWORD=root -d daocloud.io/library/mysql:5.7.13 docker run --name mysql2 -p 3326:3306 -e MYSQL_ROOT_PASSWORD=root -d daocloud.io/library/mysql:5.7.13 docker run --name mysql3 -p 3336:3306 -e MYSQL_ROOT_PASSWORD=root -d daocloud.io/library/mysql:5.7.13 ``` ## Mycat 安装 - 官网（页头有一个 PDF 要记得下载，这本资料写得很好）： - 官网下载（官网下载地址很乱，如果哪天右边这个地址不行了，到官网加群问下吧）： - 项目 Github： - 此时（20170122） 最新稳定版本为：**1.6**，下载下来的文件名称：**Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz** - 安装前的准备： - 这台机子必须装有 JDK，并且配置好 JAVA_HOME。JDK 的安装看： - 开始安装： - 假设 Mycat 安装包的完整路径是：**/opt/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz** - 解压：`cd /opt ; tar -zxvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz` - 移动解压的目录到官方建议的目录下：`mv /opt/mycat /usr/local/` - 设置 Mycat 的环境变量 - `vim /etc/profile`，添加如下内容： ``` nginx export MYCAT_HOME=/usr/local/mycat export PATH=$PATH:$MYCAT_HOME/bin ``` - 刷新配置：`source /etc/profile` - 到这里就安装好了，但是先不启动，需要先去配置相应的配置文件。 ## Mycat 只分库配置，并且要可预期租户数量（没有分表、读写分离、高可用） - 请至少预留 512M 内存给 Mycat - 使用 Mycat 这几个配置文件必定会改动到。这一个文件所代表的含义几句话说不了，还请你自己看下官网的文档，在目录：conf 下 #### server.xml 配置详解 - `server.xml`，主要用于配置系统变量、用户管理、用户权限等。 - **默认配置中有一个 TESTDB 相关的数据库用户配置，都要自己手工去掉。建议可以把配置文件中 TESTDB 相关的单词都替换成你的数据库名称（你最好能读懂各个配置）。** - 配置用户，添加下面内容： ```xml 123456 adg_system false 0 0 ``` - mycat 中间件的全局配置： ```xml 0 0 2 0 0 1 1m 1k 0 384m false ``` #### schema.xml 配置详解 - `schema.xml`，用于设置 Mycat 的逻辑库、表、数据节点、dataHost 等内容，分库分表、读写分离等等都是在这里进行配置的 - schema.xml 中特别注意的是分片节点的配置。如下，其中 adg_system_0000,adg_system_0001,adg_system_0002 是需要我们自己在 mysql 对应的机子上人工创建这三个空白数据库和表。 ```xml
select user() select user() select user() ``` #### 如果节点数据很多的情况，我们有一种简便写法 ```xml
select user() ``` #### rule.xml 配置详解 - `rule.xml`，设置分片规则。 - 下面我设置一个根据店铺进行分片的规格： ```xml id func1 user_id func1 sharding_id hash-int id rang-long id mod-long id murmur id crc32slot create_time partbymonth calldate latestMonth id rang-mod id jump-consistent-hash shop_id by-shop-id sharding-by-shop-id.txt 1 0 0 2 160 2 partition-hash-int.txt autopartition-long.txt 3 8 128 24 yyyy-MM-dd 2015-01-01 partition-range-mod.txt 3 ``` - 还需要在 conf 新增文件 sharding-by-shop-id.txt 文件，内容是： - 需要注意的是： ``` 417454619141211000=0 417454619141211001=1 417454619141211002=2 ``` - 表示 shop_id 为 417454619141211000 的时候，用 adg_system_0000 库 - 表示 shop_id 为 417454619141211001 的时候，用 adg_system_0001 库 - 表示 shop_id 为 417454619141211002 的时候，用 adg_system_0002 库 - 其中第一个库是从下表 0 开始的。 #### log4j2.xml 配置详解 - `log4j2.xml`，用于设置 Mycat 的日志输出规则，默认日志文件是输出 mycat 根目录下的 logs 目录下。 ## 只分库的 demo 脚本 - 在 MySQL 实例 1 中执行如下初始化脚本： ```sql CREATE DATABASE /*!32312 IF NOT EXISTS*/`adg_system_0000` /*!40100 DEFAULT CHARACTER SET utf8mb4 */; USE `adg_system_0000`; ``` - 在 MySQL 实例 2 中执行如下初始化脚本： ```sql CREATE DATABASE /*!32312 IF NOT EXISTS*/`adg_system_0001` /*!40100 DEFAULT CHARACTER SET utf8mb4 */; USE `adg_system_0001`; ``` - 在 MySQL 实例 3 中执行如下初始化脚本： ```sql CREATE DATABASE /*!32312 IF NOT EXISTS*/`adg_system_0002` /*!40100 DEFAULT CHARACTER SET utf8mb4 */; USE `adg_system_0002`; ``` ## 其他设置 - 假设你上面的配置文件都配置好了： - 开放 8066 端口 - 如果只是临时测试，可以临时关掉防火墙：`service iptables stop` - 不然就添加防火墙规则： - 添加规则：`sudo iptables -I INPUT -p tcp -m tcp --dport 8066 -j ACCEPT` - 保存规则：`sudo service iptables save` - 重启 iptables：`sudo service iptables restart` - 启动/停止/重启 - **注意：在启动之前请一定要确保你可以用 mysql 工具连上你们的三个 mysql 和对应的数据库。有时候你连得上 mysql，但是你的账号不一定能连上这个 mysql 对应的数据库。** - 启动有两种，一种是后台启动，启动后看不到任何信息。一种是控制台启动，启动后进入 Mycat 的控制台界面，显示当前 Mycat 的活动信息，按 Ctrl + C 停止控制台的时候 Mycat 也跟着停止。 - 进入 Mycat 目录：`cd /usr/local/mycat/bin` - 后台启动：`./mycat start && tail -300f /usr/local/mycat/logs/mycat.log` - 控制台启动：`./mycat console` - 重启：`./mycat restart` - 停止：`./mycat stop` - 连接 Mycat - 连接 Mycat 的过程跟连接普通的 MySQL 表面上是没啥区别的，使用的命令都是一个样。但是需要注意的是，很容易出问题。对连接客户端有各种意外，目前我做了总结： - 连接命令：`mysql -h192.168.1.112 -uroot -p -P8066`，然后输入 mycat 的 root 用户密码（在上面介绍的 server.xml 中配置的） - **不建议** 的连接方式： - SQLyog 软件，我这边是报：*find no Route:select * from `youmeek_nav`.`nav_url` limit 0, 1000* - Windows 系统下使用 cmd 去连接，我这边是报：*ERROR 1105 (HY000): Unknown character set: 'gbk'* - MySQL-Front 软件，没用过，但是别人说是有兼容性问题 - **建议** 的连接方式： - Navicat for mysql 软件 - Linux 下的 MySQL 客户端命令行 ## 使用 Navicat 连接 MyCat 测试 SQL #### 创建表 SQL ```sql CREATE TABLE `adg_ads` ( `ads_id` BIGINT(20) NOT NULL COMMENT '广告表ID', `ads_set_id` BIGINT(20) NOT NULL COMMENT '广告组表ID', `ads_title` VARCHAR(32) NOT NULL COMMENT '广告标题', `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`ads_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='广告表'; CREATE TABLE `adg_ads_set` ( `ads_set_id` BIGINT(20) NOT NULL COMMENT '广告组表ID', `ads_set_title` VARCHAR(32) NOT NULL COMMENT '广告组标题', `ads_campaign_id` BIGINT(20) NOT NULL COMMENT '广告系列表ID', `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`ads_set_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='广告组表'; CREATE TABLE `adg_ads_campaign` ( `ads_campaign_id` BIGINT(20) NOT NULL COMMENT '广告系列表ID', `ads_campaign_title` VARCHAR(32) NOT NULL COMMENT '广告系列标题', `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`ads_campaign_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='广告系列表'; CREATE TABLE `adg_channel` ( `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`channel_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='渠道表'; CREATE TABLE `adg_shop` ( `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', PRIMARY KEY (`shop_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='商品表'; CREATE TABLE `adg_shop_channel` ( `shop_channel_id` BIGINT(20) NOT NULL COMMENT '店铺渠道中间表ID', `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`shop_channel_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='店铺渠道中间表'; ``` #### 创建数据 SQL ```sql INSERT INTO `adg_shop`(`shop_id`,`shop_name`) VALUES (417454619141211000,'NC站'); INSERT INTO `adg_shop`(`shop_id`,`shop_name`) VALUES (417454619141211001,'BG站'); INSERT INTO `adg_channel`(`channel_id`,`channel_name`) VALUES (1,'Facebook'); INSERT INTO `adg_channel`(`channel_id`,`channel_name`) VALUES (2,'Google'); INSERT INTO `adg_channel`(`channel_id`,`channel_name`) VALUES (3,'Twitter'); INSERT INTO `adg_shop_channel`(`shop_channel_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (1,417454619141211000,1,'NC站','Facebook'); INSERT INTO `adg_shop_channel`(`shop_channel_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (2,417454619141211000,2,'NC站','Google'); INSERT INTO `adg_shop_channel`(`shop_channel_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (3,417454619141211001,1,'BG站','Facebook'); INSERT INTO `adg_shop_channel`(`shop_channel_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (4,417454619141211001,2,'BG站','Google'); INSERT INTO `adg_ads_campaign`(`ads_campaign_id`,`ads_campaign_title`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (1,'第1个广告系列',417454619141211000,1,'NC站','Facebook'); INSERT INTO `adg_ads_campaign`(`ads_campaign_id`,`ads_campaign_title`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (2,'第2个广告系列',417454619141211001,2,'BG站','Google'); INSERT INTO `adg_ads_set`(`ads_set_id`,`ads_set_title`,`ads_campaign_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (1,'第1个广告集',1,417454619141211000,1,'NC站','Facebook'); INSERT INTO `adg_ads_set`(`ads_set_id`,`ads_set_title`,`ads_campaign_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (2,'第2个广告集',2,417454619141211001,2,'BG站','Google'); INSERT INTO `adg_ads`(`ads_id`,`ads_set_id`,`ads_title`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (1,1,'第1个广告',417454619141211000,1,'NC站','Facebook'); INSERT INTO `adg_ads`(`ads_id`,`ads_set_id`,`ads_title`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (2,2,'第2个广告',417454619141211001,2,'BG站','Google'); ``` ## mycat 正常启动的 log 内容 - `tail -300f wrapper.log` ```log 2018-02-05 14:15:41.432 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.(PhysicalDBPool.java:100)) - total resouces of dataHost mysql_host_0 is :1 2018-02-05 14:15:41.435 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.(PhysicalDBPool.java:100)) - total resouces of dataHost mysql_host_2 is :1 2018-02-05 14:15:41.435 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.(PhysicalDBPool.java:100)) - total resouces of dataHost mysql_host_1 is :1 2018-02-05 14:15:41.442 INFO [WrapperSimpleAppMain] (io.mycat.cache.CacheService.createLayeredPool(CacheService.java:125)) - create layer cache pool TableID2DataNodeCache of type encache ,default cache size 10000 ,default expire seconds18000 2018-02-05 14:15:41.445 INFO [WrapperSimpleAppMain] (io.mycat.cache.DefaultLayedCachePool.createChildCache(DefaultLayedCachePool.java:80)) - create child Cache: TESTDB_ORDERS for layered cache TableID2DataNodeCache, size 50000, expire seconds 18000 2018-02-05 14:15:41.597 INFO [WrapperSimpleAppMain] (io.mycat.config.classloader.DynaClassLoader.(DynaClassLoader.java:34)) - dyna class load from ./catlet,and auto check for class file modified every 60 seconds 2018-02-05 14:15:41.601 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.startup(MycatServer.java:266)) - =============================================== 2018-02-05 14:15:41.602 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.startup(MycatServer.java:267)) - MyCat is ready to startup ... 2018-02-05 14:15:41.602 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.startup(MycatServer.java:279)) - Startup processors ...,total processors:1,aio thread pool size:4 each process allocated socket buffer pool bytes ,a page size:2097152 a page's chunk number(PageSize/ChunkSize) is:512 buffer page's number is:20 2018-02-05 14:15:41.602 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.startup(MycatServer.java:280)) - sysconfig params:SystemConfig [processorBufferLocalPercent=100, frontSocketSoRcvbuf=1048576, frontSocketSoSndbuf=4194304, backSocketSoRcvbuf=4194304, backSocketSoSndbuf=1048576, frontSocketNoDelay=1, backSocketNoDelay=1, maxStringLiteralLength=65535, frontWriteQueueSize=2048, bindIp=0.0.0.0, serverPort=8066, managerPort=9066, charset=utf8mb4, processors=1, processorExecutor=4, timerExecutor=2, managerExecutor=2, idleTimeout=1800000, catletClassCheckSeconds=60, sqlExecuteTimeout=300, processorCheckPeriod=1000, dataNodeIdleCheckPeriod=300000, dataNodeHeartbeatPeriod=10000, clusterHeartbeatUser=_HEARTBEAT_USER_, clusterHeartbeatPass=_HEARTBEAT_PASS_, clusterHeartbeatPeriod=5000, clusterHeartbeatTimeout=10000, clusterHeartbeatRetry=10, txIsolation=3, parserCommentVersion=50148, sqlRecordCount=10, bufferPoolPageSize=2097152, bufferPoolChunkSize=4096, bufferPoolPageNumber=20, maxResultSet=524288, bigResultSizeSqlCount=10, bufferUsagePercent=80, flowControlRejectStrategy=0, clearBigSqLResultSetMapMs=600000, defaultMaxLimit=100, sequnceHandlerType=2, sqlInterceptor=io.mycat.server.interceptor.impl.DefaultSqlInterceptor, sqlInterceptorType=select, sqlInterceptorFile=/usr/local/mycat/logs/sql.txt, mutiNodeLimitType=0, mutiNodePatchSize=100, defaultSqlParser=druidparser, usingAIO=0, packetHeaderSize=4, maxPacketSize=16777216, mycatNodeId=1] 2018-02-05 14:15:41.667 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.startup(MycatServer.java:381)) - using nio network handler 2018-02-05 14:15:41.681 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.startup(MycatServer.java:397)) - $_MyCatManager is started and listening on 9066 2018-02-05 14:15:41.682 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.startup(MycatServer.java:401)) - $_MyCatServer is started and listening on 8066 2018-02-05 14:15:41.682 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.startup(MycatServer.java:403)) - =============================================== 2018-02-05 14:15:41.682 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.startup(MycatServer.java:407)) - Initialize dataHost ... 2018-02-05 14:15:41.682 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.initSource(PhysicalDBPool.java:294)) - init backend myqsl source ,create connections total 10 for hostM1 index :0 2018-02-05 14:15:41.683 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.686 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.686 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.689 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.690 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.690 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.690 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.690 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.690 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.690 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0000 2018-02-05 14:15:41.834 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=1, lastTime=1517811341834, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=793, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.835 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=2, lastTime=1517811341835, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=797, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.835 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=4, lastTime=1517811341835, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=795, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.836 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=8, lastTime=1517811341836, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=796, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.836 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=7, lastTime=1517811341836, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=794, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.837 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=3, lastTime=1517811341837, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=801, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.837 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=5, lastTime=1517811341837, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=798, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.838 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=6, lastTime=1517811341838, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=799, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.840 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=10, lastTime=1517811341840, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=800, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.842 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=9, lastTime=1517811341842, user=root, schema=adg_system_0000, old shema=adg_system_0000, borrowed=true, fromSlaveDB=false, threadId=802, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3316, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:41.899 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.initSource(PhysicalDBPool.java:319)) - init result :finished 10 success 10 target count:10 2018-02-05 14:15:41.899 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.init(PhysicalDBPool.java:265)) - mysql_host_0 index:0 init success 2018-02-05 14:15:41.899 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.saveDataHostIndex(MycatServer.java:604)) - save DataHost index mysql_host_0 cur index 0 2018-02-05 14:15:41.907 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.initSource(PhysicalDBPool.java:294)) - init backend myqsl source ,create connections total 10 for hostM1 index :0 2018-02-05 14:15:41.907 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:41.908 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:41.908 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:41.909 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:41.912 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:41.915 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:41.916 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:41.916 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:41.916 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:41.917 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0002 2018-02-05 14:15:42.021 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=12, lastTime=1517811342021, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=779, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.023 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=11, lastTime=1517811342022, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=780, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.027 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=13, lastTime=1517811342027, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=781, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.027 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=14, lastTime=1517811342027, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=782, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.030 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=17, lastTime=1517811342030, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=783, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.032 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=16, lastTime=1517811342032, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=785, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.034 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=15, lastTime=1517811342034, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=784, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.036 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=18, lastTime=1517811342036, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=786, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.043 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=19, lastTime=1517811342043, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=787, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.043 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=20, lastTime=1517811342043, user=root, schema=adg_system_0002, old shema=adg_system_0002, borrowed=true, fromSlaveDB=false, threadId=788, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3336, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.118 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.initSource(PhysicalDBPool.java:319)) - init result :finished 10 success 10 target count:10 2018-02-05 14:15:42.118 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.init(PhysicalDBPool.java:265)) - mysql_host_2 index:0 init success 2018-02-05 14:15:42.118 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.saveDataHostIndex(MycatServer.java:604)) - save DataHost index mysql_host_2 cur index 0 2018-02-05 14:15:42.118 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.initSource(PhysicalDBPool.java:294)) - init backend myqsl source ,create connections total 10 for hostM1 index :0 2018-02-05 14:15:42.119 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.120 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.120 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.121 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.121 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.122 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.122 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.122 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.123 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.123 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDatasource.getConnection(PhysicalDatasource.java:413)) - no ilde connection in pool,create new connection for hostM1 of schema adg_system_0001 2018-02-05 14:15:42.235 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=21, lastTime=1517811342235, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=776, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.237 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=23, lastTime=1517811342237, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=777, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.239 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=26, lastTime=1517811342239, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=781, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.240 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=22, lastTime=1517811342240, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=778, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.243 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=25, lastTime=1517811342243, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=779, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.245 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=24, lastTime=1517811342245, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=780, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.249 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=29, lastTime=1517811342249, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=782, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.249 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=30, lastTime=1517811342249, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=783, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.250 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=28, lastTime=1517811342250, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=785, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.251 INFO [$_NIOREACTOR-0-RW] (io.mycat.backend.mysql.nio.handler.GetConnectionHandler.connectionAcquired(GetConnectionHandler.java:67)) - connected successfuly MySQLConnection [id=27, lastTime=1517811342251, user=root, schema=adg_system_0001, old shema=adg_system_0001, borrowed=true, fromSlaveDB=false, threadId=784, charset=latin1, txIsolation=3, autocommit=true, attachment=null, respHandler=null, host=116.196.111.68, port=3326, statusSync=null, writeQueue=0, modifiedSQLExecuted=false] 2018-02-05 14:15:42.324 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.initSource(PhysicalDBPool.java:319)) - init result :finished 10 success 10 target count:10 2018-02-05 14:15:42.324 INFO [WrapperSimpleAppMain] (io.mycat.backend.datasource.PhysicalDBPool.init(PhysicalDBPool.java:265)) - mysql_host_1 index:0 init success 2018-02-05 14:15:42.324 INFO [WrapperSimpleAppMain] (io.mycat.MycatServer.saveDataHostIndex(MycatServer.java:604)) - save DataHost index mysql_host_1 cur index 0 ``` ## 使用细节 - 声明： - mycat 的库表这里我们称作虚拟库表 - 创建新表流程： - 先编辑 /conf/schema.xml 文件，增加对应的表信息 - 把创建表 SQL 放在虚拟库上执行，则各个节点的物理库表会增加对应的表结构 ------------------------------------------------------------------------------ ## 只垂直分库流程 - 垂直切分缺点 - 如果不采用全局表那就只能通过 API 接口关联表数据（为了增加吞吐，可以考虑多线程并发执行 API 接口后整合） - 对于访问频繁、数据大的表，性能瓶颈依旧会存在 - 这里只是写个大体思路，基础知识上面已经说了。 - 假设以电商系统为例，拆分出：商品库、用户库、订单库，有 3 个 MySQL 实例各自存储一个业务库 - 1. 因为不进行水平切分，所以不需要修改 rule.xml - 2. 修改 server.xml，增加用户和权限 - 3. 修改 schema.xml，增加逻辑库配置 - dataHost 配置 3 个（只有 3 个 MySQL 实例） - dataNode 配置 3 个，分别对应：商品库（1 个）、用户库（1 个）、订单库（1 个） - schema 配置： ```
``` ------------------------------------------------------------------------------ ## 垂直分库基础上进行水平切分 - 水平分片原则 - 能不切分是最好的，能用归档方式分开存储，分开查询的尽可能通过产品思维层面解决 - 一般只推荐那些数据量大，并且读写频繁的表进行切分 - 选择合适的切分规则、分片键 - 尽可能避免跨分片 JOIN 操作 - 水平分片的步骤 - 选择分片键和分片算法 - 一般分片键推荐的是查询条件基本都会带上的那个字段，或者影响面很广的字段 - 分片键是能尽可能均匀把数据分片到各个节点 - 没有什么可以选择的时候，推荐就是主键 - MyCAT 配置分片节点 - 测试分片节点 - 业务数据迁移 #### 对订单相关业务进行水平切分 - 一般选择订单号或者所属用户 ID 进行分片，这里推荐使用所属用户 ID，因为查询订单信息基本都是从用户角度发起的 - 1. 前面垂直分库已经修改 server.xml，这里不需要 - 2. 修改 rule.xml，修改分片规则 ``` user_id by-user-id-to-order 3 ``` - 3. 修改 schema.xml，增加逻辑库配置 - dataHost 配置 3 个（只有 3 个 MySQL 实例） - dataNode 配置 5 个，分别对应：商品库（1 个）、用户库（1 个）、订单库（3 个） - schema 配置，这里使用取模分片算法： ```
``` ------------------------------------------------------------------------------ ## 其他常用配置 #### SQL 拦截（做审计，不分该 SQL 是否执行成功与否） - 修改 server.xml（只拦截 UPDATE,DELETE,INSERT） ``` io.mycat.server.interceptor.impl.StatisticsSqlInterceptor UPDATE,DELETE,INSERT /opt/mycat-log.txt ``` #### SQL 防火墙 - 作用 - 限制某些用户只能通过某些主机访问（whitehost 标签） - 屏蔽一些 SQL 语句（blacklist 标签） ``` true ``` ------------------------------------------------------------------------------ ## 高可用方案（MySQL + MyCAT + Zookeeper + HAProxy + Keepalived） #### MySQL（3 节点） - 端口使用： - 3406 - 3407 - 3408 ``` docker run -p 3406:3306 --name mycat-mysql-1 -e MYSQL_ROOT_PASSWORD=adgADG123456 -d mysql:5.7 docker run -p 3407:3306 --name mycat-mysql-2 -e MYSQL_ROOT_PASSWORD=adgADG123456 -d mysql:5.7 docker run -p 3408:3306 --name mycat-mysql-3 -e MYSQL_ROOT_PASSWORD=adgADG123456 -d mysql:5.7 ``` #### MyCAT + Zookeeper ###### Zookeeper 单机多个实例（集群） - 端口使用： - 2281 - 2282 - 2283 - 创建 docker compose 文件：`vim zookeeper.yml` - 下面内容来自官网仓库： ``` version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2281:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 zoo2: image: zookeeper restart: always hostname: zoo2 ports: - 2282:2181 environment: ZOO_MY_ID: 2 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=0.0.0.0:2888:3888 server.3=zoo3:2888:3888 zoo3: image: zookeeper restart: always hostname: zoo3 ports: - 2283:2181 environment: ZOO_MY_ID: 3 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=0.0.0.0:2888:3888 ``` - 启动：`docker-compose -f zookeeper.yml -p zk_test up -d` - 参数 -p zk_test 表示这个 compose project 的名字，等价于：`COMPOSE_PROJECT_NAME=zk_test docker-compose -f zookeeper.yml up -d` - 不指定项目名称，Docker-Compose 默认以当前文件目录名作为应用的项目名 - 报错是正常情况的。 - 停止：`docker-compose -f zookeeper.yml -p zk_test stop` ###### MyCAT 单机多个实例 - 必须有 JDK 环境（我这里使用的是：1.8.0_171） ``` tar -zxvf Mycat-server-1.6.5-release-20180503154132-linux.tar.gz mv mycat mycat-1 ``` - `cd /usr/local/mycat-1/conf` - `vim server.xml` ``` 123456 adg_system false 0 0 ``` - `cd /usr/local/mycat-1/conf` - `vim schema.xml` ```
select user() select user() select user() ``` - `cd /usr/local/mycat-1/conf` - `vim rule.xml` ``` shop_id by-shop-id sharding-by-shop-id.txt 1 0 ``` ``` 还需要在 conf 新增文件 sharding-by-shop-id.txt 文件，内容是： 需要注意的是： 417454619141211000=0 417454619141211001=1 417454619141211002=2 ``` ``` CREATE DATABASE adg_system_0000 CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; CREATE DATABASE adg_system_0001 CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; CREATE DATABASE adg_system_0002 CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; ``` - 使用 Zookeeper 配置 - `vim /usr/local/mycat-1/conf/myid.properties` ``` loadZk=true zkURL=192.168.0.105:2281,192.168.0.105:2282,192.168.0.105:2283 clusterId=mycat-cluster myid=mycat_fz_01 clusterSize=2 clusterNodes=mycat_fz_01,mycat_fz_02 #server booster ; booster install on db same server,will reset all minCon to 2 type=server boosterDataHosts=dataHost1 ``` - 同步节点配置到 Zookeeper ``` cd /usr/local/mycat-1/conf cp -f schema.xml server.xml rule.xml sharding-by-shop-id.txt zkconf/ sh /usr/local/mycat-1/bin/init_zk_data.sh ``` - 重要参数： ``` clusterSize=2 表示有几个 MyCAT 节点数量 ``` - 解压另外一个节点： ``` tar -zxvf Mycat-server-1.6.5-release-20180503154132-linux.tar.gz mv mycat mycat-2 因为是单机多节点，所以这里需要修改几个端口参数 vim /usr/local/mycat-2/conf/server.xml 旧值： 8066 9066 新值： 8067 9067 vim /usr/local/mycat-2/conf/wrapper.conf 旧值： wrapper.java.additional.7=-Dcom.sun.management.jmxremote.port=1984 新值： wrapper.java.additional.7=-Dcom.sun.management.jmxremote.port=1985 ``` - 修改另外一个节点配置： - `vim /usr/local/mycat-2/conf/myid.properties` ``` loadZk=true zkURL=192.168.0.105:2281,192.168.0.105:2282,192.168.0.105:2283 clusterId=mycat-cluster myid=mycat_fz_02 clusterSize=2 clusterNodes=mycat_fz_01,mycat_fz_02 #server booster ; booster install on db same server,will reset all minCon to 2 type=server boosterDataHosts=dataHost1 ``` - 启动节点： ``` cd /usr/local/mycat-1/bin 后台启动：./mycat start && tail -300f /usr/local/mycat-1/logs/mycat.log 控制台启动：./mycat console 控制台启动：cd /usr/local/mycat-1/bin && ./mycat console 重启：./mycat restart 停止：./mycat stop cd /usr/local/mycat-2/bin 后台启动：./mycat start && tail -300f /usr/local/mycat-2/logs/mycat.log 控制台启动：./mycat console 控制台启动：cd /usr/local/mycat-2/bin && ./mycat console 重启：./mycat restart 停止：./mycat stop ``` - 创建数据结构： ``` CREATE TABLE `adg_ads` ( `ads_id` BIGINT(20) NOT NULL COMMENT '广告表ID', `ads_set_id` BIGINT(20) NOT NULL COMMENT '广告组表ID', `ads_title` VARCHAR(32) NOT NULL COMMENT '广告标题', `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`ads_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='广告表'; CREATE TABLE `adg_ads_set` ( `ads_set_id` BIGINT(20) NOT NULL COMMENT '广告组表ID', `ads_set_title` VARCHAR(32) NOT NULL COMMENT '广告组标题', `ads_campaign_id` BIGINT(20) NOT NULL COMMENT '广告系列表ID', `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`ads_set_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='广告组表'; CREATE TABLE `adg_ads_campaign` ( `ads_campaign_id` BIGINT(20) NOT NULL COMMENT '广告系列表ID', `ads_campaign_title` VARCHAR(32) NOT NULL COMMENT '广告系列标题', `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`ads_campaign_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='广告系列表'; CREATE TABLE `adg_channel` ( `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`channel_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='渠道表'; CREATE TABLE `adg_shop` ( `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', PRIMARY KEY (`shop_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='商品表'; CREATE TABLE `adg_shop_channel` ( `shop_channel_id` BIGINT(20) NOT NULL COMMENT '店铺渠道中间表ID', `shop_id` BIGINT(20) NOT NULL COMMENT '店铺ID', `channel_id` BIGINT(20) NOT NULL COMMENT '渠道ID', `shop_name` VARCHAR(32) NOT NULL COMMENT '店铺名称', `channel_name` VARCHAR(32) NOT NULL COMMENT '渠道名称', PRIMARY KEY (`shop_channel_id`) ) ENGINE=INNODB DEFAULT CHARSET=utf8mb4 COMMENT='店铺渠道中间表'; ``` ``` INSERT INTO `adg_shop`(`shop_id`,`shop_name`) VALUES (417454619141211000,'NC站'); INSERT INTO `adg_shop`(`shop_id`,`shop_name`) VALUES (417454619141211001,'BG站'); INSERT INTO `adg_channel`(`channel_id`,`channel_name`) VALUES (1,'Facebook'); INSERT INTO `adg_channel`(`channel_id`,`channel_name`) VALUES (2,'Google'); INSERT INTO `adg_channel`(`channel_id`,`channel_name`) VALUES (3,'Twitter'); INSERT INTO `adg_shop_channel`(`shop_channel_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (1,417454619141211000,1,'NC站','Facebook'); INSERT INTO `adg_shop_channel`(`shop_channel_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (2,417454619141211000,2,'NC站','Google'); INSERT INTO `adg_shop_channel`(`shop_channel_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (3,417454619141211001,1,'BG站','Facebook'); INSERT INTO `adg_shop_channel`(`shop_channel_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (4,417454619141211001,2,'BG站','Google'); INSERT INTO `adg_ads_campaign`(`ads_campaign_id`,`ads_campaign_title`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (1,'第1个广告系列',417454619141211000,1,'NC站','Facebook'); INSERT INTO `adg_ads_campaign`(`ads_campaign_id`,`ads_campaign_title`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (2,'第2个广告系列',417454619141211001,2,'BG站','Google'); INSERT INTO `adg_ads_set`(`ads_set_id`,`ads_set_title`,`ads_campaign_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (1,'第1个广告集',1,417454619141211000,1,'NC站','Facebook'); INSERT INTO `adg_ads_set`(`ads_set_id`,`ads_set_title`,`ads_campaign_id`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (2,'第2个广告集',2,417454619141211001,2,'BG站','Google'); INSERT INTO `adg_ads`(`ads_id`,`ads_set_id`,`ads_title`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (1,1,'第1个广告',417454619141211000,1,'NC站','Facebook'); INSERT INTO `adg_ads`(`ads_id`,`ads_set_id`,`ads_title`,`shop_id`,`channel_id`,`shop_name`,`channel_name`) VALUES (2,2,'第2个广告',417454619141211001,2,'BG站','Google'); ``` #### HAProxy + Keepalived ``` ``` ------------------------------------------------------------------------------ ## 资料 - 书：《分布式数据库架构及企业实践-基于 Mycat 中间件》 ================================================ FILE: markdown-file/Mysql-Install-And-Settings.md ================================================ # MySQL 安装和配置 ## Docker 安装 MySQL（不带挂载） ``` docker run \ --name mysql-jira \ --restart always \ -p 3306:3306 \ -e MYSQL_ROOT_PASSWORD=adg_123456 \ -e MYSQL_DATABASE=jira_db \ -e MYSQL_USER=jira_user \ -e MYSQL_PASSWORD=jira_123456 \ -d \ mysql:5.7 ``` - 连上容器：`docker exec -it mysql-jira /bin/bash` - 连上 MySQL：`mysql -u root -p` - 设置编码： ``` SET NAMES 'utf8mb4'; alter database jira_db character set utf8mb4; ``` ## Docker 安装 MySQL（带挂载） - 关掉：SELinux - 创建本地数据存储 + 配置文件目录：`mkdir -p /data/docker/mysql/datadir /data/docker/mysql/conf /data/docker/mysql/log` - 在宿主机上创建一个配置文件：`vim /data/docker/mysql/conf/mysql-1.cnf`，内容如下： ``` # 该编码设置是我自己配置的 [mysql] default-character-set = utf8mb4 # 下面内容是 docker mysql 默认的 start [mysqld] pid-file = /var/run/mysqld/mysqld.pid socket = /var/run/mysqld/mysqld.sock datadir = /var/lib/mysql #log-error = /var/log/mysql/error.log # By default we only accept connections from localhost #bind-address = 127.0.0.1 # Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0 # 上面内容是 docker mysql 默认的 end # 下面开始的内容就是我自己配置的 log-error=/var/log/mysql/error.log default-storage-engine = InnoDB collation-server = utf8mb4_unicode_ci init_connect = 'SET NAMES utf8mb4' character-set-server = utf8mb4 lower_case_table_names = 1 max_allowed_packet = 50M ``` - 赋权（避免挂载的时候，一些程序需要容器中的用户的特定权限使用）：`chmod -R 777 /data/docker/mysql/datadir /data/docker/mysql/log` - 赋权：`chown -R 0:0 /data/docker/mysql/conf` - 配置文件的赋权比较特殊，如果是给 777 权限会报：[Warning] World-writable config file '/etc/mysql/conf.d/mysql-1.cnf' is ignored，所以这里要特殊对待。容器内是用 root 的 uid，所以这里与之相匹配赋权即可。 - 我是进入容器 bash 内，输入：`whoami && id`，看到默认用户的 uid 是 0，所以这里才 chown 0 - `docker run -p 3306:3306 --name cloud-mysql -v /data/docker/mysql/datadir:/var/lib/mysql -v /data/docker/mysql/log:/var/log/mysql -v /data/docker/mysql/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=123456 -d mysql:5.7` - 连上容器：`docker exec -it cloud-mysql /bin/bash` - 连上 MySQL：`mysql -u root -p` - 创建表：`CREATE DATABASE wormhole DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;` - 关于容器的 MySQL 配置，官网是这样说的： >> The MySQL startup configuration is specified in the file /etc/mysql/my.cnf, and that file in turn includes any files found in the /etc/mysql/conf.d directory that end with .cnf.Settings in files in this directory will augment and/or override settings in /etc/mysql/my.cnf. If you want to use a customized MySQL configuration,you can create your alternative configuration file in a directory on the host machine and then mount that directory location as /etc/mysql/conf.d inside the mysql container. - 容器中的 my.cnf 内容如下： ``` # Copyright (c) 2016, Oracle and/or its affiliates. All rights reserved. # # This program is free software; you can redistribute it and/or modify # it under the terms of the GNU General Public License as published by # the Free Software Foundation; version 2 of the License. # # This program is distributed in the hope that it will be useful, # but WITHOUT ANY WARRANTY; without even the implied warranty of # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE. See the # GNU General Public License for more details. # # You should have received a copy of the GNU General Public License # along with this program; if not, write to the Free Software # Foundation, Inc., 51 Franklin St, Fifth Floor, Boston, MA 02110-1301 USA !includedir /etc/mysql/conf.d/ !includedir /etc/mysql/mysql.conf.d/ ``` - docker 的 MySQL 备份和还原： - 备份：`docker exec cloud-mysql /usr/bin/mysqldump -u root --password=123456 DATABASE_Name > /opt/backup.sql` - 还原：`docker exec -i cloud-mysql /usr/bin/mysql -u root --password=123456 DATABASE_Name < /opt/backup.sql` ------------------------------------------------------------------- ## MySQL 5.5 安装 - [来源](https://blog.csdn.net/qingtian_1993/article/details/79692479) - 设置仓库 ``` rpm -Uvh https://dl.fedoraproject.org/pub/epel/epel-release-latest-6.noarch.rpm rpm -Uvh https://mirror.webtatic.com/yum/el6/latest.rpm ``` - 安装：`yum install mysql55w mysql55w-server`，用同时生产 mysql 的组和用户 - 启动：`service mysqld start` - 重置密码：`mysqladmin -u root password '123456'` - 默认配置文件：`vim /etc/my.cnf` - log 目录：`cd /var/log/mysqld.log` - 查看服务 log：`tail -300 /var/log/mysqld.log` - 给指定目录增加 mysql 用户组权限：`chown mysql.mysql /var/run/mysqld/` - 官网 MySQL 启动失败，这篇文章经验值得推荐：[CentOS 7下MySQL服务启动失败的解决思路](https://www.cnblogs.com/ivictor/p/5146247.html) ------------------------------------------------------------------- ## MySQL 5.6 安装 - 假设当前用户为：root - Mysql 安装 - 官网： - 官网下载： - 官网 5.5 下载： - 官网 5.6 下载： - 官网 5.7 下载： - 官网帮助中心： - 此时（20160210） Mysql 5.5 最新版本为：**5.5.48** - 此时（20170130） Mysql 5.6 最新版本为：**5.6.35** - 此时（20160210） Mysql 5.7 最新版本为：**5.7.11** - 我个人习惯 `/opt` 目录下创建一个目录 `setups` 用来存放各种软件安装包；在 `/usr` 目录下创建一个 `program` 用来存放各种解压后的软件包，下面的讲解也都是基于此习惯 - 我个人已经使用了第三方源：`EPEL、RepoForge`，如果你出现 `yum install XXXXX` 安装不成功的话，很有可能就是你没有相关源，请查看我对源设置的文章 - Mysql 5.6 下载：`wget http://dev.mysql.com/get/Downloads/MySQL-5.6/mysql-5.6.35.tar.gz` （大小：31 M） - Mysql 5.7 下载：`wget http://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.11.tar.gz` （大小：47 M） - 我们这次安装以 5.6 为实例 - 进入下载目录：`cd /opt/setups` - 解压压缩包：`tar zxvf mysql-5.6.35.tar.gz` - 移到解压包：`mv /opt/setups/mysql-5.6.35 /usr/local/` - 安装依赖包、编译包：`yum install -y make gcc-c++ cmake bison-devel ncurses-devel autoconf` - 进入解压目录：`cd /usr/local/mysql-5.6.35/` - 生成安装目录：`mkdir -p /usr/local/mysql/data` - 生成配置（使用 InnoDB）：`cmake -DCMAKE_INSTALL_PREFIX=/usr/local/mysql -DMYSQL_DATADIR=/usr/local/mysql/data -DMYSQL_UNIX_ADDR=/tmp/mysql.sock -DDEFAULT_CHARSET=utf8mb4 -DDEFAULT_COLLATION=utf8mb4_unicode_ci -DWITH_EXTRA_CHARSETS:STRING=utf8mb4 -DWITH_MYISAM_STORAGE_ENGINE=1 -DWITH_INNOBASE_STORAGE_ENGINE=1 -DENABLED_LOCAL_INFILE=1` - 更多参数说明可以查看： - 编译：`make`，这个过程比较漫长，一般都在 30 分钟左右，具体还得看机子配置，如果最后结果有 error，建议删除整个 mysql 目录后重新解压一个出来继续处理 - 安装：`make install` - 配置开机启动： - `cp /usr/local/mysql-5.6.35/support-files/mysql.server /etc/init.d/mysql` - `chmod 755 /etc/init.d/mysql` - `chkconfig mysql on` - 复制一份配置文件： `cp /usr/local/mysql-5.6.35/support-files/my-default.cnf /etc/my.cnf` - 删除安装的目录：`rm -rf /usr/local/mysql-5.6.35/` - 添加组和用户及安装目录权限 - `groupadd mysql` #添加组 - `useradd -g mysql mysql -s /bin/false` #创建用户mysql并加入到mysql组，不允许mysql用户直接登录系统 - `chown -R mysql:mysql /usr/local/mysql/data` #设置MySQL数据库目录权限 - 初始化数据库：`/usr/local/mysql/scripts/mysql_install_db --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data --skip-name-resolve --user=mysql` - 开放防火墙端口： - `iptables -I INPUT -p tcp -m tcp --dport 3306 -j ACCEPT` - `service iptables save` - `service iptables restart` - 禁用 selinux - 编辑配置文件：`vim /etc/selinux/config` - 把 `SELINUX=enforcing` 改为 `SELINUX=disabled` - 常用命令软连接，才可以在终端直接使用：mysql 和 mysqladmin 命令 - `ln -s /usr/local/mysql/bin/mysql /usr/bin` - `ln -s /usr/local/mysql/bin/mysqladmin /usr/bin` - `ln -s /usr/local/mysql/bin/mysqldump /usr/bin` - `ln -s /usr/local/mysql/bin/mysqlslap /usr/bin` ## MySQL 5.7 YUM 安装 - 官网： ``` 禁用 selinux：setenforce 0 wget https://repo.mysql.com//mysql57-community-release-el7-11.noarch.rpm yum localinstall mysql57-community-release-el7-11.noarch.rpm yum install mysql-community-server 一共 194M 配置文件：/etc/my.cnf systemctl start mysqld systemctl status mysqld 查看初次使用的临时密码：grep 'temporary password' /var/log/mysqld.log ``` ------------------------------------------------------------------- ## MySQL 配置 - 官网配置参数解释： - 找一下当前系统中有多少个 my.cnf 文件：`find / -name "my.cnf"`，我查到的结果： ``` nginx /etc/my.cnf /usr/local/mysql/my.cnf /usr/local/mysql/mysql-test/suite/ndb/my.cnf /usr/local/mysql/mysql-test/suite/ndb_big/my.cnf ............. /usr/local/mysql/mysql-test/suite/ndb_rpl/my.cnf ``` - 保留 **/etc/my.cnf** 和 **/usr/local/mysql/mysql-test/** 目录下配置文件，其他删除掉。 - 我整理的一个单机版配置说明（MySQL 5.6，适用于 1G 内存的服务器）： - [my.cnf](MySQL-Settings/MySQL-5.6/1G-Memory-Machine/my-for-comprehensive.cnf) - 其中我测试的结果，在不适用任何配置修改的情况下，1G 内存安装 MySQL 5.6 默认就会占用 400M 左右的内存，要降下来的核心配置要补上这几个参数： ``` performance_schema_max_table_instances=400 table_definition_cache=400 table_open_cache=256 ``` ## 修改 root 账号密码 - 启动 Mysql 服务器（CentOS 6）：`service mysql start` - 启动 Mysql 服务器（CentOS 7）：`systemctl start mysql` - 查看是否已经启动了：`ps aux | grep mysql` - 默认安装情况下，root 的密码是空，所以为了方便我们可以设置一个密码，假设我设置为：123456 - 终端下执行：`mysql -uroot` - 现在进入了 mysql 命令行管理界面，输入：`SET PASSWORD = PASSWORD('123456');FLUSH PRIVILEGES;` - 现在进入了 mysql 命令行管理界面，输入：`UPDATE user SET authentication_string=PASSWORD('123456') where USER='root';FLUSH PRIVILEGES;` - 修改密码后，终端下执行：`mysql -uroot -p` - 根据提示，输入密码进度 mysql 命令行状态。 - 如果你在其他机子上连接该数据库机子报：**Access denied for user 'root'@'localhost' (using password: YES)** - 解决办法： - 在终端中执行（CentOS 6）：`service mysql stop` - 在终端中执行（CentOS 7）：`systemctl stop mysql` - 在终端中执行（前面添加的 Linux 用户 mysql 必须有存在）：`/usr/local/mysql/bin/mysqld --skip-grant-tables --user=mysql` - 此时 MySQL 服务会一直处于监听状态，你需要另起一个终端窗口来执行接下来的操作 - 在终端中执行：`mysql -u root mysql` 或者：`mysql -h 127.0.0.1 -u root -P 3306 -p` - 把密码改为：123456，进入 MySQL 命令后执行：`UPDATE user SET Password=PASSWORD('123456') where USER='root';FLUSH PRIVILEGES;` - 然后重启 MySQL 服务（CentOS 6）：`service mysql restart` - 然后重启 MySQL 服务（CentOS 7）：`systemctl restart mysql` ## 连接报错："Host '192.168.1.133' is not allowed to connect to this MySQL server" - 不允许除了 localhost 之外去连接，解决办法，进入 MySQL 命令行，输入下面内容： - 开发机设置允许任何机子访问： - `vim /etc/my.cnf` 中不能有：`bind-address = 127.0.0.1` - 配置：`GRANT ALL PRIVILEGES ON *.* TO '数据库用户名'@'%' IDENTIFIED BY '数据库用户名的密码' WITH GRANT OPTION;` - 更新配置：`flush privileges;` - 生产机设置只运行本机访问： - `vim /etc/my.cnf` 中必须有：`bind-address = 127.0.0.1` - 配置：`GRANT ALL PRIVILEGES ON *.* TO '数据库用户名'@'127.0.0.1' IDENTIFIED BY '数据库用户名的密码' WITH GRANT OPTION;` - 更新配置：`flush privileges;` ## 修改密码报错：Your password does not satisfy the current policy requirements - MySQL 5.7 安全性要求更高，需要这么做： ``` set global validate_password_policy=0; #密码强度设为最低等级 set global validate_password_length=6; #密码允许最小长度为6 set password = password('新密码'); FLUSH PRIVILEGES; ``` ## MySQL 5.7 - 报错内容： ``` Expression #1 of ORDER BY clause is not in GROUP BY clause and contains nonaggregated column 'youmeek.nm.id' which is not functionally dependent on columns in GROUP BY clause; this is incompatible with sql_mode=only_full_group_by ``` - 查下自己的模式：`select version(), @@sql_mode;` - 解决办法，修改 my.cnf，增加这一行： ``` sql_mode=STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION; ``` ## 小内存机子，MySQL 频繁挂掉解决办法（1G + CentOS 7.4） - 保存系统日志到本地进行查看：`cd /var/log/ && sz messages` - 其中可以看到这样的几句话（可以知道内存不够了）： ``` Jul 6 21:49:14 VM_123_201_centos kernel: Out of memory: Kill process 19452 (httpd) score 36 or sacrifice child Jul 6 21:49:14 VM_123_201_centos kernel: Killed process 19452 (httpd) total-vm:516404kB, anon-rss:36088kB, file-rss:168kB, shmem-rss:12kB ``` - 对于 1G 的内存 MySQL（5.6.35），建议重点下面配置： ``` [mysqld] table_definition_cache=400 table_open_cache=256 innodb_buffer_pool_size = 64M max_connections = 100 ``` - 增加 swap（云服务基本都是没 swap 的） - 分别执行下面 shell 命令： ``` dd if=/dev/zero of=/swapfile bs=1M count=1024 mkswap /swapfile swapon /swapfile ``` - 修改配置文件：`vim /etc/fstab` - 添加这句在文件最后一行：`/swapfile swap swap defauluts 0 0` - 重启机子：`reboot` ## MySQL 主从复制 ### 环境说明和注意点 - 假设有两台服务器，一台做主，一台做从 - MySQL 主信息： - IP：**12.168.1.113** - 端口：**3306** - MySQL 从信息： - IP：**12.168.1.115** - 端口：**3306** - 注意点 - 主 DB server 和从 DB server 数据库的版本一致 - 主 DB server 和从 DB server 数据库数据一致 - 主 DB server 开启二进制日志，主 DB server 和从 DB server 的 server-id 都必须唯一 - 优先操作： - **把主库的数据库复制到从库并导入** ### 主库机子操作 - 主库操作步骤 - 创建一个目录：`mkdir -p /usr/local/mysql/data/mysql-bin` - 主 DB 开启二进制日志功能：`vim /etc/my.cnf`， - 添加一行：`log-bin = /usr/local/mysql/data/mysql-bin` - 指定同步的数据库，如果不指定则同步全部数据库，其中 ssm 是我的数据库名：`binlog-do-db=ssm` - 主库关掉慢查询记录，用 SQL 语句查看当前是否开启：`SHOW VARIABLES LIKE '%slow_query_log%';`，如果显示 OFF 则表示关闭，ON 表示开启 - 重启主库 MySQL 服务 - 进入 MySQL 命令行状态，执行 SQL 语句查询状态：`SHOW MASTER STATUS;` - 在显示的结果中，我们需要记录下 **File** 和 **Position** 值，等下从库配置有用。 - 设置授权用户 slave01 使用 123456 密码登录主库，这里 @ 后的 IP 为从库机子的 IP 地址，如果从库的机子有多个，我们需要多个这个 SQL 语句。 ``` SQL grant replication slave on *.* to 'slave01'@'192.168.1.135' identified by '123456'; flush privileges; ``` ### 从库机子操作 - 从库操作步骤 - 从库开启慢查询记录，用 SQL 语句查看当前是否开启：`SHOW VARIABLES LIKE '%slow_query_log%';`，如果显示 OFF 则表示关闭，ON 表示开启。 - 测试从库机子是否能连上主库机子：`mysql -h 192.168.1.105 -u slave01 -p`，必须要连上下面的操作才有意义。 - 由于不能排除是不是系统防火墙的问题，所以建议连不上临时关掉防火墙：`service iptables stop` - 或是添加防火墙规则： - 添加规则：`iptables -I INPUT -p tcp -m tcp --dport 3306 -j ACCEPT` - 保存规则：`service iptables save` - 重启 iptables：`service iptables restart` - 修改配置文件：`vim /etc/my.cnf`，把 server-id 改为跟主库不一样 - 在进入 MySQL 的命令行状态下，输入下面 SQL： ``` SQL CHANGE MASTER TO master_host='192.168.1.113', master_user='slave01', master_password='123456', master_port=3306, master_log_file='mysql3306-bin.000006',>>>这个值复制刚刚让你记录的值 master_log_pos=1120;>>>这个值复制刚刚让你记录的值 ``` - 执行该 SQL 语句，启动 slave 同步：`START SLAVE;` - 执行该 SQL 语句，查看从库机子同步状态：`SHOW SLAVE STATUS;` - 在查看结果中必须下面两个值都是 Yes 才表示配置成功： - `Slave_IO_Running:Yes` - 如果不是 Yes 也不是 No，而是 Connecting，那就表示从机连不上主库，需要你进一步排查连接问题。 - `Slave_SQL_Running:Yes` - 如果你的 Slave_IO_Running 是 No，一般如果你是在虚拟机上测试的话，从库的虚拟机是从主库的虚拟机上复制过来的，那一般都会这样的，因为两台的 MySQL 的 UUID 值一样。你可以检查从库下的错误日志：`cat /usr/local/mysql/data/mysql-error.log` - 如果里面提示 uuid 错误，你可以编辑从库的这个配置文件：`vim /usr/local/mysql/data/auto.cnf`，把配置文件中的：server-uuid 值随便改一下，保证和主库是不一样即可。 ## 资料 - ================================================ FILE: markdown-file/Mysql-Optimize.md ================================================ # MySQL 优化 - 下面说的优化基于 MySQL 5.6，理论上 5.5 之后的都算适用，具体还是要看官网 ## 优秀材料 - - - <> - <> - <> ## 服务状态查询 - 查看当前数据库的状态，常用的有： - 查看系统状态：`SHOW STATUS;` - 查看刚刚执行 SQL 是否有警告信息：`SHOW WARNINGS;` - 查看刚刚执行 SQL 是否有错误信息：`SHOW ERRORS;` - 查看已经连接的所有线程状况：`SHOW FULL PROCESSLIST;` - 输出参数说明： - 可以结束某些连接：`kill id值` - 查看当前连接数量：`SHOW STATUS LIKE 'max_used_connections';` - 查看变量，在 my.cnf 中配置的变量会在这里显示：`SHOW VARIABLES;` - 查询慢 SQL 配置：`show variables like 'slow%';` - 开启慢 SQL：`set global slow_query_log='ON'` - 查询慢 SQL 秒数值：` show variables like 'long%';` - 调整秒速值：`set long_query_time=1;` - 查看当前MySQL 中已经记录了多少条慢查询，前提是配置文件中开启慢查询记录了. - `SHOW STATUS LIKE '%slow_queries%';` - 查询当前MySQL中查询、更新、删除执行多少条了，可以通过这个来判断系统是侧重于读还是侧重于写，如果是写要考虑使用读写分离。 - `SHOW STATUS LIKE '%Com_select%';` - `SHOW STATUS LIKE '%Com_insert%';` - `SHOW STATUS LIKE '%Com_update%';` - `SHOW STATUS LIKE '%Com_delete%';` - 如果 rollback 过多，说明程序肯定哪里存在问题 - `SHOW STATUS LIKE '%Com_rollback%';` - 显示MySQL服务启动运行了多少时间，如果MySQL服务重启，该时间重新计算，单位秒 - `SHOW STATUS LIKE 'uptime';` - 显示查询缓存的状态情况 - `SHOW STATUS LIKE 'qcache%';` - PS.下面的解释，我目前不肯定是对，还要再找下资料： - - - - - 1. Qcache_free_blocks，缓存中相邻内存块的个数。数目大说明可能有碎片。如果数目比较大，可以执行： `flush query cache;` 对缓存中的碎片进行整理，从而得到一个空闲块。 - 2. Qcache_free_memory，缓存中的空闲内存大小。如果 Qcache_free_blocks 比较大，说明碎片严重。 如果 Qcache_free_memory 很小，说明缓存不够用了。 - 3. Qcache_hits，每次查询在缓存中命中时就增大该值。 - 4. Qcache_inserts，每次查询，如果没有从缓存中找到数据，这里会增大该值 - 5. Qcache_lowmem_prunes，因内存不足删除缓存次数，缓存出现内存不足并且必须要进行清理, 以便为更多查询提供空间的次数。返个数字最好长时间来看；如果返个数字在不断增长，就表示可能碎片非常严重，或者缓存内存很少。 - 6. Qcache_not_cached # 没有进行缓存的查询的数量，通常是这些查询未被缓存或其类型不允许被缓存 - 7. Qcache_queries_in_cache # 在当前缓存的查询（和响应）的数量。 - 8. Qcache_total_blocks #缓存中块的数量。 - 查询哪些表在被使用，是否有锁表：`SHOW OPEN TABLES WHERE In_use > 0;` - 查询 innodb 状态（输出内容很多）：`SHOW ENGINE INNODB STATUS;` - 锁性能状态：`SHOW STATUS LIKE 'innodb_row_lock_%';` - Innodb_row_lock_current_waits：当前等待锁的数量 - Innodb_row_lock_time：系统启动到现在、锁定的总时间长度 - Innodb_row_lock_time_avg：每次平均锁定的时间 - Innodb_row_lock_time_max：最长一次锁定时间 - Innodb_row_lock_waits：系统启动到现在、总共锁定次数 - 帮我们分析表，并提出建议：`select * from my_table procedure analyse();` ## 系统表 - 当前运行的所有事务：`select * from information_schema.INNODB_TRX;` - 当前事务出现的锁：`select * from information_schema.INNODB_LOCKS;` - 锁等待的对应关系：`select * from information_schema.INNODB_LOCK_WAITS;` ## otpimizer trace - 作用：输入我们想要查看优化过程的查询语句，当该查询语句执行完成后，就可以到 information_schema 数据库下的OPTIMIZER_TRACE表中查看 mysql 自己帮我们的完整优化过程 - 是否打开（默认都是关闭）：`SHOW VARIABLES LIKE 'optimizer_trace';` - one_line的值是控制输出格式的，如果为on那么所有输出都将在一行中展示，不适合人阅读，所以我们就保持其默认值为off吧。 - 打开配置：`SET optimizer_trace="enabled=on";` - 关闭配置：`SET optimizer_trace="enabled=off";` - 查询优化结果：`SELECT * FROM information_schema.OPTIMIZER_TRACE;` ``` 我们所说的基于成本的优化主要集中在optimize阶段，对于单表查询来说，我们主要关注optimize阶段的"rows_estimation"这个过程，这个过程深入分析了对单表查询的各种执行方案的成本； 对于多表连接查询来说，我们更多需要关注"considered_execution_plans"这个过程，这个过程里会写明各种不同的连接方式所对应的成本。 反正优化器最终会选择成本最低的那种方案来作为最终的执行计划，也就是我们使用EXPLAIN语句所展现出的那种方案。 如果有小伙伴对使用EXPLAIN语句展示出的对某个查询的执行计划很不理解，大家可以尝试使用optimizer trace功能来详细了解每一种执行方案对应的成本，相信这个功能能让大家更深入的了解MySQL查询优化器。 ``` ## 查询优化(EXPLAIN 查看执行计划) - 使用 EXPLAIN 进行 SQL 语句分析：`EXPLAIN SELECT * FROM sys_user;`，效果如下： ``` id|select_type|table |partitions|type|possible_keys|key|key_len|ref|rows|filtered|Extra| --|-----------|--------|----------|----|-------------|---|-------|---|----|--------|-----| 1|SIMPLE |sys_user| |ALL | | | | | 2| 100| | ``` - 简单描述 - `id`：在一个大的查询语句中每个 SELECT 关键字都对应一个唯一的id - `select_type`：SELECT 关键字对应的那个查询的类型 - `table`：表名 - `partitions`：匹配的分区信息 - `type`：针对单表的访问方法 - `possible_keys`：可能用到的索引 - `key`：实际上使用的索引 - `key_len`：实际使用到的索引长度 - `ref`：当使用索引列等值查询时，与索引列进行等值匹配的对象信息 - `rows`：预估的需要读取的记录条数 - `filtered`：某个表经过搜索条件过滤后剩余记录条数的百分比 - `Extra`：一些额外的信息 - 有多个结果的场景分析 - 有子查询的一般都会有多个结果，id 是递增值。但是，有些场景查询优化器可能对子查询进行重写，转换为连接查询。所以有时候 id 就不是自增值。 - 对于连接查询一般也会有多个接口，id 可能是相同值，相同值情况下，排在前面的记录表示驱动表，后面的表示被驱动表 - UNION 场景会有 id 为 NULL 的情况，这是一个去重后临时表，合并多个结果集的临时表。但是，UNION ALL 不会有这种情况，因为这个不需要去重。 - 根据具体的描述： - **id**，该列表示当前结果序号 - **select_type**，表示 SELECT 语句的类型，有下面几种 - `SIMPLE`：表示简单查询，其中不包括 UNION 查询和子查询 - `PRIMARY`：对于包含UNION、UNION ALL或者子查询的大查询来说，它是由几个小查询组成的，其中最左边的那个查询的select_type值就是PRIMARY - `UNION`：对于包含UNION或者UNION ALL的大查询来说，它是由几个小查询组成的，其中除了最左边的那个小查询以外，其余的小查询的select_type值就是UNION - `UNION RESULT`：MySQL选择使用临时表来完成UNION查询的去重工作，针对该临时表的查询的select_type就是UNION RESULT - `SUBQUERY`：如果包含子查询的查询语句不能够转为对应的semi-join的形式，并且该子查询是不相关子查询，并且查询优化器决定采用将该子查询物化的方案来执行该子查询时，该子查询的第一个SELECT关键字代表的那个查询的select_type就是SUBQUERY - `DEPENDENT SUBQUERY`：如果包含子查询的查询语句不能够转为对应的semi-join的形式，并且该子查询是相关子查询，则该子查询的第一个SELECT关键字代表的那个查询的select_type就是DEPENDENT SUBQUERY - `DEPENDENT UNION`：在包含UNION或者UNION ALL的大查询中，如果各个小查询都依赖于外层查询的话，那除了最左边的那个小查询之外，其余的小查询的select_type的值就是DEPENDENT UNION - `DERIVED`：对于采用物化的方式执行的包含派生表的查询，该派生表对应的子查询的select_type就是DERIVED - `MATERIALIZED`：当查询优化器在执行包含子查询的语句时，选择将子查询物化之后与外层查询进行连接查询时，该子查询对应的select_type属性就是MATERIALIZED - 还有其他一些 - **table**，表名或者是子查询的一个结果集 - **type**，表示表的链接类型，分别有（以下的连接类型的顺序是从最佳类型到最差类型）**（这个属性重要）**： - 性能好： - `system`：当表中只有一条记录并且该表使用的存储引擎的统计数据是精确的，比如MyISAM、Memory，那么对该表的访问方法就是system，平时不会出现，这个也可以忽略不计。 - `const`：当我们根据主键或者唯一二级索引列与常数进行等值匹配时，对单表的访问方法就是const，常用于 PRIMARY KEY 或者 UNIQUE 索引的查询，可理解为 const 是最优化的。 - `eq_ref`：在连接查询时，如果被驱动表是通过主键或者唯一二级索引列等值匹配的方式进行访问的（如果该主键或者唯一二级索引是联合索引的话，所有的索引列都必须进行等值比较），则对该被驱动表的访问方法就是eq_ref - `ref`：当通过普通的二级索引列与常量进行等值匹配时来查询某个表，那么对该表的访问方法就可能是ref。ref 可用于 = 或 < 或 > 操作符的带索引的列。 - `ref_or_null`：当对普通二级索引进行等值匹配查询，该索引列的值也可以是NULL值时，那么对该表的访问方法就可能是ref_or_null - 性能较差： - `index_merge`：该联接类型表示使用了索引合并优化方法。在这种情况下，key 列包含了使用的索引的清单，key_len 包含了使用的索引的最长的关键元素。 - `unique_subquery`：类似于两表连接中被驱动表的eq_ref访问方法，unique_subquery是针对在一些包含IN子查询的查询语句中，如果查询优化器决定将IN子查询转换为EXISTS子查询，而且子查询可以使用到主键进行等值匹配的话，那么该子查询执行计划的type列的值就是unique_subquery - `index_subquery`：index_subquery与unique_subquery类似，只不过访问子查询中的表时使用的是普通的索引 - `range`：只检索给定范围的行, 使用一个索引来选择行。 - `index`：该联接类型与 ALL 相同, 除了只有索引树被扫描。这通常比 ALL 快, 因为索引文件通常比数据文件小。 - 再一次强调，对于使用InnoDB存储引擎的表来说，二级索引的记录只包含索引列和主键列的值，而聚簇索引中包含用户定义的全部列以及一些隐藏列，所以扫描二级索引的代价比直接全表扫描，也就是扫描聚簇索引的代价更低一些 - 性能最差： - `ALL`：对于每个来自于先前的表的行组合, 进行完整的表扫描。（性能最差） - `possible_keys`，指出 MySQL 能使用哪个索引在该表中找到行。如果该列为 NULL，说明没有使用索引，可以对该列创建索引来提供性能。**（这个属性重要）** - possible_keys列中的值并不是越多越好，可能使用的索引越多，查询优化器计算查询成本时就得花费更长时间，所以如果可以的话，尽量删除那些用不到的索引。 - `key`，显示 MySQL 实际决定使用的键 (索引)。如果没有选择索引, 键是 NULL。**（这个属性重要）** - 不过有一点比较特别，就是在使用index访问方法来查询某个表时，possible_keys列是空的，而key列展示的是实际使用到的索引 - `key_len`，表示当优化器决定使用某个索引执行查询时，该索引记录的最大长度。如果键是可以为 NULL, 则长度多 1。 - `ref`，显示使用哪个列或常数与 key 一起从表中选择行。 - `rows`，显示 MySQL 认为它执行查询时必须检查的行数。**（这个属性重要）** - `Extra`，该列包含 MySQL 解决查询的详细信息： - `Distinct` MySQL 发现第 1 个匹配行后, 停止为当前的行组合搜索更多的行。 - `Not exists` 当我们使用左（外）连接时，如果WHERE子句中包含要求被驱动表的某个列等于NULL值的搜索条件，而且那个列又是不允许存储NULL值的，那么在该表的执行计划的Extra列就会提示Not exists额外信息 - `range checked for each record (index map: #)` MySQL 没有发现好的可以使用的索引, 但发现如果来自前面的表的列值已知, 可能部分索引可以使用。 - `Using filesort` 有一些情况下对结果集中的记录进行排序是可以使用到索引的 - 需要注意的是，如果查询中需要使用filesort的方式进行排序的记录非常多，那么这个过程是很耗费性能的，我们最好想办法将使用文件排序的执行方式改为使用索引进行排序。 - `Using temporary` 在许多查询的执行过程中，MySQL可能会借助临时表来完成一些功能，比如去重、排序之类的，比如我们在执行许多包含DISTINCT、GROUP BY、UNION等子句的查询过程中，如果不能有效利用索引来完成查询，MySQL很有可能寻求通过建立内部的临时表来执行查询。如果查询中使用到了内部的临时表，在执行计划的Extra列将会显示Using temporary提示 - 如果我们并不想为包含GROUP BY子句的查询进行排序，需要我们显式的写上：ORDER BY NULL - 执行计划中出现Using temporary并不是一个好的征兆，因为建立与维护临时表要付出很大成本的，所以我们最好能使用索引来替代掉使用临时表 - `Using join buffer (Block Nested Loop)` 在连接查询执行过程过，当被驱动表不能有效的利用索引加快访问速度，MySQL一般会为其分配一块名叫join buffer的内存块来加快查询速度，也就是我们所讲的基于块的嵌套循环算法 - `Using where` - 当我们使用全表扫描来执行对某个表的查询，并且该语句的WHERE子句中有针对该表的搜索条件时，在Extra列中会提示上述额外信息 - 当使用索引访问来执行对某个表的查询，并且该语句的WHERE子句中有除了该索引包含的列之外的其他搜索条件时，在Extra列中也会提示上述额外信息 - `Using sort_union(...), Using union(...), Using intersect(...)` 如果执行计划的Extra列出现了Using intersect(...)提示，说明准备使用Intersect索引合并的方式执行查询，括号中的...表示需要进行索引合并的索引名称；如果出现了Using union(...)提示，说明准备使用Union索引合并的方式执行查询；出现了Using sort_union(...)提示，说明准备使用Sort-Union索引合并的方式执行查询。 - `Using index condition` 有些搜索条件中虽然出现了索引列，但却不能使用到索引 - `Using index` 当我们的查询列表以及搜索条件中只包含属于某个索引的列，也就是在可以使用索引覆盖的情况下，在Extra列将会提示该额外信息 - `Using index for group-by` 类似于访问表的 Using index 方式,Using index for group-by 表示 MySQL 发现了一个索引, 可以用来查 询 GROUP BY 或 DISTINCT 查询的所有列, 而不要额外搜索硬盘访问实际的表。 ## 查询不走索引优化 - WHERE字句的查询条件里有不等于号（WHERE column!=…），MYSQL将无法使用索引 - 类似地，如果WHERE字句的查询条件里使用了函数（如：WHERE DAY(column)=…），MYSQL将无法使用索引 - 在JOIN操作中（需要从多个数据表提取数据时），MYSQL只有在主键和外键的数据类型相同时才能使用索引，否则即使建立了索引也不会使用 - 如果WHERE子句的查询条件里使用了比较操作符LIKE和REGEXP，MYSQL只有在搜索模板的第一个字符不是通配符的情况下才能使用索引。比如说，如果查询条件是LIKE 'abc%',MYSQL将使用索引；如果条件是LIKE '%abc'，MYSQL将不使用索引。 - 在ORDER BY操作中，MYSQL只有在排序条件不是一个查询条件表达式的情况下才使用索引。尽管如此，在涉及多个数据表的查询里，即使有索引可用，那些索引在加快ORDER BY操作方面也没什么作用。 - 如果某个数据列里包含着许多重复的值，就算为它建立了索引也不会有很好的效果。比如说，如果某个数据列里包含了净是些诸如“0/1”或“Y/N”等值，就没有必要为它创建一个索引。 - 索引有用的情况下就太多了。基本只要建立了索引，除了上面提到的索引不会使用的情况下之外，其他情况只要是使用在WHERE条件里，ORDER BY 字段，联表字段，一般都是有效的。 建立索引要的就是有效果。 不然还用它干吗？ 如果不能确定在某个字段上建立的索引是否有效果，只要实际进行测试下比较下执行时间就知道。 - 如果条件中有or(并且其中有or的条件是不带索引的)，即使其中有条件带索引也不会使用(这也是为什么尽量少用or的原因)。注意：要想使用or，又想让索引生效，只能将or条件中的每个列都加上索引 - 如果列类型是字符串，那一定要在条件中将数据使用引号引用起来,否则不使用索引 - 如果mysql估计使用全表扫描要比使用索引快,则不使用索引 ## 子查询优化 - MySQL 从 4.1 版本开始支持子查询，使用子查询进行 SELECT 语句嵌套查询，可以一次完成很多逻辑上需要多个步骤才能完成的 SQL 操作。 - 子查询虽然很灵活，但是执行效率并不高。 - 执行子查询时，MYSQL 需要创建临时表，查询完毕后再删除这些临时表，所以，子查询的速度会受到一定的影响。 - 优化： - 可以使用连接查询（JOIN）代替子查询，连接查询时不需要建立临时表，其速度比子查询快。 ## 其他查询优化 - 关联查询过程 - 确保 ON 或者 using子句中的列上有索引 - 确保任何的 groupby 和 orderby 中的表达式只涉及到一个表中的列。 - count()函数优化 - count()函数有一点需要特别注意：它是不统计值为NULL的字段的！所以：不能指定查询结果的某一列，来统计结果行数。即 count(xx column) 不太好。 - 如果想要统计结果集，就使用 count(*)，性能也会很好。 - 分页查询（数据偏移量大的场景） - 不允许跳页，只能上一页或者下一页 - 使用 where 加上上一页 ID 作为条件(具体要看 explain 分析效果)：`select xxx,xxx from test_table where id < '上页id分界值' order by id desc limit 20;` ## 创表原则 - 所有字段均定义为 NOT NULL ，除非你真的想存 Null。因为表内默认值 Null 过多会影响优化器选择执行计划 ## 建立索引原则 - 使用区分度高的列作为索引，字段不重复的比例，区分度越高，索引树的分叉也就越多，一次性找到的概率也就越高。 - 尽量使用字段长度小的列作为索引 - 使用数据类型简单的列（int 型，固定长度） - 选用 NOT NULL 的列。在MySQL中，含有空值的列很难进行查询优化，因为它们使得索引、索引的统计信息以及比较运算更加复杂。你应该用0、一个特殊的值或者一个空串代替空值。 - 尽量的扩展索引，不要新建索引。比如表中已经有a的索引，现在要加(a,b)的索引，那么只需要修改原来的索引即可。这样也可避免索引重复。 ## 数据库结构优化 - 将字段很多的表分解成多个表 - 对于字段较多的表，如果有些字段的使用频率很低，可以将这些字段分离出来形成新表。 - 因为当一个表的数据量很大时，会由于使用频率低的字段的存在而变慢。 - 增加中间表 - 对于需要经常联合查询的表，可以建立中间表以提高查询效率。 - 通过建立中间表，将需要通过联合查询的数据插入到中间表中，然后将原来的联合查询改为对中间表的查询。 - 增加冗余字段 - 设计数据表时应尽量遵循范式理论的规约，尽可能的减少冗余字段，让数据库设计看起来精致、优雅。但是，合理的加入冗余字段可以提高查询速度。 ## 插入数据的优化（适用于 InnoDB） - 插入数据时，影响插入速度的主要是索引、唯一性校验、一次插入的数据条数等。 - 开发环境情况下的考虑： - 开发场景中，如果需要初始化数据，导入数据等一些操作，而且是开发人员进行处理的，可以考虑在插入数据之前，先禁用整张表的索引， - 禁用索引使用 SQL：`ALTER TABLE table_name DISABLE KEYS;` - 当导入完数据之后，重新让MySQL创建索引，并开启索引：`ALTER TABLE table_name ENABLE KEYS;` - 如果表中有字段是有唯一性约束的，可以先禁用，然后在开启： - 禁用唯一性检查的语句：`SET UNIQUE_CHECKS = 0;` - 开启唯一性检查的语句：`SET UNIQUE_CHECKS = 1;` - 禁用外键检查（建议还是少量用外键，而是采用代码逻辑来处理） - 插入数据之前执行禁止对外键的检查，数据插入完成后再恢复，可以提供插入速度。 - 禁用：`SET foreign_key_checks = 0;` - 开启：`SET foreign_key_checks = 1;` - 使用批量插入数据 - 禁止自动提交 - 插入数据之前执行禁止事务的自动提交，数据插入完成后再恢复，可以提供插入速度。 - 禁用：`SET autocommit = 0;` - 开启：`SET autocommit = 1;` - 插入数据之前执行禁止对外键的检查，数据插入完成后再恢复 - 禁用：`SET foreign_key_checks = 0;` - 开启：`SET foreign_key_checks = 1;` ## 服务器优化 - 好硬件大家都知道，这里没啥好说，如果是 MySQL 单独一台机子，那机子内存可以考虑分配 60%~70% 给 MySQL - 通过优化 MySQL 的参数可以提高资源利用率，从而达到提高 MySQL 服务器性能的目的。 - 可以看我整理的这篇文章： - 由于 binlog 日志的读写频繁，可以考虑在 my.cnf 中配置，指定这个 binlog 日志到一个 SSD 硬盘上。 ## 锁相关 InnoDB支持事务；InnoDB 采用了行级锁。也就是你需要修改哪行，就可以只锁定哪行。 在 Mysql 中，行级锁并不是直接锁记录，而是锁索引。索引分为主键索引和非主键索引两种，如果一条sql 语句操作了主键索引，Mysql 就会锁定这条主键索引；如果一条语句操作了非主键索引，MySQL会先锁定该非主键索引，再锁定相关的主键索引。 InnoDB 行锁是通过给索引项加锁实现的，如果没有索引，InnoDB 会通过隐藏的聚簇索引来对记录加锁。也就是说：如果不通过索引条件检索数据，那么InnoDB将对表中所有数据加锁，实际效果跟表锁一样。因为没有了索引，找到某一条记录就得扫描全表，要扫描全表，就得锁定表。 数据库的增删改操作默认都会加排他锁，而查询不会加任何锁。 排他锁：对某一资源加排他锁，自身可以进行增删改查，其他人无法进行任何操作。语法为： select * from table for update; 共享锁：对某一资源加共享锁，自身可以读该资源，其他人也可以读该资源（也可以再继续加共享锁，即 共享锁可多个共存），但无法修改。 要想修改就必须等所有共享锁都释放完之后。语法为： select * from table lock in share mode; ## 资料 - - - - - - - - <> - <> - <> - <> - <> ================================================ FILE: markdown-file/Mysql-Test.md ================================================ # MySQL 测试 ## mysqlslap 工具 - 工具的官网说明： - 可能会遇到的报错： - 报：`mysqlslap: Error when connecting to server: Can't connect to local MySQL server through socket '/tmp/mysql.sock' (2)` - 可以这样解决：`ln -s /usr/program/mysql/data/mysql.sock /tmp/mysql.sock`，主要是我的 sock 文件位置是自己的配置的，跟 mysqlslap 默认去读的地方不一样。 ### 进行基准测试： - 先做软链接：`ln -s /usr/program/mysql/bin/mysqlslap /usr/bin` - 自动生成简单测试数据并测试：`mysqlslap --defaults-file=/etc/my.cnf -a --auto-generate-sql-load-type=mixed --auto-generate-sql-add-autoincrement --engine=innodb --concurrency=50,100 --number-of-queries=1000 --iterations=2 --debug-info -uroot -p123456` - 该语句表示测试并发为50和100的情况，进行1000次访问(该值一般这样预估出来：并发客户数×每客户查询次数)。这样的测试方法迭代2次，最终显示最大、最小、平均值 - 其中：`-a`，表示自动生成要测试的数据，等同于：`--auto-generate-sql` - 其中：`--debug-info`，代表要额外输出 CPU 以及内存的相关信息。 - 自动生成复杂测试数据并测试：`mysqlslap --defaults-file=/etc/my.cnf --concurrency=50,100,200 --iterations=2 --number-int-cols=7 --number-char-cols=13 --auto-generate-sql --auto-generate-sql-add-autoincrement --auto-generate-sql-load-type=mixed --engine=innodb --number-of-queries=1000 --debug-info -S /tmp/mysql.sock -uroot -p123456` - `-number-int-cols=7` 表示生成的表中必须有 7 个 int 类型的列 - `-number-char-cols=13` 表示生成的表中必须有 13 个 char 类型的列 - 实际场景请求数较大的时候测试：`mysqlslap --defaults-file=/etc/my.cnf --concurrency=50,100,200,500,1000 --iterations=10 --number-int-cols=7 --number-char-cols=13 --auto-generate-sql --auto-generate-sql-add-autoincrement --auto-generate-sql-load-type=mixed --engine=innodb --number-of-queries=10000 --debug-info -S /tmp/mysql.sock -uroot -p123456` ### 测试结果含义解释： - Average number of XXXXXXXX：运行所有语句的平均秒数 - Minimum number of XXXXXXXX：运行所有语句的最小秒数 - Maximum number of XXXXXXXX：运行所有语句的最大秒数 - Number of clients XXXXXXXX：客户端数量 - Average number of queries per client XXXXXXXX：每个客户端运行查询的平均数。其中这个数和上面的数相乘就等于number-of-queries ### 对自己的数据库进行测试： - 数据库：`youmeek_nav` - 简单测试语句：`mysqlslap --defaults-file=/etc/my.cnf --create-schema=youmeek_nav --query="SELECT * FROM nav_url;" --debug-info -uroot -p123456` - 复杂测试语句：假设我把有3条sql要测试，我把这三条写入到一个 test.sql 文件中，3条sql用分号隔开，文件内容为：`SELECT * FROM sys_user;SELECT * FROM nav_column;SELECT * FROM nav_url;` - 那测试语句可以这样写：`mysqlslap --defaults-file=/etc/my.cnf --create-schema=youmeek_nav --query="/opt/test.sql" --delimiter=";" --debug-info -uroot -p123456` - `--delimiter=”;”` 表示文件中不同 sql 的分隔符是什么 ### 其他一些参数： - `mysqlslap --help` 查看所有参数 - `--auto-generate-sql-load-type=XXX`，XXX 代表要测试的是读还是写还是两者混合，该值分别有：read,write,update,mixed，默认是 mixed - `--auto-generate-sql-add-autoincrement` 代表对生成的表自动添加 auto_increment 列 - `--debug-info` 代表要额外输出 CPU 以及内存的相关信息。 - `--only-print` 打印压力测试的时候 mysqlslap 到底做了什么事，通过 sql 语句方式告诉我们。 ------------------------------------------------------------------- ## sysbench 工具 - 工具的官网说明： - 开源地址： ### 安装 - 当前（201703）最新版本为：**1.0.3**，下面的操作也都是基于此版本，网络上的资料很多都是 0.4 和 0.5 不支持本文的语法。 - 安装编译相关工具包：`yum -y install automake libtool` - 下载： - 假设我这边下载下来的文件名为：`sysbench-1.0.3.zip` - 我的 MySQL 安装路径为：`/usr/program/mysql` - include 目录位置：`/usr/program/mysql/include` - libs 目录位置：`/usr/program/mysql/lib` - 设置 MySQL 包路径变量：`export LD_LIBRARY_PATH=/usr/program/mysql/lib/` - 解压压缩包：`unzip sysbench-1.0.3.zip` - 开始编译安装： - `cd sysbench-1.0.3` - `./autogen.sh` - `./configure --with-mysql-includes=/usr/program/mysql/include --with-mysql-libs=/usr/program/mysql/lib/` - `make` - `make install` - 测试是否安装成功：`sysbench --version` - 安装完之后在这个目录下有一些 lua 测试脚本：`cd /usr/local/share/sysbench`，等下测试的时候需要指定这些脚本位置，用这些脚本测试的。 - 默认这些脚本生成的数据都是 10000 个，如果你想要更多，需要修改：`vim /usr/local/share/sysbench/oltp_common.lua` 文件。常修改的参数： - `tables`，生成多少张表 - `table_size`，每张表多少记录数 ### 开始测试 - 做不同的类型测试之前，最好都重启下 MySQL - 创建一个数据库，名字为：`sbtest` - select 测试： - 准备测试数据：`sysbench /usr/local/share/sysbench/oltp_point_select.lua --threads=15 --report-interval=10 --time=120 --mysql-user=root --mysql-password=123456 --mysql-host=127.0.0.1 --mysql-port=3306 prepare` - 开始测试：`sysbench /usr/local/share/sysbench/oltp_point_select.lua --threads=15 --report-interval=10 --time=120 --mysql-user=root --mysql-password=123456 --mysql-host=127.0.0.1 --mysql-port=3306 run` - 清除测试数据：`sysbench /usr/local/share/sysbench/oltp_point_select.lua --threads=15 --report-interval=10 --time=120 --mysql-user=root --mysql-password=123456 --mysql-host=127.0.0.1 --mysql-port=3306 cleanup` - 读写测试： - 读写测试我开了线程比较多，也修改了 oltp_common.lua 内容，有可能会报：`MySQL error: 1461 "Can't create more than max_prepared_stmt_count statements`，那你需要在 MySQL 中执行这句临时设置 SQL：`SET GLOBAL max_prepared_stmt_count=100000;` - 准备测试数据：`sysbench /usr/local/share/sysbench/oltp_read_write.lua --threads=100 --report-interval=10 --time=100 --mysql-user=root --mysql-password=123456 --mysql-host=127.0.0.1 --mysql-port=3306 prepare` - 开始测试：`sysbench /usr/local/share/sysbench/oltp_read_write.lua --threads=100 --report-interval=10 --time=100 --mysql-user=root --mysql-password=123456 --mysql-host=127.0.0.1 --mysql-port=3306 run` - 清除测试数据：`sysbench /usr/local/share/sysbench/oltp_read_write.lua --threads=100 --report-interval=10 --time=100 --mysql-user=root --mysql-password=123456 --mysql-host=127.0.0.1 --mysql-port=3306 cleanup` - 参数说明： - `--threads=15` 表示发起 15 个并发连接 - `--report-interval=10` 表示控制台每 10 秒输出一次测试进度报告 - `--time=120` 总的测试时长为 120 秒 - `--max-requests=0` 表示总请求数为 0，因为上面已经定义了总执行时长，所以总请求数可以设定为 0；也可以只设定总请求数，不设定执行时长 - `--percentile=99` 表示设定采样比例，即丢弃1%的长请求，在剩余的99%里取最大值。默认是 95%， ### 测试报告 Running the test with following options: Number of threads: 15 Report intermediate results every 10 second(s) Initializing random number generator from current time Initializing worker threads... Threads started! [ 10s ] thds: 15 tps: 337.43 qps: 6773.72 (r/w/o: 4745.03/1351.92/676.76) lat (ms,95%): 73.13 err/s: 0.40 reconn/s: 0.00 [ 20s ] thds: 15 tps: 340.12 qps: 6813.82 (r/w/o: 4772.12/1361.06/680.63) lat (ms,95%): 71.83 err/s: 0.40 reconn/s: 0.00 [ 30s ] thds: 15 tps: 344.78 qps: 6897.36 (r/w/o: 4828.36/1379.23/689.77) lat (ms,95%): 71.83 err/s: 0.20 reconn/s: 0.00 [ 40s ] thds: 15 tps: 343.32 qps: 6876.75 (r/w/o: 4815.15/1374.47/687.14) lat (ms,95%): 71.83 err/s: 0.60 reconn/s: 0.00 [ 50s ] thds: 15 tps: 342.80 qps: 6864.76 (r/w/o: 4806.67/1371.89/686.20) lat (ms,95%): 73.13 err/s: 0.50 reconn/s: 0.00 [ 60s ] thds: 15 tps: 347.90 qps: 6960.74 (r/w/o: 4873.93/1390.71/696.10) lat (ms,95%): 70.55 err/s: 0.30 reconn/s: 0.00 [ 70s ] thds: 15 tps: 346.70 qps: 6942.39 (r/w/o: 4859.29/1389.30/693.80) lat (ms,95%): 70.55 err/s: 0.40 reconn/s: 0.00 [ 80s ] thds: 15 tps: 345.60 qps: 6914.88 (r/w/o: 4841.48/1382.00/691.40) lat (ms,95%): 70.55 err/s: 0.20 reconn/s: 0.00 [ 90s ] thds: 15 tps: 341.10 qps: 6830.31 (r/w/o: 4782.20/1365.40/682.70) lat (ms,95%): 74.46 err/s: 0.50 reconn/s: 0.00 [ 100s ] thds: 15 tps: 341.20 qps: 6829.33 (r/w/o: 4782.12/1364.41/682.80) lat (ms,95%): 74.46 err/s: 0.40 reconn/s: 0.00 [ 110s ] thds: 15 tps: 343.40 qps: 6875.79 (r/w/o: 4812.29/1376.50/687.00) lat (ms,95%): 71.83 err/s: 0.20 reconn/s: 0.00 [ 120s ] thds: 15 tps: 347.00 qps: 6943.51 (r/w/o: 4862.40/1386.70/694.40) lat (ms,95%): 71.83 err/s: 0.40 reconn/s: 0.00 SQL statistics: queries performed: read: 577836 --读总数 write: 164978 --写总数 other: 82503 --其他操作(CURD之外的操作，例如COMMIT) total: 825317 --全部总数 transactions: 41229 (343.51 per sec.) --总事务数(每秒事务数，这个每秒事务数也就是：TPS 吞吐量) queries: 825317 (6876.33 per sec.) --查询总数(查询次数) ignored errors: 45 (0.37 per sec.) --总忽略错误总数(每秒忽略错误次数) reconnects: 0 (0.00 per sec.) --重连总数(每秒重连次数) General statistics: total time: 120.0214s --总耗时 total number of events: 41229 --共发生多少事务数 Latency (ms): min: 7.19 --最小耗时 avg: 43.66 --平均耗时 max: 162.82 --最长耗时 95th percentile: 71.83 --超过95%平均耗时 sum: 1799860.45 Threads fairness: events (avg/stddev): 2748.6000/132.71 --总处理事件数/标准偏差 execution time (avg/stddev): 119.9907/0.00 --总执行时间/标准偏差 ------------------------------------------------------------------- ## QPS 和 TPS 和说明 ### 基本概念 - QPS：Queries Per Second意思是“每秒查询率”，是一台服务器每秒能够相应的查询次数，是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。 - TPS是TransactionsPerSecond的缩写，也就是事务数/秒。它是软件测试结果的测量单位。一个事务是指一个客户机向服务器发送请求然后服务器做出反应的过程。客户机在发送请求时开始计时，收到服务器响应后结束计时，以此来计算使用的时间和完成的事务个数，最终利用这些信息来估计得分。客户机使用加权协函数平均方法来计算客户机的得分，测试软件就是利用客户机的这些信息使用加权协函数平均方法来计算服务器端的整体TPS得分。 - QPS（TPS）= 并发数/平均响应时间 或者 并发数 = QPS平均响应时间 **这里响应时间的单位是秒* - 举例，我们一个HTTP请求的响应时间是20ms，在10个并发的情况下，QPS就是 QPS=10*1000/20=500。 - 这里有个关键的点就是QPS一定是跟并发数联系在一起的，离开并发数谈QPS是没意义的。 ### QPS、TPS和性能的关系 - 一个系统吞吐量通常由QPS（TPS）、并发数两个因素决定，每套系统这两个值都有一个相对极限值，在应用场景访问压力下，只要某一项达到系统最高值，系统的吞吐量就上不去了，如果压力继续增大，系统的吞吐量反而会下降，原因是系统超负荷工作，上下文切换、内存等等其它消耗导致系统性能下降。 - 开始，系统只有一个用户，CPU工作肯定是不饱合的。一方面该服务器可能有多个cpu，但是只处理单个进程，另一方面，在处理一个进程中，有些阶段可能是IO阶段，这个时候会造成CPU等待，但是有没有其他请 求进程可以被处理）。随着并发用户数的增加，CPU利用率上升，QPS相应也增加（公式为QPS=并发用户数/平均响应时间。）随着并发用户数的增加，平均响应时间也在增加，而且平均响应时间的增加是一个指数增加曲线。而当并发数增加到很大时，每秒钟都会有很多请求需要处理，会造成进程（线程）频繁切换，反正真正用于处理请求的时间变少，每秒能够处 理的请求数反而变少，同时用户的请求等待时间也会变大，甚至超过用户的心理底线。 ） ### 结论 - 我们对单台服务器进行压测有了性能测试数据以后，我们可以根据业务上能接受最大客户响应时间对应到相应的QPS数，从而计算出需要的服务器的数量。举例来说，响应时间10ms和1000ms对通过浏览器的客户是没有明显体验差别的，基于1000ms估算服务器的数量我们的成本会降低很多。 - 每天300wPV的在单台机器上，这台机器需要多少QPS？对于这样的问题，假设每天80%的访问集中在20%的时间里，这20%时间叫做峰值时间。( 3000000 * 0.8 ) / (3600 * 24 * 0.2 ) = 139 (QPS). - 如果一台机器的QPS是58，需要几台机器来支持？答：139 / 58 = 3 ------------------------------------------------------------------- ## Percona TPCC-MySQL 测试工具（优先推荐） - 可以较好地模拟真实测试结果数据 - 官网主页： ``` TPC-C 是专门针对联机交易处理系统（OLTP系统）的规范，一般情况下我们也把这类系统称为业务处理系统。 TPC-C是TPC(Transaction Processing Performance Council)组织发布的一个测试规范，用于模拟测试复杂的在线事务处理系统。其测试结果包括每分钟事务数(tpmC)，以及每事务的成本(Price/tpmC)。 在进行大压力下MySQL的一些行为时经常使用。 ``` ### 安装 - 先确定本机安装过 MySQL - 并且安装过：`yum install mysql-devel` ``` git clone https://github.com/Percona-Lab/tpcc-mysql cd tpcc-mysql/src make 如果make没报错，就会在tpcc-mysql 根目录文件夹下生成tpcc二进制命令行工具tpcc_load、tpcc_start 如果要同时支持 PgSQL 可以考虑：https://github.com/Percona-Lab/sysbench-tpcc ``` ### 测试的几个表介绍 ``` tpcc-mysql的业务逻辑及其相关的几个表作用如下： New-Order：新订单，主要对应 new_orders 表 Payment：支付，主要对应 orders、history 表 Order-Status：订单状态，主要对应 orders、order_line 表 Delivery：发货，主要对应 order_line 表 Stock-Level：库存，主要对应 stock 表 其他相关表： 客户：主要对应customer表 地区：主要对应district表 商品：主要对应item表 仓库：主要对应warehouse表 ``` ### 准备 - 测试阿里云 ECS 与 RDS 是否相通： - 记得在 RDS 添加账号和给账号配置权限，包括：配置权限、数据权限（默认添加账号后都是没有开启的，还要自己手动开启） - 还要添加内网 ECS 到 RDS 的白名单 IP 里面 - 或者在 RDS 上开启外网访问设置，但是也设置 IP 白名单（访问 ip.cn 查看自己的外网 IP 地址，比如：120.85.112.97） - RDS 的内网地址和外网地址不一样，要认真看。 ``` ping rm-wz9v0vej02ys79jbj.mysql.rds.aliyuncs.com mysql -h rm-wz9v0vej02ys79jbj.mysql.rds.aliyuncs.com -P 3306 -u myaccount -p 输入密码：Aa123456 ``` ``` 创库，名字为：TPCC： CREATE DATABASE TPCC DEFAULT CHARACTER SET utf8 COLLATE utf8_general_ci; 导入项目中的出初始化数据脚本： 创建表：create_table.sql /usr/bin/mysql -h rm-wz9v0vej02ys79jbj.mysql.rds.aliyuncs.com -u myaccount -p tpcc < /root/tpcc-mysql/create_table.sql 创建索引和外键：add_fkey_idx.sql /usr/bin/mysql -h rm-wz9v0vej02ys79jbj.mysql.rds.aliyuncs.com -u myaccount -p tpcc < /root/tpcc-mysql/add_fkey_idx.sql ``` ### 测试 - 数据库：阿里云 RDS-MySQL-5.7-2C4G - 测试机：阿里云 ECS-4C4G-CentOS7.6 - 根据测试，不同的 ECS 测试机，不同的 RDS 测试结果有时候差距挺大的，这个很蛋疼。 - 需要注意的是 tpcc 默认会读取 /var/lib/mysql/mysql.sock 这个 socket 文件。因此，如果你的socket文件不在相应路径的话，可以做个软连接，或者通过TCP/IP的方式连接测试服务器 - 准备数据： ``` cd /opt/tpcc-mysql ./tpcc_load -h rm-wz9v0vej02ys79jbj.mysql.rds.aliyuncs.com -P 3306 -d TPCC -u myaccount -p Aa123456 -w 80 -w 80 表示创建 80 个仓库数据 这个过程花费时间还是挺长的，建议测试机是高性能计算型。2CPU 差不多要 8h，你自己估量下。 我这边 RDS 监控中，曲线上每秒 insert 差不多在 2W 差不多，如果你没有这个数，速度可能就很慢了。 我这边差不多用了 2.5h 完成数据准备。 插入过程 RDS-2C4G 的监控情况： CPU利用率 24% 内存 30% ~ 40% （随着数据增加而增大） 连接数：1% IOPS：9% 已使用存储空间：5.5G ~ 10G 要模拟出够真实的数据，仓库不要太少，一般要大于 100， 下面是基于 80 个库的最终数据： select count(*) from customer; 2400000 select count(*) from district; 800 select count(*) from history; 2400000 select count(*) from item; 100000 select count(*) from new_orders; 720000 select count(*) from order_line; 23996450 select count(*) from orders; 2400000 select count(*) from stock; 8000000 select count(*) from warehouse; 80 ``` - 开始测试： ``` ./tpcc_start -h rm-wz9v0vej02ys79jbj.mysql.rds.aliyuncs.com -P 3306 -d TPCC -u myaccount -p Aa123456 -w 80 -c 200 -r 300 -l 1800 -f /opt/mysql_tpcc_100_20190325 -w 100 表示 100 个仓库数据 -c 200 表示并发 200 个线程 -r 300 表示预热 300 秒 -l 1800 表示持续压测 1800 秒 ``` ### 报表 ``` 188.000 TpmC TpmC结果值(每分钟事务数，该值是第一次统计结果中的新订单事务数除以总耗时分钟数，例如本例中是：372/2=186) tpmC值在国内外被广泛用于衡量计算机系统的事务处理能力 ``` - RDS-2C4G-80个仓库结果： - CPU：100%，内存：34%，连接数：17%，IOPS：62%，磁盘空间：20G ``` 1780, trx: 979, 95%: 1849.535, 99%: 2402.613, max_rt: 3401.947, 986|3248.772, 98|698.821, 103|4202.110, 101|4547.416 1790, trx: 1021, 95%: 1898.903, 99%: 2700.936, max_rt: 3848.142, 999|3150.117, 100|500.740, 102|3600.104, 100|5551.834 1800, trx: 989, 95%: 1899.472, 99%: 2847.899, max_rt: 4455.064, 989|3049.921, 101|699.144, 97|3599.021, 102|5151.141 STOPPING THREADS........................................................................................................................................................................................................ [0] sc:2 lt:174378 rt:0 fl:0 avg_rt: 1192.8 (5) [1] sc:253 lt:173935 rt:0 fl:0 avg_rt: 542.7 (5) [2] sc:4726 lt:12712 rt:0 fl:0 avg_rt: 144.7 (5) [3] sc:0 lt:17435 rt:0 fl:0 avg_rt: 3029.8 (80) [4] sc:0 lt:17435 rt:0 fl:0 avg_rt: 3550.7 (20) in 1800 sec. [0] sc:2 lt:174378 rt:0 fl:0 [1] sc:254 lt:174096 rt:0 fl:0 [2] sc:4726 lt:12712 rt:0 fl:0 [3] sc:0 lt:17437 rt:0 fl:0 [4] sc:0 lt:17435 rt:0 fl:0 (all must be [OK]) [transaction percentage] Payment: 43.45% (>=43.0%) [OK] Order-Status: 4.35% (>= 4.0%) [OK] Delivery: 4.35% (>= 4.0%) [OK] Stock-Level: 4.35% (>= 4.0%) [OK] [response time (at least 90% passed)] New-Order: 0.00% [NG] * Payment: 0.15% [NG] * Order-Status: 27.10% [NG] * Delivery: 0.00% [NG] * Stock-Level: 0.00% [NG] * 5812.667 TpmC ``` - 升级：RDS-4C8G-80个仓库结果 - CPU：100%，内存：55%，连接数：10%，IOPS：20%，磁盘空间：25G ``` 1780, trx: 2303, 95%: 796.121, 99%: 1099.640, max_rt: 1596.883, 2293|2249.288, 232|256.393, 230|1694.050, 235|2550.775 1790, trx: 2336, 95%: 798.030, 99%: 1093.403, max_rt: 1547.840, 2338|2803.739, 234|305.185, 232|1799.869, 228|2453.748 1800, trx: 2305, 95%: 801.381, 99%: 1048.528, max_rt: 1297.465, 2306|1798.565, 229|304.329, 227|1649.609, 233|2549.599 STOPPING THREADS........................................................................................................................................................................................................ [0] sc:7 lt:406567 rt:0 fl:0 avg_rt: 493.7 (5) [1] sc:10485 lt:395860 rt:0 fl:0 avg_rt: 240.1 (5) [2] sc:24615 lt:16045 rt:0 fl:0 avg_rt: 49.4 (5) [3] sc:0 lt:40651 rt:0 fl:0 avg_rt: 1273.6 (80) [4] sc:0 lt:40656 rt:0 fl:0 avg_rt: 1665.3 (20) in 1800 sec. [0] sc:7 lt:406569 rt:0 fl:0 [1] sc:10487 lt:396098 rt:0 fl:0 [2] sc:24615 lt:16045 rt:0 fl:0 [3] sc:0 lt:40655 rt:0 fl:0 [4] sc:0 lt:40659 rt:0 fl:0 (all must be [OK]) [transaction percentage] Payment: 43.46% (>=43.0%) [OK] Order-Status: 4.35% (>= 4.0%) [OK] Delivery: 4.35% (>= 4.0%) [OK] Stock-Level: 4.35% (>= 4.0%) [OK] [response time (at least 90% passed)] New-Order: 0.00% [NG] * Payment: 2.58% [NG] * Order-Status: 60.54% [NG] * Delivery: 0.00% [NG] * Stock-Level: 0.00% [NG] * 13552.467 TpmC ``` - 升级：RDS-8C16G-80个仓库结果 - CPU：100%，内存：35%，连接数：5%，IOPS：18%，磁盘空间：30G ``` 1780, trx: 4502, 95%: 398.131, 99%: 501.634, max_rt: 772.128, 4473|740.073, 446|183.361, 448|1042.264, 442|1302.569 1790, trx: 4465, 95%: 398.489, 99%: 541.424, max_rt: 803.659, 4476|845.313, 448|152.917, 450|997.319, 454|1250.160 1800, trx: 4506, 95%: 397.774, 99%: 501.334, max_rt: 747.074, 4508|701.625, 453|108.619, 450|1052.293, 451|1107.277 STOPPING THREADS........................................................................................................................................................................................................ [0] sc:20 lt:803738 rt:0 fl:0 avg_rt: 240.5 (5) [1] sc:13844 lt:789535 rt:0 fl:0 avg_rt: 128.5 (5) [2] sc:54560 lt:25817 rt:0 fl:0 avg_rt: 22.1 (5) [3] sc:0 lt:80372 rt:0 fl:0 avg_rt: 739.8 (80) [4] sc:0 lt:80378 rt:0 fl:0 avg_rt: 771.1 (20) in 1800 sec. [0] sc:20 lt:803747 rt:0 fl:0 [1] sc:13845 lt:789916 rt:0 fl:0 [2] sc:54561 lt:25817 rt:0 fl:0 [3] sc:0 lt:80377 rt:0 fl:0 [4] sc:0 lt:80381 rt:0 fl:0 (all must be [OK]) [transaction percentage] Payment: 43.47% (>=43.0%) [OK] Order-Status: 4.35% (>= 4.0%) [OK] Delivery: 4.35% (>= 4.0%) [OK] Stock-Level: 4.35% (>= 4.0%) [OK] [response time (at least 90% passed)] New-Order: 0.00% [NG] * Payment: 1.72% [NG] * Order-Status: 67.88% [NG] * Delivery: 0.00% [NG] * Stock-Level: 0.00% [NG] * 26791.934 TpmC ``` - 升级：RDS-16C64G-80个仓库结果 - CPU：100%，内存：18%，连接数：2%，IOPS：10%，磁盘空间：40G ``` 1780, trx: 8413, 95%: 203.560, 99%: 279.322, max_rt: 451.010, 8414|441.849, 841|92.900, 839|583.340, 843|644.276 1790, trx: 8269, 95%: 204.599, 99%: 282.602, max_rt: 444.075, 8262|412.414, 827|91.551, 831|665.421, 824|616.396 1800, trx: 8395, 95%: 202.285, 99%: 255.026, max_rt: 436.136, 8404|446.292, 839|87.081, 839|609.221, 842|697.509 STOPPING THREADS........................................................................................................................................................................................................ [0] sc:37 lt:1532893 rt:0 fl:0 avg_rt: 124.8 (5) [1] sc:36091 lt:1496111 rt:0 fl:0 avg_rt: 68.5 (5) [2] sc:105738 lt:47555 rt:0 fl:0 avg_rt: 11.4 (5) [3] sc:0 lt:153285 rt:0 fl:0 avg_rt: 404.6 (80) [4] sc:0 lt:153293 rt:0 fl:0 avg_rt: 389.5 (20) in 1800 sec. [0] sc:37 lt:1532918 rt:0 fl:0 [1] sc:36093 lt:1496868 rt:0 fl:0 [2] sc:105739 lt:47556 rt:0 fl:0 [3] sc:0 lt:153297 rt:0 fl:0 [4] sc:0 lt:153298 rt:0 fl:0 (all must be [OK]) [transaction percentage] Payment: 43.47% (>=43.0%) [OK] Order-Status: 4.35% (>= 4.0%) [OK] Delivery: 4.35% (>= 4.0%) [OK] Stock-Level: 4.35% (>= 4.0%) [OK] [response time (at least 90% passed)] New-Order: 0.00% [NG] * Payment: 2.36% [NG] * Order-Status: 68.98% [NG] * Delivery: 0.00% [NG] * Stock-Level: 0.00% [NG] * 51097.668 TpmC ``` - 几轮下来，最终数据量： ``` select count(*) from customer; 2400000 select count(*) from district; 800 select count(*) from history; 5779395 select count(*) from item; 100000 select count(*) from new_orders; 764970 select count(*) from order_line; 57453708 select count(*) from orders; 5745589 select count(*) from stock; 8000000 select count(*) from warehouse; 80 ``` ## 资料 - - - - - - - ================================================ FILE: markdown-file/Mysql-Tutorial.md ================================================ # Mysql 教程 ## Mysql 常用命令 ## 资料 - [MySQL Tutorial-1](http://www.tutorialspoint.com/mysql/) - [MySQL Tutorial-2](http://www.mysqltutorial.org/) - [MySQL Tutorial-3](http://zetcode.com/databases/mysqltutorial/) - [MySQL 教程-1](http://www.runoob.com/mysql/mysql-connection.html) - [MySQL 教程-2](http://www.w3school.com.cn/sql/) - [MySQL 教程-3](https://wizardforcel.gitbooks.io/w3school-sql/content/part7.html) ================================================ FILE: markdown-file/NFS.md ================================================ # NFS（Network FileSystem）介绍 ## NFS 安装 - 查看是否已安装： - CentOS：`rpm -qa | grep nfs-*` - Ubuntu：`dpkg -l | grep nfs-*` - 安装： - CentOS 5：`sudo yum install -y nfs-utils portmap` - CentOS 6：`sudo yum install -y nfs-utils rpcbind` - Ubuntu：`sudo apt-get install -y nfs-common nfs-kernel-server` ## NFS 服务器配置文件常用参数 - 配置文件介绍（记得先备份）：`sudo vim /etc/exports` - 默认配置文件里面是没啥内容的，我们需要自己加上配置内容，一行表示共享一个目录。为了方便使用，共享的目录最好将权限设置为 777（`chmod 777 folderName`）。 - 假设在配置文件里面加上：`/opt/mytest 192.168.0.0/55(rw,sync,all_squash,anonuid=501,anongid=501,no_subtree_check)` - 该配置解释： - /opt/mytest 表示我们要共享的目录 - 192.168.0.0/55 表示内网中这个网段区间的IP是可以进行访问的，如果要任意网段都可以访问，可以用 `*` 号表示 - (rw,sync,all_squash,anonuid=501,anongid=501,no_subtree_check) 表示权限 - rw：是可读写（ro是只读） - sync：同步模式，表示内存中的数据时时刻刻写入磁盘（async：非同步模式，内存中数据定期存入磁盘） - all_squash：表示不管使用NFS的用户是谁，其身份都会被限定为一个指定的普通用户身份。（no_root_squash：其他客户端主机的root用户对该目录有至高权限控制。root_squash：表示其他客户端主机的root用户对该目录有普通用户权限控制） - anonuid/anongid：要和root_squash或all_squash选项一同使用，表示指定使用NFS的用户被限定后的uid和gid，前提是本图片服务器的/etc/passwd中存在这一的uid和gid - no_subtree_check：不检查父目录的权限 - 启动服务： - `/etc/init.d/rpcbind restart` - `/etc/init.d/nfs-kernel-server restart` ## NFS 客户端访问 - 客户端要访问服务端的共享目录需要对其共享的目录进行挂载，在挂载之前先检查下：`showmount -e 192.168.1.25`（这个 IP 是 NFS 的服务器端 IP） - 如果显示：/opt/mytest 相关信息表示成功了。 - 现在开始对其进行挂载：`mount -t nfs 192.168.1.25:/opt/mytest/ /mytest/` - 在客户端机器上输入命令：`df -h` 可以看到多了一个 mytest 分区。然后我们可以再创建一个软链接，把软链接放在 war 包的目录下，这样上传的图片都会跑到另外一台服务器上了。软链接相关内容请自行搜索。 ## NFS 资料 - - - - - ================================================ FILE: markdown-file/NTP.md ================================================ ## NTP（Network Time Protocol）介绍 ## NTP 安装 - 查看是否已安装： - CentOS：`rpm -qa | grep ntp-*` - Ubuntu：`dpkg -l | grep ntp-*` - 安装： - CentOS 6/7：`sudo yum install -y ntp` - Ubuntu：`sudo apt-get install -y ntp` ## 配置阿里云 NTP（推荐） - 官网介绍： - 配置文件介绍（记得先备份）：`sudo vim /etc/ntp.conf` - 注释掉以下默认的配置内容： ``` server 0.centos.pool.ntp.org iburst server 1.centos.pool.ntp.org iburst server 2.centos.pool.ntp.org iburst server 3.centos.pool.ntp.org iburst ``` - 新增配置： ``` nginx ntp1.aliyun.com ntp2.aliyun.com ntp3.aliyun.com ntp4.aliyun.com ntp5.aliyun.com ntp6.aliyun.com ntp7.aliyun.com ``` - CentOS 6 - 重启 NTP 服务：`sudo service ntpd start` - 添加 NTP 自启动：`sudo chkconfig ntpd on` - CentOS 7 - 重启 NTP 服务：`sudo systemctl start ntpd.service` - 添加 NTP 自启动：`sudo systemctl enable ntpd.service` ## NTP 服务器配置文件常用参数 - 世界上可以校对时间节点： - 中国时间校对服务器节点： - 配置文件介绍（记得先备份）：`sudo vim /etc/ntp.conf` ![NTP 服务器配置文件常用参数](../images/NTP-a-1.jpg) - 该配置解释： - 标注 1 是默认内容，我们这里进行了注释。 - 标注 2 是新增内容，表示使用中国时间校对服务器节点地址。 ``` nginx server 0.cn.pool.ntp.org server 1.cn.pool.ntp.org server 2.cn.pool.ntp.org server 3.cn.pool.ntp.org ``` - 我的配置如下 ``` driftfile /var/lib/ntp/drift pidfile /var/run/ntpd.pid logfile /var/log/ntp.log # Access Control Support restrict default kod nomodify notrap nopeer noquery restrict -6 default kod nomodify notrap nopeer noquery restrict 127.0.0.1 restrict 192.168.0.0 mask 255.255.0.0 nomodify notrap nopeer noquery restrict 172.16.0.0 mask 255.240.0.0 nomodify notrap nopeer noquery restrict 100.64.0.0 mask 255.192.0.0 nomodify notrap nopeer noquery restrict 10.0.0.0 mask 255.0.0.0 nomodify notrap nopeer noquery # local clock server 127.127.1.0 fudge 127.127.1.0 stratum 10 restrict ntp1.aliyun.com nomodify notrap nopeer noquery restrict ntp1.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp10.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp11.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp12.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp2.aliyun.com nomodify notrap nopeer noquery restrict ntp2.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp3.aliyun.com nomodify notrap nopeer noquery restrict ntp3.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp4.aliyun.com nomodify notrap nopeer noquery restrict ntp4.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp5.aliyun.com nomodify notrap nopeer noquery restrict ntp5.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp6.aliyun.com nomodify notrap nopeer noquery restrict ntp6.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp7.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp8.cloud.aliyuncs.com nomodify notrap nopeer noquery restrict ntp9.cloud.aliyuncs.com nomodify notrap nopeer noquery server ntp1.aliyun.com iburst minpoll 4 maxpoll 10 server ntp1.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp10.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp11.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp12.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp2.aliyun.com iburst minpoll 4 maxpoll 10 server ntp2.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp3.aliyun.com iburst minpoll 4 maxpoll 10 server ntp3.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp4.aliyun.com iburst minpoll 4 maxpoll 10 server ntp4.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp5.aliyun.com iburst minpoll 4 maxpoll 10 server ntp5.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp6.aliyun.com iburst minpoll 4 maxpoll 10 server ntp6.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp7.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp8.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 server ntp9.cloud.aliyuncs.com iburst minpoll 4 maxpoll 10 ``` - 启动服务： - `sudo service ntpd stop`（改配置后，先停再启动） - `sudo service ntpd start` - 手动更新时间： - `sudo ntpdate ntp1.aliyun.com` - 服务加到启动项 - CentOS 系统：`sudo chkconfig ntpd on` - Ubuntu 系统 - `sudo apt-get install -y sysv-rc-conf ` - `sudo sysv-rc-conf ntpd on` ## NTP 资料 - - - ================================================ FILE: markdown-file/Nexus-Install-And-Settings.md ================================================ # Nexus 安装和配置 ## Nexus 安装 - Nexus 安装 - 官网： - 官网下载： - 此时（20160207） Nexus 最新版本为：**2.12.0-01** - JDK 要求是 JDK 7，官网要求 7u6 或之后版本，包括 JDK 8 - 官网帮助说明 1： - 官网帮助说明 2： - 我个人习惯 `/opt` 目录下创建一个目录 `setups` 用来存放各种软件安装包；在 `/usr` 目录下创建一个 `program` 用来存放各种解压后的软件包，下面的讲解也都是基于此习惯 - 我个人已经使用了第三方源：`EPEL、RepoForge`，如果你出现 `yum install XXXXX` 安装不成功的话，很有可能就是你没有相关源，请查看我对源设置的文章 - 压缩包下载（由于国内网络的原因不排除你下载不了）：`wget http://download.sonatype.com/nexus/oss/nexus-2.12.0-01-bundle.tar.gz` - 如果地址下载不了，那是因为你需要开 VPN，你也可以选择降低要求下载 2.11.4-01 版本： - 解压压缩包：`tar zxvf nexus-2.11.4-01-bundle.tar.gz` - 解压出来有两个文件夹： - 这是程序目录：`nexus-2.11.4-01` - 这是仓库目录：`sonatype-work` - 移到目录到我的安装目录下：`mv nexus-2.11.4-01/ /usr/program/` - 进入安装目录：`cd /usr/program/` - 把目录名字改为更好看点：`mv nexus-2.11.4-01/ nexus2.11.4/` - 编辑系统配置文件：`vim /etc/profile` - 在文件的尾巴增加下面内容： ``` ini # Nexus NEXUS_HOME=/usr/program/nexus2.11.4 export NEXUS_HOME RUN_AS_USER=root export RUN_AS_USER ``` - 刷新配置：`source /etc/profile` - 由于目录 `sonatype-work` 以后是做仓库用的，会存储很多 jar，所以这个目录一定要放在磁盘空间大的区内，目前我们还没第一次启动 Nexus，所以这里还是空文件 - 我个人习惯把这类目录放在 `/opt` 下，所以你要特别注意，下面有内容对这个文件夹进行操作的都是基于 opt 目录的：`mv /opt/setup/sonatype-work/ /opt/` - 设置配置文件：`vim /usr/program/nexus2.11.4/conf/nexus.properties` - 把文件中该值：`nexus-work=${bundleBasedir}/../sonatype-work/nexus` - 改为：`nexus-work=/opt/sonatype-work/nexus` - 默认情况下如果你的 JDK 等系统变量设置好的是无需编辑 Nexus 的配置文件，但是这里还是给大家一下配置文件路径：`vim /usr/program/nexus2.11.4/bin/jsw/conf/wrapper.conf` - 开放防火墙端口： - 添加规则：`sudo iptables -I INPUT -p tcp -m tcp --dport 8081 -j ACCEPT` - 保存规则：`sudo /etc/rc.d/init.d/iptables save` - 重启 iptables：`sudo service iptables restart` - 测试安装结果： - 启动 Nexus：`/usr/program/nexus2.11.4/bin/nexus start` - 查看启动日志：`tail -200f /usr/program/nexus2.11.4/logs/wrapper.log` - 关闭 Nexus：`/usr/program/nexus2.11.4/bin/nexus stop` - 访问：http://192.168.0.110:8081/nexus - 登录账号密码： - 账号密码：**admin** - 密码：**admin123** ## Nexus 配置 - 修改默认端口：`vim /usr/program/nexus2.11.4/conf/nexus.properties`，修改该值：application-port=8081 - 下载远程中央库的索引到服务器 - ![Nexus 配置](../images/Nexus-Install-And-Settings-a-1.jpg) - 如上图标注 4 所示，把默认是 `False` 改为 `True` - ![Nexus 配置](../images/Nexus-Install-And-Settings-a-2.gif) - 如上图 gif 所示，创建任务开始进行索引下载。需要特别提醒的是，如果你的私服是虚拟机，那得保证你分配的硬盘足够大，别像我一样吝啬只给 10 G（现在还剩下 1.9 G），结果报：**设备上没有空间** - 项目上配置链接连接私服（下面内容涉及到 maven 的基础知识，请自行私下学习）： - 对项目独立设置： - 打开项目的 pom.xml 文件： - 添加下面内容： ``` xml Nexus 虚拟机-192.168.0.110-Nexus http://192.168.0.110:8081/nexus/content/groups/public/ ``` - 对全局配置进行设置： - 打开 maven 的 settings.xml 文件： - 添加下面内容： ``` xml YouMeekNexus YouMeek Nexus * http://192.168.0.110:8081/nexus/content/groups/public/ ``` ## 本地开发的 jar 发布到 Nexus 上 - 系统下的 settings.xml 下改为如下： ``` xml D:\maven\my_local_repository nexus-releases admin admin123 nexus-snapshots admin admin123 nexus-releases * http://192.168.1.73:8081/repository/maven-releases/ nexus-snapshots * http://192.168.1.73:8081/repository/maven-snapshots/ maven-aliyun aliyun maven http://maven.aliyun.com/nexus/content/groups/public/ central nexus nexus-releases http://nexus-releases true true nexus-snapshots http://nexus-snapshots true true nexus-releases http://nexus-releases true true nexus-snapshots http://nexus-snapshots true true nexus ``` - 在开发的项目 pom.xml 上，添加这一段： ``` xml nexus-releases http://192.168.1.73:8081/repository/maven-releases/ nexus-snapshots http://192.168.1.73:8081/repository/maven-snapshots/ ``` - 然后在项目上执行：`mvn deploy` ## 持续集成自动构建后发布到 Nexus 上 - 在 Maven 的 settings.xml 加上连接服务器信息： ``` xml nexus-releases admin admin123 nexus-snapshots admin admin123 ``` - 在项目的 pom.xml 文件加上： ``` xml nexus-releases Nexus Releases Repository http://192.168.0.110:8081/nexus/content/repositories/releases/ nexus-snapshots Nexus Snapshots Repository http://192.168.0.110:8081/nexus/content/repositories/snapshots/ ``` ## Nexus 手动更新索引文件 - 手动更新索引 - 关闭 Nexus：`/usr/program/nexus2.11.4/bin/nexus stop` - 命令：`cd /opt/sonatype-work/nexus/indexer/central-ctx` - 删除里面默认的文件：`rm -rf *` - 访问官网索引： - 下载文件：**nexus-maven-repository-index.gz**：`wget http://repo.maven.apache.org/maven2/.index/nexus-maven-repository-index.gz` - 下载文件：**nexus-maven-repository-index.properties**：`wget http://repo.maven.apache.org/maven2/.index/nexus-maven-repository-index.properties` - 下载索引解压工具：`wget https://repo1.maven.org/maven2/org/apache/maven/indexer/indexer-cli/5.1.1/indexer-cli-5.1.1.jar` - 执行解压命令（该命令执行需要4分钟左右）：`java -jar indexer-cli-5.1.0.jar -u nexus-maven-repository-index.gz -d ./` - 删除解压前文件：`rm -rf indexer-cli-5.1.0.jar nexus-maven-repository-index.gz nexus-maven-repository-index.properties` - 重启服务：`/usr/program/nexus2.11.4/bin/nexus start` ## Nexus3 功能 #### 搜索 - 搜索依赖（支持匹配符）： #### 创建角色 - 地址： #### 创建用户 - 地址： #### 设置仓库 - 仓库常见类型： - proxy，“代理”类型，代理请求官方仓库，并缓存在本地，图中maven-central即是 - hosted，“私有”仓库，公司组织内部自由仓库，比如存储自己的jar包等，maven-releases、maven-snapshots即是 - group，“组”，逻辑上的，可以把几个仓库划归到某个组，对外统一的地址访问，maven-public即是，它包含了另外3个 - 仓库地址： - 设置 maven-central 的 proxy 为官网默认地址： - proxy 的意义：当客户端访问中央库的时候，如果 Nexus 没有该依赖，则先通过 Proxy 地址下载到 Nexus 仓库，然后客户端再从 Nexus 服务器下载到本地。 - 一般建议新增一个 maven-aliyun 的 proxy 类型仓库，proxy 地址是： - 然后在 maven-public 设置 Member repositories 的时候确保 maven-aliyun 排序大于 maven-central 即可。 - 设置 maven-public，集成其他仓库： - 一般 Member repositories 的排序建议是：maven-releases、maven-snapshots、maven-aliyun、maven-central - 如果需要设置 npm 的仓库可以看这篇文章：[Nexus OSS3创建npm 私服](https://wendyeq.me/2016/11/24/npm-registry-in-nexus-oss-3/) #### 设置 task - 地址： ## 资料 - - - - - - - - - - - - ================================================ FILE: markdown-file/Nginx-Install-And-Settings.md ================================================ # Nginx 安装和配置 ## Nginx 说明 - Nginx 是一个很强大的高性能 Web 和反向代理服务器，常被我们用作负载均衡服务器，也可以作为邮件代理服务器 - Nginx WIKI： - Nginx 百科： - Nginx 官网： - Nginx 官网下载： - 源码包方式下载：，注意该页面的：`Stable version`，这个表示稳定版本，2016-03-22 最新版本是：`nginx-1.8.1`，这是一个 **tar.gz** 的文件链接。 - 构建包方式下载： - Nginx 文档： - 优先： - 次要： - Nginx 模块地址： ## 来自网络上的一个好介绍 - 来源： > - 传统上基于进程或线程模型架构的 Web 服务通过每进程或每线程处理并发连接请求，这势必会在网络和 I/O 操作时产生阻塞，其另一个必然结果则是对内存或 CPU 的利用率低下。生成一个新的进程/线程需要事先备好其运行时环境，这包括为其分配堆内存和栈内存，以及为其创建新的执行上下文等。这些操作都需要占用 CPU，而且过多的进程/线程还会带来线程抖动或频繁的上下文切换，系统性能也会由此进一步下降。 > - 在设计的最初阶段，Nginx 的主要着眼点就是其高性能以及对物理计算资源的高密度利用，因此其采用了不同的架构模型。受启发于多种操作系统设计中基于“事件”的高级处理机制，nginx采用了模块化、事件驱动、异步、单线程及非阻塞的架构，并大量采用了多路复用及事件通知机制。在 Nginx 中，连接请求由为数不多的几个仅包含一个线程的进程 Worker 以高效的回环(run-loop)机制进行处理，而每个 Worker 可以并行处理数千个的并发连接及请求。 > - 如果负载以 CPU 密集型应用为主，如 SSL 或压缩应用，则 Worker 数应与 CPU 数相同；如果负载以 IO 密集型为主，如响应大量内容给客户端，则 Worker 数应该为 CPU 个数的 1.5 或 2 倍。 > - Nginx会按需同时运行多个进程：一个主进程(Master)和几个工作进程(Worker)，配置了缓存时还会有缓存加载器进程(Cache Loader)和缓存管理器进程(Cache Manager)等。所有进程均是仅含有一个线程，并主要通过“共享内存”的机制实现进程间通信。主进程以root用户身份运行，而 Worker、Cache Loader 和 Cache manager 均应以非特权用户身份运行。 > - 主进程主要完成如下工作： - 1.读取并验正配置信息； - 2.创建、绑定及关闭套接字； - 3.启动、终止及维护worker进程的个数； - 4.无须中止服务而重新配置工作特性； - 5.控制非中断式程序升级，启用新的二进制程序并在需要时回滚至老版本； - 6.重新打开日志文件，实现日志滚动； - 7.编译嵌入式perl脚本； > - Worker 进程主要完成的任务包括： - 1.接收、传入并处理来自客户端的连接； - 2.提供反向代理及过滤功能； - 3.nginx任何能完成的其它任务； > - Cache Loader 进程主要完成的任务包括： - 1.检查缓存存储中的缓存对象； - 2.使用缓存元数据建立内存数据库； > - Cache Manager 进程的主要任务： - 1.缓存的失效及过期检验； ## Nginx 的 Docker 部署 - 预设好目录，在宿主机上创建下面目录：`mkdir -p /data/docker/nginx/logs /data/docker/nginx/conf` - **重点**：先准备好你的 nginx.conf 文件，存放在宿主机的：`vim /data/docker/nginx/conf/nginx.conf` 目录下，等下需要映射。 ``` worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; server { listen 80; server_name localhost 127.0.0.1 193.112.221.203 youmeek.com; location / { root /usr/share/nginx/html; index index.html index.htm; } } } ``` - 官网镜像： - 下载镜像：`docker pull nginx:1.12.2` - 运行容器：`docker run --name youmeek-nginx -p 80:80 -v /data/docker/nginx/logs:/var/log/nginx -v /data/docker/nginx/conf/nginx.conf:/etc/nginx/nginx.conf:ro -d nginx:1.12.2` - 重新加载配置（目前测试无效，只能重启服务）：`docker exec -it youmeek-nginx nginx -s reload` - 停止服务：`docker exec -it youmeek-nginx nginx -s stop` 或者：`docker stop youmeek-nginx` - 重新启动服务：`docker restart youmeek-nginx` ------------------------------------------------------------------- ## YUM 安装（版本一般滞后半年左右） - 安装：`yum install -y nginx`，同时增加了一个 nginx 用户组和用户 - 默认配置文件位置：`vim /etc/nginx/nginx.conf` - 其他配置文件位置：`cd /etc/nginx/conf.d/` - 模块配置文件位置：`cd /usr/share/nginx/modules/` - 默认 HTML 静态文件位置：`cd /usr/share/nginx/html` - log 存放目录：`cd /var/log/nginx/` - 状态：`systemctl status nginx` - 启动：`systemctl start nginx` - 启动：`systemctl stop nginx` - 刷新配置：`nginx -s reload` - 查看版本和 YUM 自带的模块：`nginx -V` ------------------------------------------------------------------- ## Nginx 源码编译安装（带 Prometheus 模块） ``` ./configure \ --prefix=/usr/local/nginx \ --pid-path=/var/local/nginx/nginx.pid \ --lock-path=/var/lock/nginx/nginx.lock \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/temp/nginx/client \ --http-proxy-temp-path=/var/temp/nginx/proxy \ --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \ --with-http_ssl_module \ --with-http_stub_status_module \ --http-scgi-temp-path=/var/temp/nginx/scgi \ --add-module=/usr/local/nginx-module-vts ``` ## Nginx 源码编译安装（带监控模块） - 官网下载最新稳定版本 **1.8.1**，大小：814K - 官网安装说明： - 源码编译配置参数说明： - - - 开始安装： - 安装依赖包：`yum install -y gcc gcc-c++ pcre pcre-devel zlib zlib-devel openssl openssl-devel` - 预设几个文件夹，方便等下安装的时候有些文件可以进行存放： - `mkdir -p /usr/local/nginx /var/log/nginx /var/temp/nginx /var/lock/nginx` - 下载源码包：`wget http://nginx.org/download/nginx-1.8.1.tar.gz` - 解压：`tar zxvf nginx-1.8.1.tar.gz` - 进入解压后目录：`cd nginx-1.8.1/` - 编译配置： ``` ini ./configure \ --prefix=/usr/local/nginx \ --pid-path=/var/local/nginx/nginx.pid \ --lock-path=/var/lock/nginx/nginx.lock \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/temp/nginx/client \ --http-proxy-temp-path=/var/temp/nginx/proxy \ --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \ --with-http_ssl_module \ --with-http_stub_status_module \ --http-scgi-temp-path=/var/temp/nginx/scgi ``` - 编译：`make` - 安装：`make install` - 启动 Nginx - 先检查是否在 /usr/local 目录下生成了 Nginx 等相关文件：`cd /usr/local/nginx;ll`，正常的效果应该是显示这样的： ``` nginx drwxr-xr-x. 2 root root 4096 3月 22 16:21 conf drwxr-xr-x. 2 root root 4096 3月 22 16:21 html drwxr-xr-x. 2 root root 4096 3月 22 16:21 sbin ``` - 如果要检查刚刚编译的哪些模块，可以：`nginx -V` ``` nginx version: nginx/1.8.0 built by gcc 4.4.7 20120313 (Red Hat 4.4.7-18) (GCC) built with OpenSSL 1.0.1e-fips 11 Feb 2013 TLS SNI support enabled configure arguments: --user=nginx --group=nginx --prefix=/usr/local/nginx --pid-path=/usr/local/nginx/run/nginx.pid --lock-path=/usr/local/nginx/lock/nginx.lock --with-http_ssl_module --with-http_dav_module --with-http_flv_module --with-http_gzip_static_module --with-http_stub_status_module ``` - 停止防火墙：`service iptables stop` - 或是把 80 端口加入到的排除列表： - `sudo iptables -A INPUT -p tcp -m tcp --dport 80 -j ACCEPT` - `sudo service iptables save` - `sudo service iptables restart` - 启动：`/usr/local/nginx/sbin/nginx`，启动完成 shell 是不会有输出的 - 检查 时候有 Nginx 进程：`ps aux | grep nginx`，正常是显示 3 个结果出来 - 检查 Nginx 是否启动并监听了 80 端口：`netstat -ntulp | grep 80` - 访问：`192.168.1.114`，如果能看到：`Welcome to nginx!`，即可表示安装成功 - 检查 Nginx 启用的配置文件是哪个：`/usr/local/nginx/sbin/nginx -t` - 刷新 Nginx 配置后重启：`/usr/local/nginx/sbin/nginx -s reload` - 停止 Nginx：`/usr/local/nginx/sbin/nginx -s stop` - 如果访问不了，或是出现其他信息看下错误立即：`vim /var/log/nginx/error.log` ## 把 Nginx 添加到系统服务中 - 新建文件：`vim /etc/init.d/nginx` - 添加如下内容： ``` nginx #!/bin/bash #nginx执行程序路径需要修改 nginxd=/usr/local/nginx/sbin/nginx # nginx配置文件路径需要修改 nginx_config=/usr/local/nginx/conf/nginx.conf # pid 地址需要修改 nginx_pid=/var/local/nginx/nginx.pid RETVAL=0 prog="nginx" # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ ${NETWORKING} = "no" ] && exit 0 [ -x $nginxd ] || exit 0 # Start nginx daemons functions. start() { if [ -e $nginx_pid ];then echo "nginx already running...." exit 1 fi echo -n $"Starting $prog: " daemon $nginxd -c ${nginx_config} RETVAL=$? echo [ $RETVAL = 0 ] && touch /var/lock/subsys/nginx return $RETVAL } # Stop nginx daemons functions. # pid 地址需要修改 stop() { echo -n $"Stopping $prog: " killproc $nginxd RETVAL=$? echo [ $RETVAL = 0 ] && rm -f /var/lock/subsys/nginx /var/local/nginx/nginx.pid } # reload nginx service functions. reload() { echo -n $"Reloading $prog: " #kill -HUP `cat ${nginx_pid}` killproc $nginxd -HUP RETVAL=$? echo } # See how we were called. case "$1" in start) start ;; stop) stop ;; reload) reload ;; restart) stop start ;; status) status $prog RETVAL=$? ;; *) echo $"Usage: $prog {start|stop|restart|reload|status|help}" exit 1 esac exit $RETVAL ``` - 修改权限：`chmod 755 /etc/init.d/nginx` - 启动服务：`service nginx start` - 停止服务：`service nginx stop` - 重启服务：`service nginx restart` ## Nginx 无缝升级 - 使用新的参数`configure`后执行`make`重新编译,注意之后不要执行`make install`.新构建的Nginx会在`objs`目录下 - 备份旧的Nginx `cp 老的nginx目录/sbin/nginx 老的nginx目录/sbin/nginx.old` - 复制新的Nginx `cp ./objs/nginx 老的nginx目录/sbin/`,可能提示Nginx被占用,如果是则强制覆盖即可. - 检查下Makefile的更新指令 `cat Makefile`,检查下路径是否匹配,一般没什么问题毕竟是根据你的参数生成的文件. ```bash upgrade: /usr/local/nginx/sbin/nginx -t kill -USR2 `cat /var/local/nginx/nginx.pid` sleep 1 test -f /var/local/nginx/nginx.pid.oldbin kill -QUIT `cat /var/local/nginx/nginx.pid.oldbin` ``` - 更新 `make upgrade` ## 为 Nginx 添加 basic_auth ``` yum install httpd-tools htpasswd -c /opt/nginx-auth/passwd.db myusername，回车之后输入两次密码 server { ... location / { auth_basic "please input you user name and password"; auth_basic_user_file /opt/nginx-auth/passwd.db; .... } } ``` ## Nginx 全局变量 - $arg_PARAMETER #这个变量包含GET请求中，如果有变量PARAMETER时的值。 - $args #这个变量等于请求行中(GET请求)的参数，例如foo=123&bar=blahblah; - $binary_remote_addr #二进制的客户地址。 - $body_bytes_sent #响应时送出的body字节数数量。即使连接中断，这个数据也是精确的。 - $content_length #请求头中的Content-length字段。 - $content_type #请求头中的Content-Type字段。 - $cookie_COOKIE #cookie COOKIE变量的值 - $document_root #当前请求在root指令中指定的值。 - $document_uri #与$uri相同。 - $host #请求主机头字段，否则为服务器名称。 - $hostname #Set to the machine’s hostname as returned by gethostname - $http_HEADER - $is_args #如果有$args参数，这个变量等于”?”，否则等于”"，空值。 - $http_user_agent #客户端agent信息 - $http_cookie #客户端cookie信息 - $limit_rate #这个变量可以限制连接速率。 - $query_string #与$args相同。 - $request_body_file #客户端请求主体信息的临时文件名。 - $request_method #客户端请求的动作，通常为GET或POST。 - $remote_addr #客户端的IP地址。 - $remote_port #客户端的端口。 - $remote_user #已经经过Auth Basic Module验证的用户名。 - $request_completion #如果请求结束，设置为OK. 当请求未结束或如果该请求不是请求链串的最后一个时，为空(Empty)。 - $request_method #GET或POST - $request_filename #当前请求的文件路径，由root或alias指令与URI请求生成。 - $request_uri #包含请求参数的原始URI，不包含主机名，如：”/foo/bar.php?arg=baz”。不能修改。 - $scheme #HTTP方法（如http，https）。 - $server_protocol #请求使用的协议，通常是HTTP/1.0或HTTP/1.1。 - $server_addr #服务器地址，在完成一次系统调用后可以确定这个值。 - $server_name #服务器名称。 - $server_port #请求到达服务器的端口号。 - $uri #不带请求参数的当前URI，$uri不包含主机名，如”/foo/bar.html”。该值有可能和$request_uri 不一致。 - $request_uri是浏览器发过来的值。该值是rewrite后的值。例如做了internal redirects后。 ## Nginx 配置 - Nginx 默认配置文件：`vim /usr/local/nginx/conf/nginx.conf` ### Nginx 在 1.8.1 版本下的默认配置（去掉注释） ``` nginx user root;#我这里习惯使用 root，所以这里需要这样设置。如果你有为你的 nginx 专门配置一个用户，这里需要改为你的用户 worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; server { listen 80; server_name localhost; location / { root html; index index.html index.htm; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } } ``` ### HTTP 服务，虚拟主机 - 停止防火墙：`service iptables stop`，防止出现特别干扰 - 编辑默认的配置文件：`vim /usr/local/nginx/conf/nginx.conf` - 设置两个虚拟主机（通过**端口**来区分开） ``` nginx user root;#我这里习惯使用 root，所以这里需要这样设置。如果你有为你的 nginx 专门配置一个用户，这里需要改为你的用户 worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; # 一个 server 代表一个虚拟主机 server { listen 80; server_name localhost; location / { # 虚拟机根目录是 /usr/local/nginx/html 目录 root html; # 虚拟机首页是 /usr/local/nginx/html 目录下这两个文件 index index.html index.htm; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } server { # 第二个虚拟机的端口是 90，服务地址还是本地 listen 90; server_name localhost; location / { root html90; index index.html index.htm; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } } ``` - 设置两个虚拟主机（通过**域名**来区分开） ``` nginx user root;#我这里习惯使用 root，所以这里需要这样设置。如果你有为你的 nginx 专门配置一个用户，这里需要改为你的用户 worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; # 一个 server 代表一个虚拟主机 server { listen 80; # 两个虚拟主机都使用 80 端口，设置不同域名 server_name code.youmeek.com; location / { # 虚拟机根目录是 /usr/local/nginx/html 目录 root html; # 虚拟机首页是 /usr/local/nginx/html 目录下这两个文件 index index.html index.htm; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } server { listen 80; # 两个虚拟主机都使用 80 端口，设置不同域名 server_name i.youmeek.com; location / { root html-i; index index.html index.htm; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } } ``` ### 反向代理和负载均衡 - 最精简的环境：一台虚拟机 - 1 个 JDK - 1 个 Nginx - 2 个 Tomcat - Nginx 配置： ``` nginx user root;#我这里习惯使用 root，所以这里需要这样设置。如果你有为你的 nginx 专门配置一个用户，这里需要改为你的用户 worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; # 自己定义的两个 tomcat 请求地址和端口 # 也就是当浏览器请求：tomcat.youmeek.com 的时候从下面这两个 tomcat 中去找一个进行转发 upstream tomcatCluster { server 192.168.1.114:8080; server 192.168.1.114:8081; # 添加 weight 字段可以表示权重，值越高权重越大，默认值是 1，最大值官网没说，一般如果设置也就设置 3,5,7 这样的数 # 官网：https://www.nginx.com/resources/admin-guide/load-balancer/#weight # server 192.168.1.114:8080 weight=2; # server 192.168.1.114:8081 weight=1; } server { listen 80; server_name tomcat.youmeek.com; location / { proxy_pass http://tomcatCluster; index index.html index.htm; } } } ``` ### 配置 HTTPS 服务（SSL 证书配置） - 免费申请 SSL 证书渠道 - 教程： - SSL For Free： - 配置要点其实就是下面该图： - ![免费申请 SSL 证书渠道](../images/Nginx-SSL-a-1.jpg) - 一般你会下载下面两个文件：`certificate.crt`，`private.key` - 如果你需要把 crt 和 key 的证书转换成 keystore（如果你有这个需求的话） - 从 key 和 crt 生成 pkcs12 格式的 keystore，生成过程会让人你输入密码，这个密码下面会用到，我这里假设输入 123456 - `openssl pkcs12 -export -in certificate.crt -inkey private.key -out youmeek.p12 -name youmeek -CAfile certificate.crt -caname -chain` - `keytool -importkeystore -v -srckeystore youmeek.p12 -srcstoretype pkcs12 -srcstorepass 123456 -destkeystore youmeek.keystore -deststoretype jks -deststorepass 123456` - 修改 nginx 配置文件，增加对 HTTPS 支持（下面的配置是基于默认安装 nginx 后的配置） - `vim /usr/local/nginx/conf/nginx.conf` ``` worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; # 如果访问 http 也直接跳转到 https server { listen 80; server_name sso.youmeek.com; return 301 https://$server_name$request_uri; } # crt 和 key 文件的存放位置根据你自己存放位置进行修改 server { listen 443; server_name sso.youmeek.com; ssl on; ssl_certificate /opt/ssl/certificate.crt; ssl_certificate_key /opt/ssl/private.key; location / { root html; index index.html index.htm; } error_page 500 502 503 504 /50x.html; location = /50x.html { root html; } } } ``` - 最新版本的 Nginx SSL 配置 ``` listen 443 ssl; ssl_certificate /opt/jar/ssl/server.crt; ssl_certificate_key /opt/jar/ssl/server.key; ssl_session_timeout 5m; ssl_protocols TLSv1 TLSv1.1 TLSv1.2; ssl_ciphers ECDHE-RSA-AES128-GCM-SHA256:HIGH:!aNULL:!MD5:!RC4:!DHE; ssl_prefer_server_ciphers on; ``` ---------------------------------------------------------------------- ## Nginx 压力测试 - AB 测试工具安装：`yum install -y httpd-tools` - 使用： ``` ab -n 1000 -c 100 http://www.baidu.com/ -n 总的请求数 -c 单个时刻并发数 ``` - 压测结果： ``` This is ApacheBench, Version 2.3 <$Revision: 1430300 $> Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ Licensed to The Apache Software Foundation, http://www.apache.org/ Benchmarking juejin.im (be patient) Completed 100 requests Completed 200 requests Completed 300 requests Completed 400 requests Completed 500 requests Completed 600 requests Completed 700 requests Completed 800 requests Completed 900 requests Completed 1000 requests Finished 1000 requests Server Software: nginx Server Hostname: juejin.im Server Port: 443 SSL/TLS Protocol: TLSv1.2,ECDHE-RSA-AES256-GCM-SHA384,2048,256 Document Path: / Document Length: 271405 bytes Concurrency Level: 100（并发数：100） Time taken for tests: 120.042 seconds（一共用了 120 秒） Complete requests: 1000（总的请求数：1000） Failed requests: 0（失败的请求次数） Write errors: 0 Total transferred: 271948000 bytes HTML transferred: 271405000 bytes Requests per second: 8.33 [#/sec] (mean)（QPS 系统吞吐量，平均每秒请求数，计算公式 = 总请求数 / 总时间数） Time per request: 12004.215 [ms] (mean)（毫秒，平均每次并发 100 个请求的处理时间） Time per request: 120.042 [ms] (mean, across all concurrent requests)（毫秒，并发 100 下，平均每个请求处理时间） Transfer rate: 2212.34 [Kbytes/sec] received（平均每秒网络流量） Connection Times (ms) min mean[+/-sd] median max Connect: 57 159 253.6 77 1002 Processing: 1139 11570 2348.2 11199 36198 Waiting: 156 1398 959.4 1279 22698 Total: 1232 11730 2374.1 11300 36274 Percentage of the requests served within a certain time (ms) 50% 11300 66% 11562 75% 11863 80% 12159 90% 13148 95% 15814 98% 18882 99% 22255 100% 36274 (longest request) ``` ---------------------------------------------------------------------- ## Nginx 常规优化 #### 增加工作线程数和并发连接数 - 修改参数：`worker_processes 1;` - 该参数是指：nginx 要开启的工作进程数（worker process），默认是 1，一把你不需要修改。（除了工作进程，还有一种 master process 的概念） - 但是如果请求数比较多，一般推荐最大是修改成 CPU 的内核数等同的值，以增加能力。 - 修改 events 参数 ``` events { # 每一个进程可以打开的最大连接数（这个参数是受限制于系统参数的，默认是 1024）（进程数是上面 worker_processes 决定的） worker_connections 1024; # 可以一次建立多个连接 multi_accept on; # epoll 模式效率最高 use epoll; } ``` #### 启动长连接 ``` http { sendfile on; # 减少文件在应用和内核之间的拷贝 tcp_nopush on; # 当数据包达到一定大小再发送 keepalive_timeout 65; upstream tomcatCluster { server 192.168.1.114:8080; server 192.168.1.114:8081; keepalive 300; # 300 个长连接 } } ``` #### 启用缓存和压缩 ``` http { gzip on; gzip_buffers 8 16k; # 这个限制了nginx不能压缩大于128k的文件 gzip_min_length 512; # 单位byte gzip_disable "MSIE [1-6]\.(?!.*SV1)"; gzip_http_version 1.1; # 1.0 的版本可能会有问题 gzip_types text/plain text/css application/javascript application/x-javascript application/json application/xml; } ``` #### 操作系统优化（机器好点的时候） ###### 修改 sysctl 参数 - 修改配置文件：`vim /etc/sysctl.conf` ``` net.ipv4.tcp_fin_timeout = 10 #保持在FIN-WAIT-2状态的时间，使系统可以处理更多的连接。此参数值为整数，单位为秒。 net.ipv4.tcp_tw_reuse = 1 #开启重用，允许将TIME_WAIT socket用于新的TCP连接。默认为0，表示关闭。 net.ipv4.tcp_tw_recycle = 0 #开启TCP连接中TIME_WAIT socket的快速回收。默认值为0，表示关闭。 net.ipv4.tcp_syncookies = 1 #开启SYN cookie，出现SYN等待队列溢出时启用cookie处理，防范少量的SYN攻击。默认为0，表示关闭。 net.core.somaxconn = 1024 #定义了系统中每一个端口最大的监听队列的长度, 对于一个经常处理新连接的高负载 web服务环境来说，默认值为128，偏小。 ``` - 刷新 sysctl 配置：`sysctl -p` ###### 修改 limits 参数 - ElasticSearch 一般也是要修改该参数 - 修改配置文件：`vim /etc/security/limits.conf` ``` * soft nofile 262144 * hard nofile 262144 * soft core unlimited * soft stack 262144 ``` ---------------------------------------------------------------------- ## Nginx 监控模块 - 如果你需要监控 nginx 情况可以安装的加入这个模块 http_stub_status_module： ``` ini ./configure \ --prefix=/usr/local/nginx \ --pid-path=/var/local/nginx/nginx.pid \ --lock-path=/var/lock/nginx/nginx.lock \ --error-log-path=/var/log/nginx/error.log \ --http-log-path=/var/log/nginx/access.log \ --with-http_gzip_static_module \ --http-client-body-temp-path=/var/temp/nginx/client \ --http-proxy-temp-path=/var/temp/nginx/proxy \ --http-fastcgi-temp-path=/var/temp/nginx/fastcgi \ --http-uwsgi-temp-path=/var/temp/nginx/uwsgi \ --with-http_ssl_module \ --http-scgi-temp-path=/var/temp/nginx/scgi \ --with-http_stub_status_module ``` - 然后在 nginx.conf 文件的 location 区域增加：stub_status on; ```ini location /nginx_status { allow 127.0.0.1; deny all; stub_status on; access_log off; } ``` - 当你访问：http://127.0.0.1/nginx_status，会得到类似下面的结果 - 其中配置的 `allow 127.0.0.1;` 表示只允许本机访问：http://127.0.0.1/nginx_status 才能看到 - 所以我们也可以通过 curl 访问本机看到结果，不一定要对外开放。 - `deny all;` 除了被允许的，其他所有人都不可以访问 ``` Active connections: 1 server accepts handled requests 3 6 9 Reading: 0 Writing: 5 Waiting: 0 ``` - Active connections: 当前活动连接数，包含 waiting 的连接（最常需要看的就是这个参数） - Server accepts handled requests: Nginx总共处理了 3 个连接,成功创建 6 次握手(证明中间没有失败的),总共处理了 9 个请求. - Reading: Nginx 读取到客户端的 Header 信息数，如果很大，说明现在很多请求正在过来 - Writing: Nginx 返回给客户端的 Header 信息数，如果很大，说明现在又很多请求正在响应 - Waiting: 开启keep-alive的情况下,这个值等于 active – (reading + writing),意思就是 Nginx 已经处理完成,正在等候下一次请求指令的驻留连接. - 所以,在访问效率高,请求很快被处理完毕的情况下,Waiting数比较多是正常的。**如果reading + writing数较多,则说明并发访问量非常大,正在处理过程中** ## Nginx 配置文件常用配置积累 ### location 配置 ``` nginx = 开头表示精确匹配 ^~ 开头表示uri以某个常规字符串开头，不是正则匹配 ~ 开头表示区分大小写的正则匹配; ~* 开头表示不区分大小写的正则匹配 / 通用匹配, 如果没有其它匹配,任何请求都会匹配到 location / { } location /user { } location = /user { } location /user/ { } location ^~ /user/ { } location /user/youmeek { } location ~ /user/youmeek { } location ~ ^(/cas/|/casclient1/|/casclient2/|/casclient3/) { } location ~ .*\.(gif|jpg|jpeg|png|bmp|swf|ico|woff|woff2|ttf|eot|txt)$ { } location ~ .*$ { } ``` ### 链接 aa 下，查询参数包含 bb - 这里必须使用：IF，但是 IF 是不被推荐的：[If Is Evil](https://www.nginx.com/resources/wiki/start/topics/depth/ifisevil/) ``` location /aa/ { if ( $args ~* '(.*bb.*)' ) { return 601; } } ``` ``` location /aa/ { if ($args ~ tag=bb){ return 601; } } ``` ------------------------------------------------------------------- ### HTTP 服务，绑定多个域名 - ### 安装第三方模块 ### 生成规格图 ### 启用 Gzip 压缩 ### 防盗链 - ### Nginx 禁止特定用户代理（User Agents）访问，静止指定 IP 访问 - - - <> - <> - <> ### Nginx 缓存 ### Nginx 自动分割日志文件 - 在 [Tomcat 安装和配置、优化](Tomcat-Install-And-Settings.md) 文章已经使用了 cronolog，这里也借用 cronolog 来实现分割。具体安装看文章。 - 创建目录：`mkdir -p /data/nginx/log/logs` - 创建命名管道：`mkfifo /data/nginx/log/access_log.log` - 配置 cronolog（按天）：`nohup cat /data/nginx/log/access_log.log | /usr/sbin/cronolog /data/nginx/log/logs/access-%Y-%m-%d.log &` - 配置 cronolog（按月）：`nohup cat /data/nginx/log/access_log.log | /usr/sbin/cronolog /data/nginx/log/logs/access-%Y-%m.log &` - 编辑 nginx 配置文件，配置 log 位置：`access_log /data/nginx/log/access_log.log;` - 重启 nginx，最终可以在 /data/nginx/log/logs 目录下看到生成的 log ### Nginx 处理跨域请求 ### 安全相预防 在配置文件中设置自定义缓存以限制缓冲区溢出攻击的可能性 client_body_buffer_size 1K; client_header_buffer_size 1k; client_max_body_size 1k; large_client_header_buffers 2 1k; 7. 将timeout设低来防止DOS攻击 所有这些声明都可以放到主配置文件中。 client_body_timeout 10; client_header_timeout 10; keepalive_timeout 5 5; send_timeout 10; 8. 限制用户连接数来预防DOS攻击 limit_zone slimits $binary_remote_addr 5m; limit_conn slimits 5; ## 使用 logrotate 做 nginx 日志轮询分割 - 前提： - 我 nginx 的成功日志路径：/var/log/nginx/access.log - 我 nginx 的错误日志路径：/var/log/nginx/error.log - pid 路径：/var/local/nginx/nginx.pid - 一般情况 CentOS 是装有：logrotate，你可以检查下：`rpm -ql logrotate`，如果有相应结果，则表示你也装了。 - logrotate 配置文件一般在： - 全局配置：/etc/logrotate.conf 通用配置文件，可以定义全局默认使用的选项。 - 自定义配置，放在这个目录下的都算是：/etc/logrotate.d/ - 针对 nginx 创建自定义的配置文件：`vim /etc/logrotate.d/nginx` - 文件内容如下： ``` ini /var/log/nginx/access.log /var/log/nginx/error.log { create 644 root root notifempty daily rotate 15 missingok dateext sharedscripts postrotate if [ -f /var/local/nginx/nginx.pid ]; then kill -USR1 `cat /var/local/nginx/nginx.pid` fi endscript } ``` - /var/log/nginx/access.log /var/log/nginx/error.log：多个文件用空格隔开，也可以用匹配符：/var/log/nginx/*.log - notifempty：如果是空文件的话，不转储 - create 644 root root：create mode owner group 转储文件，使用指定的文件模式创建新的日志文件 - 调用频率，有：daily，weekly，monthly可选 - rotate 15：一次将存储15个归档日志。对于第16个归档，时间最久的归档将被删除。 - sharedscripts：所有的日志文件都轮转完毕后统一执行一次脚本 - missingok：如果日志文件丢失，不报错继续执行下一个 - dateext：文件后缀是日期格式,也就是切割后文件是:xxx.log-20131216.gz 这样,如果注释掉,切割出来是按数字递增,即前面说的 xxx.log-1 这种格式 - postrotate：执行命令的开始标志 - endscripthttp:执行命令的结束标志 - if 判断的意思不是中止Nginx的进程，而是传递给它信号重新生成日志，如果nginx没启动不做操作 - 更多参数可以看： - 手动执行测试：`/usr/sbin/logrotate -vf /etc/logrotate.d/nginx` - 参数：‘-f’选项来强制logrotate轮循日志文件，‘-v’参数提供了详细的输出。 - 验证是否手动执行成功，查看 cron 的日志即可：`grep logrotate /var/log/cron` - 设置 crontab 定时任务：`vim /etc/crontab`，添加下面内容： ``` ini //每天02点10分执行一次 10 02 * * * /usr/sbin/logrotate -f /etc/logrotate.d/nginx ``` ### 杂七杂八 - [nginx实现简体繁体字互转以及中文转拼音](https://www.ttlsa.com/nginx/nginx-modules-ngx_set_cconv/) - [nginx记录分析网站响应慢的请求(ngx_http_log_request_speed)](https://www.ttlsa.com/nginx/nginx-modules-ngx_http_log_request_speed/) - [nginx空白图片(empty_gif模块)](https://www.ttlsa.com/nginx/nginx-modules-empty_gif/) ## 资料 - - - - - ================================================ FILE: markdown-file/Nginx-Keepalived-Install-And-Settings.md ================================================ # Nginx + Keepalived 高可用 ## 说明 - 高可用 HA（High Availability），简单讲就是：我某个应用挂了，自动有另外应用起来接着扛着，致使整个服务对外来看是没有中断过的。这里的重点就是不中断，致使公司整个业务能不断进行中，把影响减到最小，赚得更多。 - 因为要不中断，所以我们就需要用到了 Keepalived。Keepalived 一般不会单独使用，基本都是跟负载均衡软件（LVS、HAProxy、Nginx）一起工作来达到集群的高可用效果。 - Keepalived 有双主、主备方案 - 常用词： - 心跳：Master 会主动给 Backup 发送心跳检测包以及对外的网络功能，而 Backup 负责接收 Master 的心跳检测包，随时准备接管主机。为什么叫心跳不知道，但是挺形象的，心跳同步。 - 选举：Keepalived 配置的时候可以指定各台主机优先级，Master 挂了，各台 Backup 要选举出一个新的 Master。 - Keepalived - 官网： - 官网下载： - 官网文档： ## 搭建 - 软件版本： - Nginx：**1.8.1** - Keepalived：**1.2.20** - JDK：**8u72** - Tomcat：**8.0.32** - 部署环境（下文中以第几台来代表这些主机）： - 虚拟 IP（VIP）：192.168.1.50 - 第一台主机：Nginx 1 + Keepalived 1 == 192.168.1.120（Master） - 第二台主机：Nginx 2 + Keepalived 2 == 192.168.1.121（Backup） - 第三台主机：Tomcat 1 == 192.168.1.122（Web 1） - 第四台主机：Tomcat 2 == 192.168.1.123（Web 2） - 所有机子进行时间校准：[NTP（Network Time Protocol）介绍](NTP.md) - 第三、第四台主机部署： - JDK 的安装：[JDK 安装](JDK-Install.md) - Tomcat 的安装：[Tomcat 安装和配置、优化](Tomcat-Install-And-Settings.md) - 第一、二台主机部署（两台部署内容一样）： - Nginx 的安装：[Nginx 安装和配置](Nginx-Install-And-Settings.md) - 添加虚拟 IP： - 复制一个网卡信息：`sudo cp /etc/sysconfig/network-scripts/ifcfg-eth0 /etc/sysconfig/network-scripts/ifcfg-eth0:0` - 编辑配置文件：`sudo vim /etc/sysconfig/network-scripts/ifcfg-eth0:0` - 修改内容为如下信息： ``` nginx DEVICE=eth0:0 >>> 这个需要修改 TYPE=Ethernet UUID=8ddbb256-caab-4ddf-8e9a-6527b4ac5a26 ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=none IPADDR=192.168.1.50 >>> 这个需要修改 PREFIX=24 GATEWAY=192.168.1.1 DNS1=101.226.4.6 DEFROUTE=yes IPV4_FAILURE_FATAL=yes IPV6INIT=no NAME="System eth0:0" >>> 这个需要修改 HWADDR=00:0c:29:f4:17:db LAST_CONNECT=1460213205 ``` - 重启网卡服务：`service network restart` - 如果你要绑定更多虚拟 IP，则多复制几个网卡配置出来，命名如下：ifcfg-eth0:0，ifcfg-eth0:1，ifcfg-eth0:2 ...... - Keepalived 开始安装 - 安装依赖：`sudo yum install -y gcc openssl-devel popt-devel` - 解压包：`cd /opt/setups/ ; tar zxvf keepalived-1.2.20.tar.gz` - 编译：`cd /opt/setups/keepalived-1.2.20 ; ./configure --prefix=/usr/program/keepalived` - 编译安装：`make && make install` - Keepalived 设置服务和随机启动 - 复制配置文件到启动脚本目录：`cp /usr/program/keepalived/etc/rc.d/init.d/keepalived /etc/init.d/keepalived` - 增加权限：`chmod +x /etc/init.d/keepalived` - 编辑配置文件：`vim /etc/init.d/keepalived` ``` nginx 把 15 行的：. /etc/sysconfig/keepalived，改为： . /usr/program/keepalived/etc/sysconfig/keepalived（注意：前面有一个点和空格需要注意） ``` - 添加环境变量：`vim /etc/profile` ``` nginx # Keepalived 配置 KEEPALIVED_HOME=/usr/program/keepalived PATH=$PATH:$KEEPALIVED_HOME/sbin export KEEPALIVED_HOME export PATH ``` - 刷新环境变量：`source /etc/profile` - 检测环境变量：`keepalived -v` - `ln -s /usr/program/keepalived/sbin/keepalived /usr/sbin/` - `vim /usr/program/keepalived/etc/sysconfig/keepalived` ``` nginx 把 14 行的：KEEPALIVED_OPTIONS="-D"，改为： KEEPALIVED_OPTIONS="-D -f /usr/program/keepalived/etc/keepalived/keepalived.conf" ``` - 加入随机启动：`chkconfig keepalived on` - 第一、二台主机配置（两台在 Keepalived 配置上稍微有不一样）： - 健康监测脚本（我个人放在：/opt/bash 目录下）：[nginx_check.sh](Keepalived-Settings/nginx_check.sh) - 健康监测脚本添加执行权限：`chmod 755 /opt/bash/nginx_check.sh` - 运行监测脚本，看下是否有问题：`sh /opt/bash/nginx_check.sh`，如果没有报错，则表示改脚本没有问题 - 这个脚本很重要，如果脚本没法用，在启用 Keepalived 的时候可能会报：`Keepalived_vrrp[5684]: pid 5959 exited with status 1` - nginx 配置（两台一样配置）： ``` nginx worker_processes 1; events { worker_connections 1024; } http { include mime.types; default_type application/octet-stream; sendfile on; keepalive_timeout 65; # （重点） upstream tomcatCluster { server 192.168.1.122:8080 weight=1; server 192.168.1.123:8080 weight=1; } # （重点） server { listen 80; server_name 192.168.1.50; location / { proxy_pass http://tomcatCluster; index index.html index.htm; } } } ``` - Keepalived 配置文件编辑（第一、二台配置稍微不同，不同点具体看下面重点说明） - 编辑：`vim /usr/program/keepalived/etc/keepalived/keepalived.conf` ``` nginx ! Configuration File for keepalived # 全局配置 global_defs { # 邮箱通知配置，keepalived 在发生切换时需要发送 email 到的对象，一行一个 notification_email { #acassen@firewall.loc #failover@firewall.loc #sysadmin@firewall.loc } # 指定发件人 #notification_email_from Alexandre.Cassen@firewall.loc # 指定smtp服务器地址 #smtp_server 192.168.200.1 # 指定smtp连接超时时间，单位秒 #smtp_connect_timeout 30 router_id LVS_DEVEL vrrp_skip_check_adv_addr vrrp_strict } # （重点）脚本监控实现 vrrp_script check_nginx { # 运行脚本 script "/opt/bash/nginx_check.sh" # 时间间隔，2秒 interval 2 # 权重 weight 2 } vrrp_instance VI_1 { # （重点）Backup 机子这里是设置为：BACKUP state MASTER interface eth0 virtual_router_id 51 # （重点）Backup 机子要小于当前 Master 设置的 100，建议设置为 99 priority 100 # Master 与 Backup 负载均衡器之间同步检查的时间间隔，单位是秒 advert_int 1 authentication { auth_type PASS auth_pass 1111 } # （重点）配置虚拟 IP 地址，如果有多个则一行一个 virtual_ipaddress { 192.168.1.50 } # （重点）脚本监控调用 track_script { check_nginx } } ``` ### 启动各自服务 - 四台机子都停掉防火墙：`service iptables stop` - 先启动两台 Tomcat：`sh /usr/program/tomcat8/bin/startup.sh ; tail -200f /usr/program/tomcat8/logs/catalina.out` - 检查两台 Tomcat 是否可以单独访问，最好给首页加上不同标识，好方便等下确认是否有负载 - `http://192.168.1.122:8080` - `http://192.168.1.123:8080` - 启动两台 Nginx 服务：`/usr/local/nginx/sbin/nginx` - 启动两台 Keepalived 服务：`service keepalived start` - 查看 Master 和 Backup 两台主机的对应日志：`tail -f /var/log/messages` ### 高可用测试 - 模拟 Keepalived 挂掉 - 关闭 Master 主机的 Keepalived，查看 Master 和 Backup 两台主机的对应日志：`tail -f /var/log/messages` - 关闭服务：`service keepalived stop` - 如果第二台机接管了，则表示成功 - 重新开启 Master 主机的 Keepalived，查看 Master 和 Backup 两台主机的对应日志：`tail -f /var/log/messages` - 重启服务：`service keepalived restart` - 如果第一台机重新接管了，则表示成功 - 模拟 Nginx 挂掉 - 关闭 Master 主机的 Nginx，查看 Master 和 Backup 两台主机的对应日志：`tail -f /var/log/messages` - 关闭服务：`/usr/local/nginx/sbin/nginx -s stop` - 如果第二台机接管了，则表示成功 - 重新开启 Master 主机的 Nginx，查看 Master 和 Backup 两台主机的对应日志：`tail -f /var/log/messages` - 重启 Nginx 服务：`/usr/local/nginx/sbin/nginx -s reload` - 重启 Keepalived 服务：`service keepalived restart` - 如果第一台机重新接管了，则表示成功 - 可以优化的地方，改为双主热备，监控脚本上带有自启动相关细节，后续再进行。 - 日志中常用的几句话解释： - `Entering to MASTER STATE`，变成 Master 状态 - `Netlink reflector reports IP 192.168.1.50 added`，一般变为 Master 状态，都要重新加入虚拟 IP，一般叫法叫做：虚拟 IP 重新漂移到 Master 机子上 - `Entering BACKUP STATE`，变成 Backup 状态 - `Netlink reflector reports IP 192.168.1.50 removed`，一般变为 Backup 状态，都要移出虚拟 IP，一般叫法叫做：虚拟 IP 重新漂移到 Master 机子上 - `VRRP_Script(check_nginx) succeeded`，监控脚本执行成功 ## 资料 - - - - ================================================ FILE: markdown-file/Nmon.md ================================================ # nmon 系统性能监控工具的使用 ## nmon 说明 - 官网： - 分析工具 nmon analyser： - > nmon是一种在AIX与各种Linux操作系统上广泛使用的监控与分析工具， nmon所记录的信息是比较全面的，它能在系统运行过程中实时地捕捉系统资源的使用情况，并且能输出结果到文件中。 ## 下载/安装 - Ubuntu：`sudo apt-get install -y nmon` - CentOS：`sudo yum install -y nmon`，前提是你已经有安装 epel 源 - 或者使用 RPM 包： - 安装命令：`rpm -ivh nmon-14i-8.el6.x86_64.rpm` - 分析工具 nmon analyser： ## 运行 - 实时监控：`nmon` - 后台监控：`cd /opt ; nmon -f -s 10 -c 360` - 前面的 cd /opt 表示，进入 opt 目录，nmon 生成的文件是在当前目录下。 - -f ：按标准格式输出文件名称：_YYYYMMDD_HHMM.nmon - -s ：每隔n秒抽样一次，这里为10秒 - -c ：取出多少个抽样数量，这里为360，即监控=10*360/3600=1小时 - 该命令启动后，nmon 会在当前目录下生成监控文件，并持续写入资源数据，直至360个监控点收集完成——即监控1小时，这些操作均自动完成，无需手工干预，测试人员可以继续完成其他操作。如果想停止该监控，需要通过 `ps -ef | grep nmon` 查询进程号，然后杀掉该进程以停止监控。 - 定期监控：本质是 crontab 加上后台监控命令 ## 解析监控文件 - 把 nmon 文件转换成 csv 文件：`sort localhost_120427_0922.nmon > localhost_120427_0922.csv` - 把 csv 转换成 Excel 图表文件： - 打开 nmon analyser 分析工具：nmon analyser v50_2.xlsm - 点击 Analyse nmon data 会弹出一个弹出框，选择刚刚转换的 csv 文件，然后就会自动再转化成 excel 文件 - 导出的综合报表的参数说明： ## 资料 - [Nmon命令行：Linux系统性能的监测利器](http://os.51cto.com/art/201406/442795.htm) - [性能监控和分析工具--nmon](http://kumu1988.blog.51cto.com/4075018/1086256) - [nmon以及nmon analyser 教程](http://www.xuebuyuan.com/1439800.html) ================================================ FILE: markdown-file/Node-Install-And-Usage.md ================================================ # Node 安装和配置 ## Node 安装 - 官网： - 官网下载： - 历史版本下载： - 此时（20171212） Maven 最新版本为：**8.9.3 (includes npm 5.5.1)** - 官网安装教程： - 官网 CentOS 系统下的安装教程： - 官网文档复制过来就是： ``` 如果你是要安装 node 8 系列，下载这个 yum 源 curl --silent --location https://rpm.nodesource.com/setup_8.x | sudo bash - 如果你是要安装 node 9 系列，下载这个 yum 源 curl --silent --location https://rpm.nodesource.com/setup_9.x | sudo bash - 然后通过 yum 开始安装（软件大小：51M 左右） sudo yum -y install nodejs ``` - 验证：`node -v` - 注意:因为网络原因，最好先把脚本下载到本地，再用代理进行安装 ## nrm 快速切换 NPM 源 - 安装：`npm install -g nrm` - 列表源：`nrm ls` - 使用源：`nrm use taobao` - 更多使用方法： ================================================ FILE: markdown-file/Off-line-Yum-Install.md ================================================ # Yum 下载安装包及对应依赖包 ------ ## 安装 - 安装该软件：`yum install -y yum-plugin-downloadonly` - 以下载 openssh-server 为例： - `yum install -y openssh-server --downloadonly --downloaddir=/opt/ssh` - 在 /opt/ssh 目录下有如下内容： ``` nginx -rw-r--r--. 1 root root 280524 Aug 13 2015 openssh-5.3p1-112.el6_7.x86_64.rpm -rw-r--r--. 1 root root 448872 Aug 13 2015 openssh-clients-5.3p1-112.el6_7.x86_64.rpm -rw-r--r--. 1 root root 331544 Aug 13 2015 openssh-server-5.3p1-112.el6_7.x86_64.rpm ``` - 安装下载的 rpm 文件：`sudo rpm -ivh *.rpm` - 利用 yum 安装 rpm 文件，并自动满足依赖的 rpm 文件：`sudo yum localinstall *.rpm` ## 资料 - ================================================ FILE: markdown-file/Openfire-Install-And-Settings.md ================================================ # Openfire 安装和配置 ## 本机环境 - 系统：CentOS 6.7 64 位 - JDK 1.7 64 位 - MySQL 5.6 ## Openfire 说明 - 官网： - 官网下载： - 官网插件列表： - 官网文档： - 官网安装手册： - 官网安装手册-中文翻译版本： - 官网数据库部署手册： - javadoc 文档： - 连接管理工具（上千用户的时候用）： ## 下载 - 官网下载： - 当前最新版本：**4.0.2**，下载文件：`openfire-4.0.2-1.i386.rpm` ## 安装 MySQL、JDK - [MySQL 安装和配置](Mysql-Install-And-Settings.md) - [JDK 安装](JDK-Install.md) ## 安装 Openfire - 要求：JDK 1.7 或以上，我这里使用 1.7 - CentOS 系列（Red Hat、Fedora）官网推荐安装 RPM 文件，因为有一些相关环境他们帮我们考虑了 - 安装命令：`rpm -ivh openfire-4.0.2-1.i386.rpm` - Openfire 默认给我们生成安装目录：**/opt/openfire** - 修改 JDK VM 参数：`vim /etc/sysconfig/openfire`，找到 23 行，打开 OPENFIRE_OPTS 删除这一行注释，分配多少 VM 你根据自己的机子来配置。 - 初始化数据库： - 请确保数据库是运行状态 - 默认的初始化数据库脚本在（其他数据库类型的脚本也在这个目录下）：**/opt/openfire/resources/database/openfire_mysql.sql** - 进入 MySQL 命令行状态：`mysql -u root -p` - 创建数据库并授权：`create database `openfire` character set utf8;grant all privileges on openfire.* to 'root'@'%';flush privileges;` - **退出** MySQL 命令行模式，**在终端命令状态下**，执行：`sudo mysql -u root -p openfire < /opt/openfire/resources/database/openfire_mysql.sql` - 先停掉防火墙：`service iptables stop` - 启动：`/etc/init.d/openfire start` - 查看进程：`ps aux | grep openfire` - 停止：`/etc/init.d/openfire stop` - 重启：`/etc/init.d/openfire restart` ## 配置 - 访问 Web 管理界面：`http://192.168.1.113:9090` - 开始向导配置 Openfire 具体步骤看下列一系列图： - 需要注意的是：在配置数据库 URL 需要特别注意的是需要加入编码设置（你可以按我的这个链接来，但是 IP 和数据库名你自己修改）： - `jdbc:mysql://192.168.1.113:3306/openfire?rewriteBatchedStatements=true&useUnicode=true&characterEncoding=UTF-8&characterSetResults=UTF-8` - 如果连接不了数据库，可以看错误日志：`cat /opt/openfire/logs/error.log` - ![设置](../images/Openfire-Settings-a-1.jpg) - ![设置](../images/Openfire-Settings-a-2.jpg) - ![设置](../images/Openfire-Settings-a-3.jpg) - ![设置](../images/Openfire-Settings-a-4.jpg) - ![设置](../images/Openfire-Settings-a-5.jpg) - ![设置](../images/Openfire-Settings-a-6.jpg) - ![设置](../images/Openfire-Settings-a-7.jpg) - ![设置](../images/Openfire-Settings-a-8.jpg) - ![设置](../images/Openfire-Settings-a-9.jpg) ## 使用 Spark 客户端 - Spark 是一个类似 QQ 的 IM 软件，只是功能比较简单。 - 官网下载： - 官网 Windows 下有两个版本： - **spark_2_7_7.exe** Offline installation, includes Java JRE (推荐安装这个，即使你有本机已经有了 JDK 环境) - **spark_2_7_7_online.exe** Online installation, does not include Java JRE - 安装完 Spark，启动软件，更玩 QQ 一样道理，具体看下图。你可以用 Spark 登录 Admin 账号。 - ![设置](../images/Openfire-Settings-a-11.jpg) - ![设置](../images/Openfire-Settings-a-12.jpg) - 现在访问 Web 管理界面，给所有在线的会员发个消息，如果你的 Spark 可以收到消息，那就说明整个环境是通的。 - ![设置](../images/Openfire-Settings-a-10.jpg) - ![设置](../images/Openfire-Settings-a-13.jpg) ================================================ FILE: markdown-file/PXC-Install-And-Settings.md ================================================ # Percona XtraDB Cluster（PXC）安装和配置 ## PXC 主要特点 - 主要特点：强一致性（比较适合比较注重事务的场景） - 采用同步复制，事务在所有节点中要嘛是同时提交成功，要嘛不提交，让写入失败 - 所以，整个集群的写入吞吐量是由最弱的节点限制，如果有一个节点变配置较差，整体质量就是差的 - 数据同步是双向的，任何节点是从，也是主，都可以进行写入 - 一般推荐至少 3 个节点 ## 官网资料 - 官网介绍： - 官网下载： ## Docker 方式安装 - Docker 官方仓库： - 下载镜像：`docker pull percona/percona-xtradb-cluster` - 创建需要挂载的目录：`mkdir -p /data/docker/pxc/node1/mysql /data/docker/pxc/node2/mysql /data/docker/pxc/node3/mysql` - 创建需要挂载的目录：`mkdir -p /data/docker/pxc/node1/backup` - 赋权：`chmod 777 -R /data/docker/pxc` - 创建 Docker 网段：`docker network create --subnet=172.18.0.0/24 pxc-net` - 启动镜像： ``` # 初次初始化比较慢，给个 2 分钟左右吧，同时这个节点也用来做全量备份 docker run -d -p 3307:3306 -v /data/docker/pxc/node1/mysql:/var/lib/mysql -v /data/docker/pxc/node1/backup:/data/backup -e MYSQL_ROOT_PASSWORD=gitnavi123456 -e CLUSTER_NAME=pxc-cluster -e XTRABACKUP_PASSWORD=gitnavi123456 --privileged --name=pxc-node-1 --net=pxc-net --ip 172.18.0.2 percona/percona-xtradb-cluster ``` - 使用 SQLyog 测试是否可以连上去，可以才能继续创建其他节点。 - 连接地址是宿主机 IP，端口是：3307 ``` docker run -d -p 3308:3306 -v /data/docker/pxc/node2/mysql:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=gitnavi123456 -e CLUSTER_NAME=pxc-cluster -e XTRABACKUP_PASSWORD=gitnavi123456 -e CLUSTER_JOIN=pxc-node-1 --privileged --name=pxc-node-2 --net=pxc-net --ip 172.18.0.3 percona/percona-xtradb-cluster docker run -d -p 3309:3306 -v /data/docker/pxc/node3/mysql:/var/lib/mysql -e MYSQL_ROOT_PASSWORD=gitnavi123456 -e CLUSTER_NAME=pxc-cluster -e XTRABACKUP_PASSWORD=gitnavi123456 -e CLUSTER_JOIN=pxc-node-1 --privileged --name=pxc-node-3 --net=pxc-net --ip 172.18.0.4 percona/percona-xtradb-cluster ``` - 测试集群 - 用 SQLyog 连上 3 个节点，随便找一个节点创建库，其他几个节点会同时产生库。以此类推，创建表、插入数据，然后查看其他库情况。 ## 负载均衡 - 因为 PXC 是同步是双向的，都支持读写，所以就可以考虑使用负载均衡实现流量分发 - 使用使用 HAProxy（支持 HTTP 协议、TCP/IP 协议，并且支持虚拟化，可以直接用 Docker 安装） - 创建需要挂载的目录：`mkdir -p /data/docker/haproxy/conf` - 赋权：`chmod 777 -R /data/docker/haproxy` - 创建一个用于 MySQL 心跳检测的用户： - 连上 PXC 任意一个数据库：`CREATE USER 'haproxy'@'%' IDENTIFIED BY '';` - 创建配置文件：`vim /data/docker/haproxy/conf/haproxy.cfg` ``` global #工作目录 chroot /usr/local/etc/haproxy #日志文件，使用rsyslog服务中local5日志设备（/var/log/local5），等级info log 127.0.0.1 local5 info #守护进程运行 daemon defaults log global mode http #日志格式 option httplog #日志中不记录负载均衡的心跳检测记录 option dontlognull #连接超时（毫秒） timeout connect 5000 #客户端超时（毫秒） timeout client 50000 #服务器超时（毫秒） timeout server 50000 #监控界面 listen admin_stats #监控界面的访问的IP和端口 bind 0.0.0.0:8118 #访问协议 mode http # URI 相对地址（访问 haproxy 监控地址：http://192.168.0.105:8118/dbs） stats uri /dbs #统计报告格式 stats realm Global\ statistics #登陆帐户信息（登录名 admin，密码：gitnavi123456） stats auth admin:gitnavi123456 #数据库负载均衡 listen proxy-mysql #访问的IP和端口 bind 0.0.0.0:3316 #网络协议 mode tcp #负载均衡算法（轮询算法） #轮询算法：roundrobin #权重算法：static-rr #最少连接算法：leastconn #请求源IP算法：source balance roundrobin #日志格式 option tcplog #在 MySQL 中创建一个没有权限的 haproxy 用户，密码为空。Haproxy 使用这个账户对MySQL数据库心跳检测 option mysql-check user haproxy #这里填写的端口是 docker 容器的端口，而不是宿主机端口 server MySQL_1 172.18.0.2:3306 check weight 1 maxconn 2000 server MySQL_2 172.18.0.3:3306 check weight 1 maxconn 2000 server MySQL_3 172.18.0.4:3306 check weight 1 maxconn 2000 #使用keepalive检测死链 option tcpka ``` - 官网 Docker 镜像： - 运行容器：`docker run -it -d -p 4001:8118 -p 4002:3316 -v /data/docker/haproxy/conf:/usr/local/etc/haproxy --name pxc-haproxy-1 --privileged --net=pxc-net haproxy -f /usr/local/etc/haproxy/haproxy.cfg` - 浏览器访问： - 输入：`admin` - 输入：`gitnavi123456` - 可以看到 HAProxy 监控界面 - SQLyog 连接 - IP：`192.168.0.105` - 端口：`4002` - 用户：`root` - 密码：`gitnavi123456` - 然后在上面创建对应的数据，如果所有节点都有对应的数据，则表示部署成功 ## XtraBackup 热备份 - XtraBackup 备份过程不锁表 - XtraBackup 备份过程不会打断正在执行的事务 - XtraBackup 备份资料经过压缩，磁盘空间占用低 #### 全量备份 - 容器内安装 XtraBackup，并执行备份语句 ``` apt-get update apt-get install -y percona-xtrabackup-24 # 全量备份，备份到 docker 容器的 /data 目录下： innobackupex --user=root --password=gitnavi123456 /data/backup/full/201806 ``` #### 还原全量备份 - PXC 还原数据的时候，必须解散集群，删除掉只剩下一个节点，同时删除节点中的数据 - 进入容器：`rm -rf /var/lib/mysql/*` - 回滚备份时没有提交的事务：`innobackupex --user=root --password=gitnavi123456 --apply-back /data/backup/full/2018-04-15_05-09-07/` - 还原数据：`innobackupex --user=root --password=gitnavi123456 --copy-back /data/backup/full/2018-04-15_05-09-07/` #### 增量备份（未整理） ## 资料 - - - - - <> - <> - <> ================================================ FILE: markdown-file/Portainer-Install-And-Settings.md ================================================ # Portainer 安装和配置、优化 ## 介绍 - 官网： - 官网 GitHub： - 官网文档： ## 安装 - 创建文件夹：`mkdir -p /data/docker/portainer` - 赋权：`chmod -R 777 /data/docker/portainer` - 创建文件：`vim docker-compose.yml` ``` version: '3' services: portainer: container_name: portainer image: portainer/portainer volumes: - /data/docker/portainer:/data - /var/run/docker.sock:/var/run/docker.sock ports: - "9000:9000" ``` - 启动：`docker-compose up -d` - 该容器占用内存非常非常小，只有 5 M 左右。 ## 对本地监控配置 - 因为 Portainer 镜像构建的时候已经配置了：`/var/run/docker.sock:/var/run/docker.sock`，所以对于跟 Portainer 同一台机子的其他容器都可以被直接监控 - 浏览器访问访问：`http://192.168.1.2:9000` - 第一次启动会让你创建用户名和密码。第二步就是配置管理哪里的 docker 容器，我这里选择：local ## 远程监控配置 - **以下方法为了方便，没有做任何安全措施，请用于内网** - 关掉防火墙 - 修改远程 Docker 配置：`vim /usr/lib/systemd/system/docker.service` ``` 旧值： ExecStart=/usr/bin/dockerd 新值： ExecStart=/usr/bin/dockerd -H tcp://0.0.0.0:2375 -H unix://var/run/docker.sock ``` - 重启 Docker：`systemctl daemon-reload && systemctl reload docker && systemctl restart docker` - Portainer 启动选择 Remote，填写远程 IP 和端口，比如：`192.168.1.3:2375` ## 资料 - [Portainer 容器管理](https://blog.mallux.me/2017/04/13/portainer/) ================================================ FILE: markdown-file/PostgreSQL-Install-And-Settings.md ================================================ # PostgreSQL 安装和配置 ## 官网 - 官网： - 201906 最新版本 - 12 beat - 11 release - 官网 Docker hub： ## Docker 安装 PostgreSQL（带挂载） ``` docker run \ -d \ --name pgsql \ -p 5432:5432 \ -e POSTGRES_USER=adg_user \ -e POSTGRES_PASSWORD=adg123456 \ -v ~/docker_data/pgsql/data:/var/lib/postgresql/data \ postgres:11 ``` - 连上容器：`docker exec -it pgsql /bin/bash` - 连上 PostgreSQL：`psql -h 127.0.0.1 -p 5432 -U adg_user` ## 资料 - ================================================ FILE: markdown-file/Prometheus-Install-And-Settings.md ================================================ # Prometheus 安装和配置 - 不错的发展史说明： - 特别说明：一般这类环境要尽可能保证所有服务器时间一致 - Prometheus 本地存储不适合存长久数据，一般存储一个月就够了。要永久存储需要用到远端存储，远端存储可以用 OpenTSDB - Prometheus 也不适合做日志存储，日志存储还是推荐 ELK 方案 ## Prometheus Docker 安装 - 官网： - Docker 官方镜像： - 这里以 Spring Boot Metrics 为收集信息 - 创建配置文件：`vim /data/docker/prometheus/config/prometheus.yml` - 在 scrape_configs 位置下增加我们自己应用的路径信息 ``` # my global config global: scrape_interval: 15s # Set the scrape interval to every 15 seconds. Default is every 1 minute. evaluation_interval: 15s # Evaluate rules every 15 seconds. The default is every 1 minute. # scrape_timeout is set to the global default (10s). # Alertmanager configuration alerting: alertmanagers: - static_configs: - targets: # - alertmanager:9093 # Load rules once and periodically evaluate them according to the global 'evaluation_interval'. rule_files: # - "first_rules.yml" # - "second_rules.yml" # A scrape configuration containing exactly one endpoint to scrape: # Here it's Prometheus itself. scrape_configs: - job_name: 'springboot' metrics_path: '/tkey-actuator/actuator/prometheus' static_configs: - targets: ['192.168.2.225:8811'] ``` - 启动 ``` docker run -d --name prometheus -p 9091:9090 \ -v /data/docker/prometheus/config/prometheus.yml:/etc/prometheus/prometheus.yml \ prom/prometheus ``` - 然后配置 Grafana，使用这个 dashboard： ---------------------------------------------------------------------------------------------- ## 配置 - 官网 exporter 列表： - 官网 exporter 暴露的端口列表： ### CentOS7 服务器 - 当前最新版本：node_exporter 0.18.1（201907） ``` mkdir -p /usr/local/prometheus/node_exporter cd /usr/local/prometheus/node_exporter wget https://github.com/prometheus/node_exporter/releases/download/v0.18.1/node_exporter-0.18.1.linux-amd64.tar.gz tar -zxvf node_exporter-0.18.1.linux-amd64.tar.gz ``` ``` 创建Systemd服务 vim /etc/systemd/system/node_exporter.service [Unit] Description=node_exporter After=network.target [Service] Type=simple User=root ExecStart=/usr/local/prometheus/node_exporter/node_exporter-0.18.1.linux-amd64/node_exporter Restart=on-failure [Install] WantedBy=multi-user.target ``` - 关于 ExecStart 参数，可以再附带一些启动监控的参数，官网介绍： - 格式：`ExecStart=/usr/local/prometheus/node_exporter/node_exporter-0.18.1.linux-amd64/node_exporter --collectors.enabled meminfo,hwmon,entropy` ``` 启动 Node exporter systemctl start node_exporter systemctl daemon-reload systemctl status node_exporter ``` ``` 修改prometheus.yml，加入下面的监控目标： vim /data/docker/prometheus/config/prometheus.yml scrape_configs: - job_name: 'centos7' static_configs: - targets: ['192.168.1.3:9100'] labels: instance: centos7_node1 ``` - 重启 prometheus：`docker restart prometheus` - Grafana 有现成的 dashboard： - - ---------------------------------------------------------------------------------------------- ### Nginx 指标 - 这里使用 Nginx VTS exporter： - 安装 nginx 模块： ``` git clone --depth=1 https://github.com/vozlt/nginx-module-vts.git 编译 nginx 的时候加上： ./configure --prefix=/usr/local/nginx --with-http_ssl_module --add-module=/opt/nginx-module-vts make（已经安装过了，就不要再 make install） ``` ``` 也有人做好了 docker 镜像： https://hub.docker.com/r/xcgd/nginx-vts docker run --name nginx-vts -p 80:80 -v /data/docker/nginx/conf/nginx.conf:/etc/nginx/nginx.conf:ro -d xcgd/nginx-vts ``` ``` 修改Nginx配置 http { vhost_traffic_status_zone; vhost_traffic_status_filter_by_host on; ... server { ... location /status { vhost_traffic_status_display; vhost_traffic_status_display_format html; } } } 验证nginx-module-vts模块：http://192.168.1.3/status，会展示： Nginx Vhost Traffic Status 统计表 ``` ``` 如果不想统计流量的server，可以禁用vhost_traffic_status，配置示例： server { ... vhost_traffic_status off; ... } ``` - 安装 nginx-vts-exporter ``` 官网版本：https://github.com/hnlq715/nginx-vts-exporter/releases wget https://github.com/hnlq715/nginx-vts-exporter/releases/download/v0.10.3/nginx-vts-exporter-0.10.3.linux-amd64.tar.gz tar zxvf nginx-vts-exporter-0.10.3.linux-amd64.tar.gz chmod +x /usr/local/nginx-vts-exporter-0.10.3.linux-amd64/nginx-vts-exporter ``` ``` 创建Systemd服务 vim /etc/systemd/system/nginx_vts_exporter.service [Unit] Description=nginx_exporter After=network.target [Service] Type=simple User=root ExecStart=/usr/local/nginx-vts-exporter-0.10.3.linux-amd64/nginx-vts-exporter -nginx.scrape_uri=http://192.168.1.3/status/format/json Restart=on-failure [Install] WantedBy=multi-user.target ``` ``` 启动nginx-vts-exporter systemctl start nginx_vts_exporter.service systemctl daemon-reload systemctl status nginx_vts_exporter.service ``` ``` 修改 prometheus.yml，加入下面的监控目标： vim /data/docker/prometheus/config/prometheus.yml scrape_configs: - job_name: 'nginx' static_configs: - targets: ['192.168.1.3:9913'] labels: instance: nginx1 如果nginx 有加 basic auth，则需要这样： scrape_configs: - job_name: "nginx" metrics_path: /status/format/prometheus basic_auth: username: youmeek password: '123456' static_configs: - targets: ['192.168.1.3:9913'] labels: instance: 'nginx1' ``` - 重启 prometheus：`docker restart prometheus` - Grafana 有现成的 dashboard： - - ---------------------------------------------------------------------------------------------- ### 微服务下的多服务收集 - ---------------------------------------------------------------------------------------------- ### 告警 - - - 告警配置 - 告警检测 - [Grafana+Prometheus系统监控之邮件报警功能](https://blog.52itstyle.vip/archives/2014/) - [Grafana+Prometheus系统监控之钉钉报警功能](https://blog.52itstyle.vip/archives/2029/) - [Grafana+Prometheus系统监控之webhook](https://blog.52itstyle.vip/archives/2068/) ## 远端存储方案 - ---------------------------------------------------------------------------------------------- ## 其他资料 - - 写得非常非常非常好 - - - <> - <> - <> - <> - <> ================================================ FILE: markdown-file/Python-Ubuntu.md ================================================ # Python Ubuntu 安装 ## 为 Python 开发环境准备 #### 给 root 用户安装 Python - 切换用户：`sudo su -` - 安装 Python 2：`apt-get install python` - 安装 Python 3：`apt-get install python3` - 查看版本： - `python --version` - `python3 --version` #### 给非 root 用户安装 Anaconda（Python 3 版本） - 官网下载： - 进入命令行交互安装：`sh Anaconda3-5.2.0-Linux-x86_64.sh` ================================================ FILE: markdown-file/RabbitMQ-Install-And-Settings.md ================================================ # RabbitMQ 安装和配置 ## Docker 安装 RabbitMQ - 官网镜像： - 官网镜像说明： - 一般情况，运行： ``` docker run -d --name cloud-rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=adg123456 rabbitmq:3-management ``` - 带有 websocket stomp 功能（不知道是什么就不用管它）： ``` docker run -d --name cloud-rabbitmq -p 5671:5671 -p 5672:5672 -p 4369:4369 -p 25672:25672 -p 15671:15671 -p 15672:15672 -p 61613:61613 -e RABBITMQ_DEFAULT_USER=admin -e RABBITMQ_DEFAULT_PASS=adg123456 rabbitmq:3-management 进入 Docker 容器启动 stomp 插件： docker exec -it cloud-rabbitmq /bin/bash cd /plugins rabbitmq-plugins enable rabbitmq_web_stomp ``` - 参数解释： - rabbitmq:3-management：只有带 management 后缀的才有 web 端管理入口 - 15672：表示 RabbitMQ 控制台端口号，可以在浏览器中通过控制台来执行 RabbitMQ 的相关操作。容器启动成功后，可以在浏览器输入地址：http://ip:15672/ 访问控制台 - 5672: 表示 RabbitMQ 所监听的 TCP 端口号，应用程序可通过该端口与 RabbitMQ 建立 TCP 连接，完成后续的异步消息通信 - RABBITMQ_DEFAULT_USER：用于设置登陆控制台的用户名，这里我设置 admin - RABBITMQ_DEFAULT_PASS：用于设置登陆控制台的密码，这里我设置 admin ## RabbitMQ 说明 - MQ 全称为 Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。 - RabbitMQ 是一个在 AMQP 基础上完整的，可复用的企业消息系统。他遵循 Mozilla Public License 开源协议。 - RabbitMQ WIKI： - RabbitMQ 百科： - RabbitMQ 官网： - RabbitMQ 官网下载： - RabbitMQ 官网安装文档： - RabbitMQ 文档： - 优先： - 次要： ## 基于 epel 源进行安装（优先） - 来源： ``` rpm -Uvh http://download.fedoraproject.org/pub/epel/6/i386/epel-release-6-8.noarch.rpm # 安装依赖环境erlang yum install erlang -y # 安装rabbitmq yum install rabbitmq-server -y ``` ## 本地安装 #### 本地安装 Erlang - 有 EPEL 源的情况（需要安装的内容较多，宽带要能跟上）：`sudo yum install erlang` - RabbitMQ 官网提供 Erlang 安装包： - 下载地址： - 下载好之后，安装下面两个文件： - `sudo yum localinstall -y esl-erlang_18.1-1~centos~6_amd64.rpm` - `sudo yum localinstall -y esl-erlang-compat-18.1-1.noarch.rpm` #### rpm 安装 RabbitMQ - 此时（2016-04），最新版：**3.6.1** - 安装：`rpm --import https://www.rabbitmq.com/rabbitmq-signing-key-public.asc` - 安装：`sudo yum install -y rabbitmq-server-3.6.1-1.noarch.rpm` - 启动服务： - 先看下自己的主机名：`hostname`，我的主机名是：**judasnHost2** - 先修改一下 host 文件：`vim /etc/hosts`，添加一行：`127.0.0.1 judasnHost2`（必须这样做） - 启动：`service rabbitmq-server start`，启动一般都比较慢，所以别急 - 停止：`service rabbitmq-server stop` - 重启：`service rabbitmq-server restart` - 设置开机启动：`chkconfig rabbitmq-server on` ## 配置 - 查找默认配置位置：`find / -name "rabbitmq.config.example"`，我这边搜索结果是：`/usr/share/doc/rabbitmq-server-3.6.1/rabbitmq.config.example` - 复制默认配置：`cp /usr/share/doc/rabbitmq-server-3.6.1/rabbitmq.config.example /etc/rabbitmq/` - 修改配置文件名：`cd /etc/rabbitmq ; mv rabbitmq.config.example rabbitmq.config` - 编辑配置文件，开启用户远程访问：`vim rabbitmq.config` - 在 64 行，默认有这样一句话：`%% {loopback_users, []},`，注意，该语句最后有一个逗号，等下是要去掉的 - 我们需要改为：`{loopback_users, []}`， - 开启 Web 界面管理：`rabbitmq-plugins enable rabbitmq_management` - 如果你是用 epel 安装的话，则是这样运行：`cd /usr/lib/rabbitmq/bin;./rabbitmq-plugins enable rabbitmq_management` - 重启 RabbitMQ 服务：`service rabbitmq-server restart` - 开放防火墙端口： - `sudo iptables -I INPUT -p tcp -m tcp --dport 15672 -j ACCEPT` - `sudo iptables -I INPUT -p tcp -m tcp --dport 5672 -j ACCEPT` - `sudo service iptables save` - `sudo service iptables restart` - 浏览器访问：`http://192.168.1.114:15672` 默认管理员账号：**guest** 默认管理员密码：**guest** - 添加新授权用户（如下图所示）： - ![RabbitMQ-Add-User](../images/RabbitMQ-Add-User-a-1.jpg) - 添加 Host（如下图所示）： - ![RabbitMQ-Add-User](../images/RabbitMQ-Add-User-a-2.jpg) - 给添加的 Host 设置权限（如下图所示）： - ![RabbitMQ-Add-User](../images/RabbitMQ-Add-User-a-3.gif) - 交换机绑定队列（如下图所示）： - ![RabbitMQ-Bindings-Queue](../images/RabbitMQ-Bindings-Queue-a-1.gif) ## 集群环境（镜像队列） - TODO ## 消息重复 - 消息重复无法避免，比如消费端异常重启就有可能，或者 MQ 应用挂了重启之后等场景，任何 MQ 应用没有保证消息不会重复发送。 - 对于一定要保证幂等性的业务场景，在消费端做好标识。比如在 Redis 或 JVM 缓存中存有上一次消费的记录，业务操作之前下判断。 - 如果是插入操作类的，也可以考虑用唯一约束的方式来保证插入不会重复等。 ## 消息丢失 - 单节点，纯内存情况下一般有三种情况： - 生产者提交消息到 MQ，但是网络抖动了，丢了。或是 MQ 拿到之后突然挂了，来不及登记 - MQ 拿到消息，消费者还没消费，但是 MQ 挂了 - 消费者拿到消息来不及处理，自己挂了，MQ 认为已经消费成功了。 - 分别解决办法： - 把 channel 设置为 confirm 模式 - 持久化队列：创建 queue 的时候持久化 durable=true。持久化消息：生产者发送消息时候：deliveryMode = 2 - 手动 ACK ## 消息顺序 - 一般场景不需要消息顺序，要去做一般也开销很大，需要执行考虑。 - 在能保证消息顺序的情况下，可以用来做数据同步 - 解决： - 消费者只有单个应用，并且内容不要使用异步或者多线程。在这种场景下绑定 queue，**基于消息队列本质是队列，消息是 FIFO（先进先出）的**，这样消息就能按顺序。但是缺点很明显：吞吐太差，效率太低，适合低效率的业务。 - 基于上面方案并且对队列进行分片。假设我们原来 repay.queue下面有 10 个消费者线程，那么我们可以创建10个队列，每个队列下面只允许有一个消费者。一个比较简单的方式是，队列命名为 repay.queue-0，repay.queue-2…repay.queue-9，然后生产者推送信息的时候，基于用户的ID（Long类型）mod 10 取模 0…9（取余），再选择发送到相应的队列即可，这样就等保证同一个用户的顺序。 ## 消息积压 - 如果消费者挂掉，消息会一直积压在 MQ 中 - 解决办法 - 如果原来有 3 个消费者应用，现在需要准备多倍的消费者应用，假设现在有 10 个新的消费者应用。 - 创建一个临时的 topic，假设叫做 topic_abc - 新的 10 个消费者应用绑定在新的 topic_abc 上 - 修改原来 3 个消费者应用代码，改为接受到 MQ 消息后不操作入数据库了，而是直接发给 topic_abc - 这样原来积压的消息就有 10 个消费者一起来分摊 - 如果此时这个 MQ 扛不住压力，那只能让旧的 3 个消费者应用写到其他 MQ，然后 10 个新消费者消费新的 MQ。 - 然后深夜找个时间重新欢迎旧的 3 个消费者代码。 ## 资料 - ================================================ FILE: markdown-file/Rap-Install-And-Settings.md ================================================ # Rap 安装和配置 ## 本机环境 - 系统：CentOS 6.7 64 位 - MySQL 5.6 - JDK 1.8 - Tomcat 8 - Redis 3.0.7 - Rap 0.14.1 ## Rap 说明 - 官网： - 在线版： - 官网 Wiki： - 官网部署手册： - 用户手册： ## 下载 - 官网下载： - 当前最新版本：**0.14.1** - 下载 war 部署包： ## 安装 MySQL、JDK、Tomcat、Redis - [MySQL 安装和配置](Mysql-Install-And-Settings.md) - [JDK 安装](JDK-Install.md) - [Tomcat 安装和配置、优化](Tomcat-Install-And-Settings.md) - [Redis 安装和配置](Redis-Install-And-Settings.md) ## 安装 Rap - 创建数据库，并创建权限用户 ``` sql CREATE DATABASE `rap_db` CHARACTER SET utf8; CREATE USER 'rap'@'%' IDENTIFIED BY '123456'; GRANT ALL PRIVILEGES ON rap_db.* TO 'rap'@'%'; FLUSH PRIVILEGES; ``` - 把 RAP-0.14.1-SNAPSHOT.war 移动到 tomcat 的 webapp 目录下，删除其他多余的文件夹 - 解压：`unzip -x RAP-0.14.1-SNAPSHOT.war -d ROOT` - 初始化数据库：`mysql -u rap -p rap_db < /usr/program/tomcat8/webapps/ROOT/WEB-INF/classes/database/initialize.sql` - 修改连接数据库的配置信息：`vim /usr/program/tomcat8/webapps/ROOT/WEB-INF/classes/config.properties ` - 停掉防火墙：`service iptables stop` - 启动 Redis：`/usr/local/bin/redis-server /etc/redis.conf` - 启动 Tomcat：`sh /usr/program/tomcat8/bin/startup.sh ; tail -200f /usr/program/tomcat8/logs/catalina.out` ================================================ FILE: markdown-file/Redis-Install-And-Settings.md ================================================ ## Redis 安装和配置 ## 如果你用 Spring Data Redis 依赖请注意 - 请先看官网最新支持到哪个版本的依赖： - 查看锚点为：`New in Spring Data Redis` 的内容 - 目前 201712 支持 Redis 3.2 ## 如果你用 RedisDesktopManager 客户端请注意 - 请查看介绍中支持哪个版本： - 目前 201712 支持 2.8 以上 ## Docker 下安装 Redis - 创建一个宿主机目录用来存放 redis 配置文件：`mkdir -p /data/docker/redis/conf` - 创建一个宿主机以后用来存放数据的目录：`mkdir -p /data/docker/redis/db` - 赋权：`chmod 777 -R /data/docker/redis` - 自己编写一个配置文件 `vim /data/docker/redis/conf/redis.conf`，内容如下： - Redis 默认的配置文件内容： ``` ini 安全情况的几个特殊配置： bind 127.0.0.1 requirepass adgredis123456 protected-mode yes 免密情况： bind 0.0.0.0 protected-mode no 其他： port 6379 tcp-backlog 511 timeout 0 tcp-keepalive 300 daemonize no supervised no pidfile /data/redis_6379.pid loglevel notice logfile "" databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename dump.rdb dir /data slave-serve-stale-data yes slave-read-only yes repl-diskless-sync no repl-diskless-sync-delay 5 repl-disable-tcp-nodelay no slave-priority 100 appendonly no appendfilename "appendonly.aof" appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb aof-load-truncated yes lua-time-limit 5000 slowlog-log-slower-than 10000 slowlog-max-len 128 latency-monitor-threshold 0 notify-keyspace-events "" hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-size -2 list-compress-depth 0 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 activerehashing yes client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 256mb 64mb 60 client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 aof-rewrite-incremental-fsync yes ``` - 启动镜像：`docker run -d -ti -p 6379:6379 -v /data/docker/redis/conf/redis.conf:/etc/redis/redis.conf -v /data/docker/redis/db:/data --restart always --name cloud-redis redis:3.2 redis-server /etc/redis/redis.conf` - 查看镜像运行情况：`docker ps` - 进入镜像中 redis shell 交互界面：`docker exec -it cloud-redis redis-cli -h 127.0.0.1 -p 6379 -a adgredis123456` - 重新启动服务：`docker restart cloud-redis` ## RedisCluster 集群（Docker 方式） #### Redis 容器准备 - 目标：3 主 3 从（一般都是推荐奇数个 master） - 最小集群数推荐是：3 - 测试机的最低配置推荐是：2C4G - 拉取镜像：`docker pull registry.cn-shenzhen.aliyuncs.com/youmeek/redis-to-cluster:3.2.3` - 重新打个 tag（旧名字太长了）：`docker tag registry.cn-shenzhen.aliyuncs.com/youmeek/redis-to-cluster:3.2.3 redis-to-cluster:3.2.3` - 创建网段：`docker network create --subnet=172.19.0.0/16 net-redis-to-cluster` - 宿主机创建配置文件：`mkdir -p /data/docker/redis-to-cluster/config && vim /data/docker/redis-to-cluster/config/redis.conf` ``` bind 0.0.0.0 protected-mode yes port 6379 tcp-backlog 511 timeout 0 tcp-keepalive 300 daemonize yes supervised no pidfile /var/run/redis_6379.pid loglevel notice logfile "" databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename dump.rdb dir ./ slave-serve-stale-data yes slave-read-only yes repl-diskless-sync no repl-diskless-sync-delay 5 repl-disable-tcp-nodelay no slave-priority 100 appendonly yes appendfilename "appendonly.aof" appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb aof-load-truncated yes lua-time-limit 5000 cluster-enabled yes cluster-config-file nodes-6379.conf cluster-node-timeout 15000 slowlog-log-slower-than 10000 slowlog-max-len 128 latency-monitor-threshold 0 notify-keyspace-events "" hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-size -2 list-compress-depth 0 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 activerehashing yes client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 256mb 64mb 60 client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 aof-rewrite-incremental-fsync yes ``` - 赋权：`chmod 777 -R /data/docker/redis-to-cluster/` - 运行 6 个节点： - `docker run -it -d --name redis-to-cluster-1 -p 5001:6379 -v /data/docker/redis-to-cluster/config/redis.conf:/usr/redis/redis.conf --net=net-redis-to-cluster --ip 172.19.0.2 redis-to-cluster:3.2.3 bash` - `docker run -it -d --name redis-to-cluster-2 -p 5002:6379 -v /data/docker/redis-to-cluster/config/redis.conf:/usr/redis/redis.conf --net=net-redis-to-cluster --ip 172.19.0.3 redis-to-cluster:3.2.3 bash` - `docker run -it -d --name redis-to-cluster-3 -p 5003:6379 -v /data/docker/redis-to-cluster/config/redis.conf:/usr/redis/redis.conf --net=net-redis-to-cluster --ip 172.19.0.4 redis-to-cluster:3.2.3 bash` - `docker run -it -d --name redis-to-cluster-4 -p 5004:6379 -v /data/docker/redis-to-cluster/config/redis.conf:/usr/redis/redis.conf --net=net-redis-to-cluster --ip 172.19.0.5 redis-to-cluster:3.2.3 bash` - `docker run -it -d --name redis-to-cluster-5 -p 5005:6379 -v /data/docker/redis-to-cluster/config/redis.conf:/usr/redis/redis.conf --net=net-redis-to-cluster --ip 172.19.0.6 redis-to-cluster:3.2.3 bash` - `docker run -it -d --name redis-to-cluster-6 -p 5006:6379 -v /data/docker/redis-to-cluster/config/redis.conf:/usr/redis/redis.conf --net=net-redis-to-cluster --ip 172.19.0.7 redis-to-cluster:3.2.3 bash` - 配置 redis-to-cluster-1 节点：`docker exec -it redis-to-cluster-1 bash` - 启动容器的 redis：`/usr/redis/src/redis-server /usr/redis/redis.conf` - 其他 5 个节点一样进行启动。 #### 创建 Cluster 集群（通过 redis-trib.rb） - 配置 redis-to-cluster-1 节点（或者选择其他任意一个节点）：`docker exec -it redis-to-cluster-1 bash` - `mkdir -p /usr/redis/cluster` - `cp /usr/redis/src/redis-trib.rb /usr/redis/cluster/` - `cd /usr/redis/cluster/` - 创建 Cluster 集群（会有交互）（镜像中已经安装了 ruby 了）：`./redis-trib.rb create --replicas 1 172.19.0.2:6379 172.19.0.3:6379 172.19.0.4:6379 172.19.0.5:6379 172.19.0.6:6379 172.19.0.7:6379` - `--replicas 1` 表示为每个主节点创建一个从节点 - 如果正常的话，会出现下面内容： ``` >>> Creating cluster >>> Performing hash slots allocation on 6 nodes... Using 3 masters: 172.19.0.2:6379 172.19.0.3:6379 172.19.0.4:6379 Adding replica 172.19.0.5:6379 to 172.19.0.2:6379 Adding replica 172.19.0.6:6379 to 172.19.0.3:6379 Adding replica 172.19.0.7:6379 to 172.19.0.4:6379 M: 9c1c64b18bfc2a0586be2089f13c330787c1f67b 172.19.0.2:6379 slots:0-5460 (5461 slots) master M: 35a633853329c9ff25bb93a7ce9192699c2ab6a8 172.19.0.3:6379 slots:5461-10922 (5462 slots) master M: 8ea2bfeeeda939abb43e96a95a990bcc55c10389 172.19.0.4:6379 slots:10923-16383 (5461 slots) master S: 9cb00acba065120ea96834f4352c72bb50aa37ac 172.19.0.5:6379 replicates 9c1c64b18bfc2a0586be2089f13c330787c1f67b S: 8e2a4bb11e97adf28427091a621dbbed66c61001 172.19.0.6:6379 replicates 35a633853329c9ff25bb93a7ce9192699c2ab6a8 S: 5d0fe968559af3035d8d64ab598f2841e5f3a059 172.19.0.7:6379 replicates 8ea2bfeeeda939abb43e96a95a990bcc55c10389 Can I set the above configuration? (type 'yes' to accept): yes >>> Nodes configuration updated >>> Assign a different config epoch to each node >>> Sending CLUSTER MEET messages to join the cluster Waiting for the cluster to join...... >>> Performing Cluster Check (using node 172.19.0.2:6379) M: 9c1c64b18bfc2a0586be2089f13c330787c1f67b 172.19.0.2:6379 slots:0-5460 (5461 slots) master M: 35a633853329c9ff25bb93a7ce9192699c2ab6a8 172.19.0.3:6379 slots:5461-10922 (5462 slots) master M: 8ea2bfeeeda939abb43e96a95a990bcc55c10389 172.19.0.4:6379 slots:10923-16383 (5461 slots) master M: 9cb00acba065120ea96834f4352c72bb50aa37ac 172.19.0.5:6379 slots: (0 slots) master replicates 9c1c64b18bfc2a0586be2089f13c330787c1f67b M: 8e2a4bb11e97adf28427091a621dbbed66c61001 172.19.0.6:6379 slots: (0 slots) master replicates 35a633853329c9ff25bb93a7ce9192699c2ab6a8 M: 5d0fe968559af3035d8d64ab598f2841e5f3a059 172.19.0.7:6379 slots: (0 slots) master replicates 8ea2bfeeeda939abb43e96a95a990bcc55c10389 [OK] All nodes agree about slots configuration. >>> Check for open slots... >>> Check slots coverage... [OK] All 16384 slots covered. ``` - 连接集群测试： - 进入随便一个节点：`docker exec -it redis-to-cluster-1 bash` - `/usr/redis/src/redis-cli -c` - 查看集群情况：`cluster nodes` - 写入数据：`set myKey myValue`，如果成功会返回：`Redirected to slot [16281] located at 172.19.0.4:6379`，可以推断它是 redis-to-cluster-3 容器 - 暂定掉 redis-to-cluster-3 容器：`docker pause redis-to-cluster-3` - 重新连接：`/usr/redis/src/redis-cli -c` - 查看集群情况：`cluster nodes` - 获取值：`get myKey` - 重新启动 redis-to-cluster-3：`docker unpause redis-to-cluster-3` - 查看集群情况：`cluster nodes` - Spring Boot 项目 Docker 容器访问 RedisCluster - application.yml 配置的 IP 地址：172.19.0.2 等 - docker 容器启动增加 `--net=host` 使用宿主机网络 ## Redis 编译安装 - Redis 安装 - 官网： - 官网下载： - 官网 Github 地址： - 此时（20160212） Redis 最新稳定版本为：**3.0.7** - 官网帮助中心： - Redis 下载（/usr/local）：`wget http://download.redis.io/releases/redis-3.0.7.tar.gz` （大小：1.4 M） - 安装依赖包：`yum install -y gcc-c++ tcl` - 解压：`tar zxvf redis-3.0.7.tar.gz` - 进入解压后目录：`cd /usr/local/redis-3.0.7/` - 编译：`make` - 编译安装：`make install` - 安装完之后会在：`/usr/local/bin` 目录下生成好几个 redis 相关的文件 - 复制配置文件：`cp /usr/local/redis-3.0.7/redis.conf /etc/` - 修改配置：`vim /etc/redis.conf` - 把旧值：`daemonize no` - 改为新值：`daemonize yes` - 启动：`/usr/local/bin/redis-server /etc/redis.conf` - 关闭：`redis-cli -h 127.0.0.1 -p 6379 shutdown` - 关闭（带密码）：`redis-cli -h 127.0.0.1 -p 6379 -a 123456 shutdown` - 查看是否启动：`ps -ef | grep redis` - 进入客户端：`redis-cli` - 关闭客户端：`redis-cli shutdown` - 开机启动配置：`echo "/usr/local/bin/redis-server /etc/redis.conf" >> /etc/rc.local` - 开放防火墙端口： - 添加规则：`iptables -I INPUT -p tcp -m tcp --dport 6379 -j ACCEPT` - 保存规则：`service iptables save` - 重启 iptables：`service iptables restart` ## Redis-3.0.7 配置 - 编辑配置文件：`vim /etc/redis.conf` - Redis 默认的配置文件内容： ``` ini # 是否以后台daemon方式运行，默认是 no，一般我们会改为 yes daemonize no pidfile /var/run/redis.pid port 6379 tcp-backlog 511 timeout 0 tcp-keepalive 0 loglevel notice logfile "" # 开启数据库的数量，Redis 是有数据库概念的，默认是 16 个，数字从 0 ~ 15 databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename dump.rdb dir ./ slave-serve-stale-data yes slave-read-only yes repl-diskless-sync no repl-diskless-sync-delay 5 repl-disable-tcp-nodelay no slave-priority 100 appendonly no appendfilename "appendonly.aof" appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb aof-load-truncated yes lua-time-limit 5000 slowlog-log-slower-than 10000 slowlog-max-len 128 latency-monitor-threshold 0 notify-keyspace-events "" hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-entries 512 list-max-ziplist-value 64 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 activerehashing yes client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 256mb 64mb 60 client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 aof-rewrite-incremental-fsync yes ``` ## Redis-3.2.8 配置 - 编辑配置文件：`vim /etc/redis.conf` - Redis 默认的配置文件内容： ``` ini # 默认绑定是：127.0.0.1，这样就只能本机才能连上，为了让所有机子连上，这里需要改为：0.0.0.0 bind 0.0.0.0 protected-mode yes port 6379 tcp-backlog 511 timeout 0 tcp-keepalive 300 daemonize yes supervised no pidfile /var/run/redis_6379.pid loglevel notice logfile "" databases 16 save 900 1 save 300 10 save 60 10000 stop-writes-on-bgsave-error yes rdbcompression yes rdbchecksum yes dbfilename dump.rdb dir ./ slave-serve-stale-data yes slave-read-only yes repl-diskless-sync no repl-diskless-sync-delay 5 repl-disable-tcp-nodelay no slave-priority 100 appendonly no appendfilename "appendonly.aof" appendfsync everysec no-appendfsync-on-rewrite no auto-aof-rewrite-percentage 100 auto-aof-rewrite-min-size 64mb aof-load-truncated yes lua-time-limit 5000 slowlog-log-slower-than 10000 slowlog-max-len 128 latency-monitor-threshold 0 notify-keyspace-events "" hash-max-ziplist-entries 512 hash-max-ziplist-value 64 list-max-ziplist-size -2 list-compress-depth 0 set-max-intset-entries 512 zset-max-ziplist-entries 128 zset-max-ziplist-value 64 hll-sparse-max-bytes 3000 activerehashing yes client-output-buffer-limit normal 0 0 0 client-output-buffer-limit slave 256mb 64mb 60 client-output-buffer-limit pubsub 32mb 8mb 60 hz 10 aof-rewrite-incremental-fsync yes ``` ## 设置 Redis 请求密码 - 打开 `vim /etc/redis.conf` 配置文件，找到默认是被注释的这一行：`# requirepass foobared` - 去掉注释，把 `foobared` 改为你想要设置的密码，比如我打算设置为：123456，所以我改为：`requirepass 123456` - 修改之后重启下服务 - 有了密码之后，进入客户端，就得这样访问：`redis-cli -h 127.0.0.1 -p 6379 -a 123456 ` - 如果用 IP 进入客户端，但是报：`Could not connect to Redis at 192.168.1.121:6379: Connection refused` - 原因：Redis 默认只允许本机访问，可是有时候我们也需要 Redis 被远程访问。 - 解决办法： - 修改 Redis 配置文件：`vim /etc/redis.conf`        - 找到 bind 那行配置，默认是（需要注意的是配置文件中除了注释还有一个默认开启的地方，所以不要漏掉）：`# bind 127.0.0.1` - 去掉 # 注释并改为：`bind 0.0.0.0` ## Redis 常用命令 - 命令是不区分大小写的，但是这里为了方便和后面的 key value 进行区分所以我全部写大写，你也可以用小写。 - 但是需要注意的是：key 是完全区分大小写的，比如 key=codeBlog 和 key=codeblog 是两个键值 - 官网命令列表： - `SET key value`，设值。eg：`SET myblog www.youmeek.com` - `GET key`，取值 - `SELECT 0`，切换数据库 - `INCR key`，递增数字 - `DECR key`，递减数字 - `KEYS *`，查看当前数据库下所有的 key - `APPEND key value`，给尾部追加内容，如果要追加的 key 不存在，则相当于 SET key value - `STRLEN key`，返回键值的长度，如果键不存在则返回 0 - `MSET key1 value1 key2 value2`，同时设置多值 - `MGET key1 value1 key2 value2`，同时取多值 - `EXPIRE key 27`，设置指定键的生存时间，27 的单位是秒 - `TTL key`，查看键的剩余生存时间 - 返回 -2，表示不存在，过了生存时间后被删除 - 返回 -1，表示没有生存时间，永久存储 - 返回正整数，表示还剩下对应的生存时间 - `PERSIST key`，清除生成时间，重新变成永久存储（重新设置 key 的值也可以起到清除生存时间的效果） - `FLUSHDB`，清空当前数据库所有键值 - `FLUSHALL`，清空所有数据库的所有键值 ## 把 redis 添加到系统服务中 - 新建文件：`vim /etc/init.d/redis` - 添加如下内容： ``` nginx #!/bin/sh # # redis - this script starts and stops the redis-server daemon # # chkconfig: - 85 15 # description: Redis is a persistent key-value database # processname: redis-server # config: /usr/local/redis-2.4.X/bin/redis-server # config: /usr/local/ /redis-2.4.X/etc/redis.conf # Source function library. . /etc/rc.d/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 redis="/usr/local/bin/redis-server" prog=$(basename $redis) REDIS_CONF_FILE="/etc/redis.conf" [ -f /etc/sysconfig/redis ] && . /etc/sysconfig/redis lockfile=/var/lock/subsys/redis start() { [ -x $redis ] || exit 5 [ -f $REDIS_CONF_FILE ] || exit 6 echo -n $"Starting $prog: " daemon $redis $REDIS_CONF_FILE retval=$? echo [ $retval -eq 0 ] && touch $lockfile return $retval } stop() { echo -n $"Stopping $prog: " killproc $prog -QUIT retval=$? echo [ $retval -eq 0 ] && rm -f $lockfile return $retval } restart() { stop start } reload() { echo -n $"Reloading $prog: " killproc $redis -HUP RETVAL=$? echo } force_reload() { restart } rh_status() { status $prog } rh_status_q() { rh_status >/dev/null 2>&1 } case "$1" in start) rh_status_q && exit 0 $1 ;; stop) rh_status_q || exit 0 $1 ;; restart|configtest) $1 ;; reload) rh_status_q || exit 7 $1 ;; force-reload) force_reload ;; status) rh_status ;; condrestart|try-restart) rh_status_q || exit 0 ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart| reload|orce-reload}" exit 2 esac ``` - 修改权限：`chmod 755 /etc/init.d/redis` - 启动服务：`service redis start` - 停止服务：`service redis stop` - 重启服务：`service ngredisnx restart` ## Redis 客户端 - Java： - Jedis 官网： ## Redis GUI 管理工具 - Redis Desktop Manager - 官网： - 官网下载： - 效果如下图： - ![Redis Desktop Manager](../images/Redis-GUI-a-1.jpg) ## Redis 主从（主从从）配置 ### Redis 主从架构 - 假设有两台服务器，一台做主，一台做从 - Redis 主信息： - IP：**12.168.1.114**= - 端口：**6379** - Redis 从信息： - IP：**12.168.1.115** - 端口：**6379** - 编辑从机的 Redis 配置文件，找到 210 行（大概），默认这一行应该是注释的：`# slaveof ` - 我们需要去掉该注释，并且填写我们自己的主机的 IP 和 端口，比如：`slaveof 192.168.1.114 6379` - 配置完成后重启从机 Redis 服务 - 重启完之后，进入主机的 redis-cli 状态下，输入：`INFO replication` - 可以查询到当前主机的 redis 处于什么角色，有哪些从机已经连上主机。 - 此时已经完成了主从配置，我们可以测试下： - 我们进入主机的 redis-cli 状态，然后 set 某个值，比如：`set myblog YouMeek.com` - 我们切换进入从机的 redis-cli 的状态下，获取刚刚设置的值看是否存在：`get myblog`，此时，我们可以发现是可以获取到值的。 - 但是有一个需要注意的：从库不具备写入数据能力，不然会报错。 从库只有只读能力。 ### Redis主从从架构 - Redis 主从从的意思：看桌面上的截图。 - 优点，除了减少主库连接的压力，还有可以关掉主库的持久化功能，把持久化的功能交给从库进行处理。 - 第一个从库配置的信息是连上主库，后面的第二个从库配置的连接信息是连上第一个从库， 假如还有第三个从库的话，我们可以把第三个从库的配置信息连上第二个从库上，以此类推。 ## Redis 3 主 2 从 3 哨兵--配置集群+HA（高可用、故障转移） - 3 主 2 从 3 哨兵（平均每台机子是：1 主 2 从 3 哨兵） - 一个健康的集群部署，至少需要 3 个 Sentinel 实例，官网（Example 2: basic setup with three boxes）： - 这里使用了 3 台阿里云服务器，系统：CentOS 6.8 - 3 主： ``` 192.168.1.1 ``` 先做 Redis 集群，然后写个 Spring Data Redis 测试是否可以正常使用该集群 - 每台服务器各有一个 Redis 程序，然后有 3 个不同配置文件，启动 Redis 的时候指定各自的配置文件，依次表示 3 个 Redis 程序。 - 先关闭防火墙，避免各种端口未开放问题 - Redis 目前支持主从复制，但是主挂掉后，从也只能只读，所以需要在主挂掉后，从一个其中一个从节点中升级到主，这里用到的是：redis sentinel - 漂移 IP 这里用到 keepalived ## Windows 版本的 Redis - Windows 是别人改造的版本，需要到这里下载： - 使用 `.msi` 后缀的文件进行安装，此安装包自带安装 Windows 服务 - 配置文件也跟原版本不一样，叫做：`redis.windows.conf` ## Redis Info - 客户端下命令行：`info` - 参考： ``` server 部分记录了 Redis 服务器的信息，它包含以下域： redis_version : Redis 服务器版本 redis_git_sha1 : Git SHA1 redis_git_dirty : Git dirty flag os : Redis 服务器的宿主操作系统 arch_bits : 架构（32 或 64 位） multiplexing_api : Redis 所使用的事件处理机制 gcc_version : 编译 Redis 时所使用的 GCC 版本 process_id : 服务器进程的 PID run_id : Redis 服务器的随机标识符（用于 Sentinel 和集群） tcp_port : TCP/IP 监听端口 uptime_in_seconds : 自 Redis 服务器启动以来，经过的秒数 uptime_in_days : 自 Redis 服务器启动以来，经过的天数 lru_clock : 以分钟为单位进行自增的时钟，用于 LRU 管理 clients 部分记录了已连接客户端的信息，它包含以下域： connected_clients : 已连接客户端的数量（不包括通过从属服务器连接的客户端） client_longest_output_list : 当前连接的客户端当中，最长的输出列表 client_longest_input_buf : 当前连接的客户端当中，最大输入缓存 blocked_clients : 正在等待阻塞命令（BLPOP、BRPOP、BRPOPLPUSH）的客户端的数量 memory 部分记录了服务器的内存信息，它包含以下域： used_memory : 由 Redis 分配器分配的内存总量，以字节（byte）为单位 used_memory_human : 以人类可读的格式返回 Redis 分配的内存总量 used_memory_rss : 从操作系统的角度，返回 Redis 已分配的内存总量（俗称常驻集大小）。这个值和 top 、 ps 等命令的输出一致。 used_memory_peak : Redis 的内存消耗峰值（以字节为单位） used_memory_peak_human : 以人类可读的格式返回 Redis 的内存消耗峰值 used_memory_lua : Lua 引擎所使用的内存大小（以字节为单位） mem_fragmentation_ratio : used_memory_rss 和 used_memory 之间的比率 mem_allocator : 在编译时指定的， Redis 所使用的内存分配器。可以是 libc 、 jemalloc 或者 tcmalloc 。 ``` - 常关注信息： ``` used_memory_rss_human：系统给redis分配的内存（即常驻内存） used_memory_peak_human : Redis 的内存消耗峰值 used_memory_lua_human : 系统内存大小 expired_keys : 过期的的键数量 evicted_keys : 因为最大内存容量限制而被驱逐（evict）的键数量 used_cpu_sys_children : Redis 后台进程在 内核态 消耗的 CPU used_cpu_user_children : Redis 后台进程在 用户态 消耗的 CPU ``` ## Redis 基准压力测试 - 默认安装包下就自带 - 官网文档： - 运行：`redis-benchmark -q -n 100000` - `-q` 表示 quiet 安静执行，结束后直接输出结果即可 - `-n 100000` 请求 10 万次 ``` PING_INLINE: 62189.05 requests per second PING_BULK: 68634.18 requests per second SET: 58241.12 requests per second GET: 65445.03 requests per second INCR: 57703.40 requests per second LPUSH: 61199.51 requests per second RPUSH: 68119.89 requests per second LPOP: 58309.04 requests per second RPOP: 63775.51 requests per second SADD: 58479.53 requests per second HSET: 61500.61 requests per second SPOP: 58241.12 requests per second LPUSH (needed to benchmark LRANGE): 59523.81 requests per second LRANGE_100 (first 100 elements): 60350.03 requests per second LRANGE_300 (first 300 elements): 57636.89 requests per second LRANGE_500 (first 450 elements): 63251.11 requests per second LRANGE_600 (first 600 elements): 58479.53 requests per second MSET (10 keys): 56401.58 requests per second ``` - 只测试特定类型：`redis-benchmark -t set,lpush -n 100000 -q` ## 资料 - - - - ================================================ FILE: markdown-file/SSH-login-without-password.md ================================================ # SSH 免密登录 ## 环境说明 - CentOS 7.3 ## 关键点 - 免密登录的关键点在于理解谁登录谁。 - A 生成的公钥给 B，也给 C、D，则 A 可以直接免密 SSH 登录 B、C、D ## A 生成密钥 - 在 A 机器上输入命令：`ssh-keygen` - 根据提示回车，共有三次交互提示，都回车即可。 - 生成的密钥目录在：**/root/.ssh** - 写入：`cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys` - 测试：`ssh localhost` ## 把 A 的公钥发给 B - 假设 B 机器的 ip：`192.168.1.105` - 则在 A 机器上输入：`ssh-copy-id -i /root/.ssh/id_rsa.pub -p 22 root@192.168.1.105`，根据提示输入 B 机器的 root 密码，成功会有相应提示 ## 测试 A 免密登录到 B - 在 A 机器上输入命令：`ssh -p 22 root@192.168.1.105`，则会相应登录成功的提示 ------------------------------------------------------------------- ## 如果是用 pem 登录的话，用 ssh-copy-id 是无法使用的 - 先保存 A 的 pub 到本地：`sz /root/.ssh/id_rsa.pub` - 登录 B 机子：`cd /root/.ssh/` - 如果 B 机子没有 authorized_keys 文件则创建：`touch /root/.ssh/authorized_keys` - 设置权限：`chmod 600 /root/.ssh/authorized_keys ` - 上传 pub 文件到 B 机子，并在 B 机子上执行：`cd /root/.ssh/ && cat id_rsa.pub >> authorized_keys` ================================================ FILE: markdown-file/SSH.md ================================================ # SSH（Secure Shell）介绍 ## SSH 安装 - 查看是否已安装： - CentOS：`rpm -qa | grep openssh` - Ubuntu：`dpkg -l | grep openssh` - 安装： - CentOS 6：`sudo yum install -y openssh-server openssh-clients` - Ubuntu：`sudo apt-get install -y openssh-server openssh-client` ## 特别注意：本文内容，修改完配置都要记得重启服务 - CentOS 6 命令：`service sshd restart` - CentOS 7 命令：`systemctl restart sshd.service` ## SSH 修改连接端口 - 配置文件介绍（记得先备份）：`sudo vim /etc/ssh/sshd_config` - 打开这一行注释：Port 22 - 自定义端口选择建议在万位的端口，如：10000-65535之间，假设这里我改为 60001 - CentOS 6 给新端口加到防火墙中： - 添加规则：`iptables -I INPUT -p tcp -m tcp --dport 60001 -j ACCEPT` - 保存规则：`service iptables save` - 重启 iptables：`service iptables restart` - CentOS 7：添加端口：`firewall-cmd --zone=public --add-port=60001/tcp --permanent` - 重启防火墙：`firewall-cmd --reload` ## 设置超时 - ClientAliveInterval指定了服务器端向客户端请求消息的时间间隔, 默认是0，不发送。而ClientAliveInterval 300表示5分钟发送一次，然后客户端响应，这样就保持长连接了。 - ClientAliveCountMax，默认值3。ClientAliveCountMax表示服务器发出请求后客户端没有响应的次数达到一定值，就自动断开，正常情况下，客户端不会不响应。 - 正常我们可以设置为： - ClientAliveInterval 300 - ClientAliveCountMax 3 - 按上面的配置的话，300*3＝900秒＝15分钟，即15分钟客户端不响应时，ssh连接会自动退出。 ## SSH 允许 root 账户登录 - 编辑配置文件（记得先备份）：`sudo vim /etc/ssh/sshd_config` - 允许 root 账号登录 - 注释掉：`PermitRootLogin without-password` - 新增一行：`PermitRootLogin yes` ## SSH 不允许 root 账户登录 - 新增用户和把新增的用户改为跟 root 同等权限方法：[Bash.md] - 编辑配置文件（记得先备份）：`sudo vim /etc/ssh/sshd_config` - 注释掉这一句（如果没有这一句则不管它）：`PermitRootLogin yes` ## SSH 密钥登录 - 生成秘钥和公钥文件，命令：`sudo ssh-keygen`，在交互提示中连续按三次回车，如果看得懂交互的表达，那就根据你自己需求来。默认生成密钥和公钥文件是在：/root/.ssh。 - 进入生成目录：`cd /root/.ssh`，可以看到有两个文件：id_rsa (私钥) 和 id_rsa.pub (公钥) - 在 .ssh 目录下创建 SSH 认证文件，命令：`touch /root/.ssh/authorized_keys` - 将公钥内容写到SSH认证文件里面，命令：`cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys` - 修改SSH认证文件权限，命令： - `sudo chmod 700 /root/.ssh` - `sudo chmod 600 /root/.ssh/authorized_keys` - 重启服务：`sudo service sshd restart` - 设置 SSH 服务默认启动：`sudo sysv-rc-conf ssh on` - 现在 SSH 客户端可以去拿着 SSH 服务器端上的 id_rsa，在客户端指定秘钥文件地址即可，这个一般由于你使用的客户端决定的，我这里推荐的是 Xshell 软件。 - 另外一种方法可以查看：[SSH 免密登录（推荐）](SSH-login-without-password.md) ## 限制只有某一个IP才能远程登录服务器 - 在该配置文件：`vim /etc/hosts.deny` - 添加该内容：`sshd:ALL` - 在该配置文件：`vim /etc/hosts.allow` - 添加该内容：`sshd:123.23.1.23` ## 限制某些用户可以 SSH 访问 - 在该配置文件：`vim /etc/ssh/sshd_config` - 添加该内容：`AllowUsers root userName1 userName2` ## 常用 SSH 连接终端 - Windows -- Xshell： - Mac -- ZOC： ## 查看 SSH 登录日志 #### CentOS 6 - 查看登录失败记录：`cat /var/log/auth.log | grep "Failed password"` - 如果数据太多可以用命令：`tail -500f /var/log/auth.log | grep "Failed password"` - 统计哪些 IP 尝试多少次失败登录记录：`grep "Failed password" /var/log/auth.log | awk ‘{print $11}’ | uniq -c | sort -nr` - 统计哪些 IP 尝试多少次失败登录记录，并排序：`grep "Failed password" /var/log/auth.log | awk '{print $11}' | sort | uniq -c | sort -nr | more` #### CentOS 7 - 查看登录失败：`egrep "Failed|Failure" /var/log/secure`，可以得到类似信息： - 如果数据太多，可以用命令：`tail -500f /var/log/secure | egrep "Failed|Failure"` ``` Feb 21 16:10:15 U5NHTIHOW67HKAH sshd[32753]: Failed password for invalid user oracle from 1.175.83.6 port 46560 ssh2 Feb 21 16:10:16 U5NHTIHOW67HKAH sshd[32750]: Failed password for root from 42.7.26.88 port 62468 ssh2 Feb 21 16:10:17 U5NHTIHOW67HKAH sshd[32744]: Failed password for root from 42.7.26.85 port 36086 ssh2 Feb 21 16:10:18 U5NHTIHOW67HKAH sshd[32756]: Failed password for invalid user oracle from 1.175.83.6 port 46671 ssh2 Feb 21 16:10:20 U5NHTIHOW67HKAH sshd[32744]: Failed password for root from 42.7.26.85 port 36086 ssh2 Feb 21 16:10:21 U5NHTIHOW67HKAH sshd[32750]: Failed password for root from 42.7.26.88 port 62468 ssh2 Feb 21 16:10:21 U5NHTIHOW67HKAH sshd[32758]: Failed password for invalid user oracle from 1.175.83.6 port 46811 ssh2 ``` - 查看登录失败统计：`grep "authentication failure" /var/log/secure`，可以得到类似信息： - 如果数据太多，可以用命令：`tail -500f /var/log/secure | grep "authentication failure"` ``` Feb 21 02:01:46 U5NHTIHOW67HKAH sshd[16854]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:01:46 U5NHTIHOW67HKAH sshd[16854]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:01:47 U5NHTIHOW67HKAH sshd[16858]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:02:02 U5NHTIHOW67HKAH sshd[16858]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:02:02 U5NHTIHOW67HKAH sshd[16858]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:03:11 U5NHTIHOW67HKAH sshd[16870]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:03:25 U5NHTIHOW67HKAH sshd[16870]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:03:25 U5NHTIHOW67HKAH sshd[16870]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:03:29 U5NHTIHOW67HKAH sshd[16872]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:03:44 U5NHTIHOW67HKAH sshd[16872]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:03:44 U5NHTIHOW67HKAH sshd[16872]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:03:45 U5NHTIHOW67HKAH sshd[16875]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:04:01 U5NHTIHOW67HKAH sshd[16875]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:04:01 U5NHTIHOW67HKAH sshd[16875]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:04:05 U5NHTIHOW67HKAH sshd[16878]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:04:20 U5NHTIHOW67HKAH sshd[16878]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:04:20 U5NHTIHOW67HKAH sshd[16878]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:04:24 U5NHTIHOW67HKAH sshd[16883]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:04:40 U5NHTIHOW67HKAH sshd[16883]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:04:40 U5NHTIHOW67HKAH sshd[16883]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:04:43 U5NHTIHOW67HKAH sshd[16886]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:04:59 U5NHTIHOW67HKAH sshd[16886]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:04:59 U5NHTIHOW67HKAH sshd[16886]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:05:02 U5NHTIHOW67HKAH sshd[16888]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:05:08 U5NHTIHOW67HKAH sshd[16891]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=146.0.228.146 Feb 21 02:05:18 U5NHTIHOW67HKAH sshd[16888]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:05:18 U5NHTIHOW67HKAH sshd[16888]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:05:20 U5NHTIHOW67HKAH sshd[16899]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:05:34 U5NHTIHOW67HKAH sshd[16899]: Disconnecting: Too many authentication failures for root [preauth] Feb 21 02:05:34 U5NHTIHOW67HKAH sshd[16899]: PAM 5 more authentication failures; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:05:37 U5NHTIHOW67HKAH sshd[16901]: pam_unix(sshd:auth): authentication failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=42.7.26.85 user=root Feb 21 02:05:53 U5NHTIHOW67HKAH sshd[16901]: Disconnecting: Too many authentication failures for root [preauth] ``` ## 防止 SSH 暴力破解：DenyHosts - 官网地址： - 参考文章： - - - - ## SSH 资料 - - - - ================================================ FILE: markdown-file/SSR-Client-Ubuntu.md ================================================ # SSR Ubuntu 客户端 ## 介绍 - 因为某些原因，这个东西不做过多解释 ## 安装 - 需要 Git 环境： - 需要 Python 2 环境： - 官网脚本： - 我们这里使用别人提供的文件，如果该文件被屏蔽，就自行用上面官网的文件。 ``` wget http://www.djangoz.com/ssr sudo mv ssr /usr/local/bin sudo chmod 766 /usr/local/bin/ssr ssr install ``` - 配置：`ssr config` - 这是一个 vim 的配置界面，也可以直接编辑其源文件： - 主要修改如下内容： ``` "server":"12.26.68.99", //服务器ip "server_port":9191, //端口 "password":"123456", //密码 "protocol":"auth_sha1_v4", //协议插件 "obfs":"http_simple", //混淆插件 "method":"aes-256-cfb", //加密方式 ``` - 启动：`ssr start` - 其他常用命令： - `ssr stop` - `ssr help` - 然后就可以用 Chrome 的 SwitchyOmega - AutoProxy：https://raw.githubusercontent.com/gfwlist/gfwlist/master/gfwlist.txt ## 配置终端代理 polipo - 安装：`sudo apt-get install polipo` - 修改配置（一般不要变动，直接复制上去即可）：`sudo vim /etc/polipo/config` ``` # This file only needs to list configuration variables that deviate # from the default values. See /usr/share/doc/polipo/examples/config.sample # and "polipo -v" for variables you can tweak and further information. logSyslog = true logFile = /var/log/polipo/polipo.log proxyAddress = "0.0.0.0" socksParentProxy = "127.0.0.1:1080" socksProxyType = socks5 chunkHighMark = 50331648 objectHighMark = 16384 serverMaxSlots = 64 serverSlots = 16 serverSlots1 = 32 ``` - 重启：`sudo service polipo restart` #### 开始测试 polipo - 获取自己当前 IP：`curl ip.gs` - 这时候应该是国内 IP - **开始使用代理**：`export http_proxy=http://127.0.0.1:8123` - 获取自己当前 IP：`curl ip.gs` - 这时候应该是国外 IP - **取消代理**：`unset http_proxy` - 获取自己当前 IP：`curl ip.gs` - 这时候应该是国内 IP - 另外：在浏览器中输入 便可以进入到 Polipo 的使用说明和配置界面。 ## 材料 - ================================================ FILE: markdown-file/SVN-Install-And-Settings.md ================================================ # Subversion 1.8 安装 ## RPM 安装（推荐） - wandisco 整理的 RPM 文件官网： - 下载下面几个 RPM 文件： - 创建目录来保存下载的 RPM：`sudo mkdir -p /opt/setups/subversion/ ; cd /opt/setups/subversion/` - `wget http://opensource.wandisco.com/centos/6/svn-1.8/RPMS/x86_64/mod_dav_svn-1.8.15-1.x86_64.rpm` - `wget http://opensource.wandisco.com/centos/6/svn-1.8/RPMS/x86_64/serf-1.3.7-1.x86_64.rpm` - `wget http://opensource.wandisco.com/centos/6/svn-1.8/RPMS/x86_64/subversion-1.8.15-1.x86_64.rpm` - `wget http://opensource.wandisco.com/centos/6/svn-1.8/RPMS/x86_64/subversion-gnome-1.8.15-1.x86_64.rpm` - `wget http://opensource.wandisco.com/centos/6/svn-1.8/RPMS/x86_64/subversion-javahl-1.8.15-1.x86_64.rpm` - `wget http://opensource.wandisco.com/centos/6/svn-1.8/RPMS/x86_64/subversion-perl-1.8.15-1.x86_64.rpm` - `wget http://opensource.wandisco.com/centos/6/svn-1.8/RPMS/x86_64/subversion-python-1.8.15-1.x86_64.rpm` - `wget http://opensource.wandisco.com/centos/6/svn-1.8/RPMS/x86_64/subversion-tools-1.8.15-1.x86_64.rpm` - 如果上面的 RPM 链接失效，你也可以考虑下载我提供的百度云盘地址： - 安装下载的 RPM 文件： - `sudo rpm -ivh *.rpm` - 检查安装后的版本： - `svn --version` ## 编译安装（不推荐） - subversion 1.8 编译安装（本人没有尝试成功，所以不推荐，下面内容只供参考） - 官网安装说明（查找关键字 `Dependency Overview`）： - 此时 1.8 最新版本为：`subversion-1.8.15.tar.gz` - 我个人习惯 `/opt` 目录下创建一个目录 `setups` 用来存放各种软件安装包；在 `/usr` 目录下创建一个 `program` 用来存放各种解压后的软件包，下面的讲解也都是基于此习惯 - 我个人已经使用了第三方源：`EPEL、RepoForge`，如果你出现 `yum install XXXXX` 安装不成功的话，很有可能就是你没有相关源，请查看我对源设置的文章 - 安装编译所需工具： - `sudo yum install -y gcc gcc-c++ autoconf libtool ` - 所需依赖包说明： - （必要包）apr 和 apr-util 官网地址： - （必要包）zlib 官网地址： - （必要包）SQLite 官网地址： - （必要包）Subversion 官网地址： - 所需依赖包下载： - apr 下载：`wget http://archive.apache.org/dist/apr/apr-1.5.2.tar.gz` - apr-util 下载：`wget http://archive.apache.org/dist/apr/apr-util-1.5.4.tar.gz` - zlib 下载：`wget http://zlib.net/zlib-1.2.8.tar.gz` - SQLite 下载：`wget http://www.sqlite.org/2016/sqlite-amalgamation-3100200.zip` - Subversion 下载：`wget http://apache.fayea.com/subversion/subversion-1.8.15.tar.gz` - 安装依赖包： - apr 安装： - 解压：`tar -zxvf apr-1.5.2.tar.gz` - 移动到我个人习惯的安装目录下：`mv apr-1.5.2/ /usr/program/` - 标准的 GNU 源码安装方式： - `cd /usr/program/apr-1.5.2` - `./configure` - `make` - `make install` - 安装完得到安装的配置路径：`/usr/local/apr/bin/apr-1-config`，这个需要记下来，下面会用到 - apr-util 安装： - 解压：`tar -zxvf apr-util-1.5.4.tar.gz` - 移动到我个人习惯的安装目录下：`mv apr-util-1.5.4/ /usr/program/` - 标准的 GNU 源码安装方式： - `cd /usr/program/apr-util-1.5.4/` - `./configure --with-apr=/usr/local/apr/bin/apr-1-config` - `make` - `make install` - 安装完得到安装的配置路径：`/usr/local/apr/bin/apu-1-config`，这个需要记下来，下面会用到 - zlib 安装： - 解压：`tar -zxvf zlib-1.2.8.tar.gz` - 移动到我个人习惯的安装目录下：`mv zlib-1.2.8/ /usr/program/` - 标准的 GNU 源码安装方式： - `cd /usr/program/zlib-1.2.8/` - `./configure` - `make` - `make install` - Subversion 解压： - 解压：`tar -zxvf subversion-1.8.15.tar.gz` - 移动到我个人习惯的安装目录下：`mv subversion-1.8.15/ /usr/program/` - SQLite 安装： - 解压：`unzip sqlite-amalgamation-3100200.zip` - 移动到 subversion 目录下：`mv sqlite-amalgamation-3100200/ /usr/program/subversion-1.8.15/` - Subversion 安装： - 标准的 GNU 源码安装方式： - `cd /usr/program/subversion-1.8.15/` - `./configure --prefix=/usr/local/subversion --with-apr=/usr/local/apr/bin/apr-1-config --with-apr-util=/usr/local/apr/bin/apu-1-config` - `make` - `make install` ## SVN 配置 - 在系统上创建一个目录用来存储所有的 SVN 文件：`mkdir -p /opt/svn/repo/` - 新建一个版本仓库：`svnadmin create /opt/svn/repo/` - 生成如下目录和文件： - 目录：`locks` - 目录：`hooks` - 目录：`db` - 目录：`conf` - 文件：`format` - 文件：`README.txt` - 其中，目录 `conf` 最为重要，常用的配置文件都在里面 - `svnserve.conf` 是 svn 服务综合配置文件 - `passwd` 是用户名和密码配置文件 - `authz` 是权限配置文件 - 设置配置文件 - 编辑配置文件：`vim /opt/svn/repo/conf/svnserve.conf` - ![设置配置文件](../images/SVN-Install-And-Settings-a-1.jpg) - 配置文件中下面几个参数（默认是注释的）： - `anon-access`： 对不在授权名单中的用户访问仓库的权限控制，有三个可选性：`write、read、none` - `none` 表示没有任何权限 - `read` 表示只有只读权限 - `write` 表示有读写权限 - `auth-access`：对在授权名单中的用户访问仓库的权限控制，有三个可选性：`write、read、none` - `none` 表示没有任何权限 - `read` 表示只有只读权限 - `write` 表示有读写权限 - `password-db`：指定用户数据配置文件 - `authz-db`：指定用户权限配置文件 - `realm`：指定版本库的认证域，即在登录时提示的认证域名称。若两个版本库的认证域相同，建议使用相同的用户名口令数据文件 - 当前实例的配置内容：`realm = myrepo` - 添加用户 - 编辑配置文件：`vim /opt/svn/repo/conf/passwd` - ![添加用户](../images/SVN-Install-And-Settings-a-2.jpg) - 添加用户很简答，如上图所示在配置文中添加一个格式为：`用户名 = 密码` 的即可 - 设置用户权限 - 编辑配置文件：`vim /opt/svn/repo/conf/authz` - ![设置用户权限](../images/SVN-Install-And-Settings-a-3.jpg) - 配置文件中几个参数解释： - `r` 表示可写 - `w` 表示可读 - `rw` 表示可读可写 - `* =` 表示除了上面设置的权限用户组以外，其他所有用户都设置空权限，空权限表示禁止访问本目录，这很重要一定要加上 - `[groups]` 表示下面创建的是用户组，实际应用中一般我们对使用者都是进行分组的，然后把权限控制在组上，这样比较方便。使用组权限方式：`@组名 = rw` - 启动服务 - `svnserve -d -r /opt/svn/repo/ --listen-port 3690` - `-d` 表示后台运行 - `-r /opt/svn/repo/` 表示指定根目录 - `--listen-port 3690` 表示指定端口，默认就是 3690，所以如果要用默认端口这个也是可以省略掉的 - 停止服务 - `killall svnserve` - 测试 - iptables 处理 - 一种方式：先关闭 iptables，防止出现拦截问题而测试不了：`service iptables stop` - 一种方式：在 iptables 中添加允许规则（svn 默认端口是 3690）： - 添加规则：`sudo iptables -I INPUT -p tcp -m tcp --dport 3690 -j ACCEPT` - 保存规则：`sudo /etc/rc.d/init.d/iptables save` - 重启 iptables：`sudo service iptables restart` - 在 Windows 的 svn 客户端上访问:`svn://192.168.0.110` ## SVN 设置提交之后可修改提交的 Message 信息 - 默认的 SVN 是无法修改提交后的 Message 信息的，修改会报如下错误： - ![SVN 设置提交之后可修改提交的 Message 信息](../images/SVN-Install-And-Settings-a-4.jpg) - 解决办法： - 下载我 hooks 文件： - 把 pre-revprop-change 文件放在你的仓库下，比如我仓库地址是：`/opt/svn/repo/hooks` - 编辑该文件：`vim /opt/svn/repo/hooks/pre-revprop-change` - 把文件尾巴的这句脚本：`echo "$1 $2 $3 $4 $5" >> /opt/svn/repo/logchanges.log`，改为：`echo "$1 $2 $3 $4 $5" >> /你的仓库地址/logchanges.log` - 你在该目录下也可以看到一个文件 `pre-revprop-change.tmpl`，这个其实就是 svn 提供给你模板，其他的那些你有兴趣也可以研究下 ## 资料 - - - - - - - - - - - - - 设置可编辑提交信息： ================================================ FILE: markdown-file/Samba.md ================================================ # Samba 介绍 ## Samba 安装 - 查看是否已安装： - CentOS：`rpm -qa | grep samba` - Ubuntu：`dpkg -l | grep samba` - 安装： - CentOS 6：`yum install samba samba-client samba-common` - Ubuntu：`sudo apt-get install -y samba samba-client` ## Samba 服务器配置文件常用参数 - 配置文件介绍（记得先备份 `cp /etc/samba/smb.conf /etc/samba/smb.conf.backup`）：`sudo vim /etc/samba/smb.conf` - 该配置解释： - 在 [global] 区域 - workgroup = WORKGROUP #WORKGROUP表示Windows默认的工作组名称，一般共享给windows是设置为WORKGROUP，此字段不重要，无需与 Windows 的域保持一致 - security = user #ubuntu下配置文件默认没有这句,这个是自己填上去的。表示指定samba的安全等级，安全等级分别有四种：share（其他人不需要账号密码即可访问共享目录）、user（检查账号密码）、server（表示检查密码由另外一台服务器负责）、domain（指定Windows域控制服务器来验证用户的账号和密码） 注: samba 4 不再支持 security = share (查看版本 smbd --version) - 在新区域区域 - 当 security = share 使用下面这段，这段自己添加的，其中myshare这个名字表示其他机子访问该分享地址时用：file://该服务机IP/myshare ``` [myshare] comment = share all path = /opt/mysamba #分享的目录，其中这个目录需要chmod 777 /opt/mysamba权限 browseable = yes writable = yes public =yes ``` - 当 security = user 使用下面这段，这段自己添加的，其中 myshare2 这个名字表示其他机子访问该分享地址时用：file://该服务机IP/myshare2 - 可以返回的账号必须是系统已经存在的账号。先给系统添加账号：`useradd user1`，再用samba的设置添加账号：`pdbedit -a user1`，会让你设立该samba账号密码。列出账号：`pdbedit -L` ``` [myshare2] comment = share for users path = /opt/mysamba2 #分享的目录，其中这个目录需要chmod 777 /opt/mysamba权限 # (不一定要 777 权限，只要登录 samba 的用户是这个目录的用户即可，那么在 Windows 中的文件创建和写入都等同于 linux 的等价账户) browseable = yes writable = yes public = no read only = no guest ok = no # samba 4 拥有的 create mask = 0646 force create mode = 0646 directory mask = 0747 force directory mode = 0747 ``` - 一份成功的 samba 4 配置 ``` [global] workgroup = WORKGROUP passdb backend = tdbsam printing = cups printcap name = cups printcap cache time = 750 cups options = raw map to guest = Bad User include = /etc/samba/dhcp.conf logon path = \\%L\profiles\.msprofile logon home = \\%L\%U\.9xprofile logon drive = P: max connections = 0 deadtime = 0 max log size = 500 [share1] path = /home/ browsable =yes writable = yes read only = no guest ok=no create mask = 0646 force create mode = 0646 directory mask = 0747 force directory mode = 0747 ``` - 启动服务（CentOS 6）： - `sudo service samba restart` - `service smb restart` # 启动 samba - 启动服务（CentOS 7）： - `systemctl start smb.service` # 启动 samba - `systemctl enable smb.service` # 激活 - `systemctl status smb.service` # 查询 samba 状态（启动 samba 前后可以用查询验证） - 启动服务（Ubuntu 16.04.3 -- ljoaquin提供）： - `sudo service smbd restart` ## Samba 登录及验证 - 在 Windows 连接 Samba 之前，可在本地（linux）使用命令验证 `smbclient –L //localhost/ -U ` 接下来输入的 password 来自于 `pdbedit -a user1` 命令为该用户设置的密码，不一定是 linux 用户密码 来自 `/etc/samba/smb.conf` 文件中的标签，如上面的例子中有 `//localhost/myshare2` 提示如下面，表示 Samba 服务启动成功 ``` Domain=[xxx1] OS=[Windows 6.1] Server=[Samba 4.6.2] Sharename Type Comment --------- ---- ------- share1 Disk IPC$ IPC IPC Service (Samba 4.6.2) Domain=[xxx1] OS=[Windows 6.1] Server=[Samba 4.6.2] Server Comment --------- ------- Workgroup Master --------- ------- xxx2 xxx1 WORKGROUP xxx3 ``` - Windows 登录 打开资源管理器 -> 映射网络驱动器 -> 文件夹 填写上述 `smbclient –L` 命令后面加的路径 -> 弹出用户名密码对话框 -> 登录成功 ## Samba 登录失败 - linux 防火墙 - Windows 用户密码都正确，错误提示‘未知的用户名和密码。’ regedit 打开注册表，删除键值 HKEY_LOCAL_MACHINE\System\CurrentControlSet\Control\Lsa 中的 LMCompatibilityLevel，无需重启计算机 ## Samba 资料 - - - - - - - - ================================================ FILE: markdown-file/Sed.md ================================================ # Sed 常用命令 - 轻量级流编辑器，一般用来处理文本类文件 - **sed 是非交互式的编辑器。它不会修改文件，除非使用 shell 重定向来保存结果。默认情况下，所有的输出行都被打印到屏幕上** - **用 sed -i 会实际写入**，下面为了演示，都没加该参数，有需要可以自行添加。 ## 基础例子 - 有一个文件：/opt/log4j2.properties ``` ini status = error # log action execution errors for easier debugging logger.action.name = org.elasticsearch.action logger.action.level = debug appender.console.type = Console appender.console.name = console appender.console.layout.type = PatternLayout appender.console.layout.pattern = [%d{ISO8601}][%-5p][%-25c{1.}] %marker%m%n appender.rolling.type = RollingFile appender.rolling.name = rolling appender.rolling.fileName = ${sys:es.logs}.log appender.rolling.layout.type = PatternLayout appender.rolling.layout.pattern = [%d{ISO8601}][%-5p][%-25c{1.}] %marker%.-10000m%n appender.rolling.filePattern = ${sys:es.logs}-%d{yyyy-MM-dd}.log appender.rolling.policies.type = Policies appender.rolling.policies.time.type = TimeBasedTriggeringPolicy appender.rolling.policies.time.interval = 1 appender.rolling.policies.time.modulate = true rootLogger.level = info rootLogger.appenderRef.console.ref = console rootLogger.appenderRef.rolling.ref = rolling ``` - `p` 参数表示打印，一般配合 -n（安静模式）进行使用 - `sed -n '7,10p' /opt/log4j2.properties`：显示第 7 ~ 10 行内容 - `sed -n '7p' /opt/log4j2.properties`：显示第 7 行内容 - `d` 删除 - `cat -n /opt/log4j2.properties |sed '7,10d'`：剔除 7 ~ 10 行内容，然后显示文件所有内容出来（实际文件是未删除的） - `a` 追加 - `cat -n /opt/log4j2.properties |sed '1a GitNavi.com'`：追加 GitNavi.com 内容（追加在下一行展示），然后显示文件所有内容出来 - `c` 替换 - `cat -n /opt/log4j2.properties |sed '1,4c GitNavi.com'`：将 1 ~ 4 行内容替换成 GitNavi.com - `s`： 搜索并替换 - `sed 's/time/timeing/g' /opt/log4j2.properties`：将文件中所有 time 替换成 timeing 并展示 - `sed 's/^#*//g' /opt/log4j2.properties`：将文件中每一行以 # 开头的都替换掉空字符并展示 - `sed 's/^#[ ]*//g' /opt/log4j2.properties`：将文件中每一行以 # 开头的，并且后面的一个空格，都替换掉空字符并展示 - `sed 's/^[ ]*//g' /opt/log4j2.properties`：将文件中每一行以空格开头，都替换掉空字符并展示 - `sed 's/^[0-9][0-9]*//g' /opt/log4j2.properties`：将文件中每一行以数字开头，都替换掉空字符并展示 - `sed '4,6s/^/#/g' /opt/log4j2.properties`：将文件中 4 ~ 6 行添加 # 开头 - `sed '4,6s/^#//g' /opt/log4j2.properties`：将文件中 4 ~ 6 行 # 开头去掉 ## 实用例子 - `ifconfig eth0 |grep 'inet addr' |sed 's/^.*addr://g' |sed 's/Bcast.*$//g'`：CentOS 6 只显示 IP - `ifconfig ens33 |grep 'inet' |sed 's/^.*inet//g' |sed 's/netmask.*$//g' |sed -n '1p'`：CentOS 7.3 只显示 IP。先用 grep 筛选中包含 inet 的数据。 - `s` 参数开头表示的是搜索替换，`/^.*inet` 表示从开头到 inet 之间，`//` 为空内容，`/g`，表示处理这一行所有匹配的内容。`/netmask.*$` 表示从 netmask 到这一行结束的内容 ## 资料 - 《构建高可用 Linux服务器》 - ================================================ FILE: markdown-file/Shell.md ================================================ # Shell 脚本编程 ## 环境 - CentOS 7.3 - bash - IntelliJ IDEA 2017.1 + Vim - Xshell 5 ## 基础 - shell 本质是一个命令解析器，我们这里讲的是 shell 脚本的编写/编程。 - shell 的软件有：sh、bash、zsh、csh、tcsh、ksh 等，Linux 发行版一般是 bash，我个人常用 bash 和 zsh - 查看 bash 版本号：`bash --version`，CentOS 7.3 是 4.2.46 - shell 脚本文件后缀：`sh` - shell 脚本开头语言标识。文件开头是：`#!/bin/sh` 或 `#!/bin/bash`（优先使用这个）（其实也可以不加，因为 Linux 默认就是 bash，只是为了合理，一般都要加），主要是告诉哪个解析器来执行脚本。如果该语句写在非第一行，那就是当做注释使用。 - 其中 /bin/sh 是 bash 的软链接，所以以上两种写法都可以。（证明：`ls -l /bin/sh`） - 但是业界上，sh 和 bash 其实是有历史区别的。 - sh 即 Bourne shell，POSIX（Portable Operating System Interface）标准的 shell 解释器，它的二进制文件路径通常是 /bin/sh，由 Bell Labs 开发。 - bash 是 Bourne shell 的替代品，属 GNU Project，二进制文件路径通常是 /bin/bash。 - Mac OS 上 /bin/sh 和 /bin/bash 是两个不同的文件 - 换行符（line separator）：IntelliJ IDEA 下编写脚本的时候一定要注意后下角的 LF 还是 CRLF，LF 才是 Linux 的要求。 - 执行脚本命令：`bash /opt/test.sh`（推荐），还有：`. /opt/test.sh`，`source /opt/test.sh` - 用 source 或是 点开头 的优点是：后面执行的脚本可以读取 source 或 点 执行脚本中的变量内容，但是这个读取也只是基于一个 shell 状态下，如果是另外开的 shell 是没有用的。 - 注释：用 # 号开头，只有单行注释，没有多行注释的用法。 - 如果脚本是用于 Crontab 定时任务，则定义在 /etc/profile 中的环境变量是无法使用的，需要重新定义。 - 给脚本赋上执行权限：` chmod +x gitnavi.sh` ## 变量 ### 变量概念 - **敲黑板，重点**：等于号，左右两边不要有空格，这个跟一般语言的语法很有冲突感。 - 查看系统的环境变量列表：`env` 或 `set` - 用户环境变量设置位置：`vim ~/.bash_profile` - 全局环境变量：`vim /etc/profile`，或者在目录：/etc/profile.d/ 下自己写一个 sh 文件，然后设置一下变量 - 变量命名只能使用字母，下划线和数字，并且不能以数字开头 - 环境变量要建议设置为全大写 - 环境变量需要 export 导出，完整设置，比如下面设置 JDK： ``` JAVA_HOME=/usr/program/jdk1.8.0_121 export JAVA_HOME ``` - 普通字符串变量：`gitnavi_url="gitnavi.com"`，虽然也可以用单引号或是不使用任何符号，但是不推荐。 - 使用双引号可以在变量中使用其他变量，双引号内容中有双引号，再加个转移斜杠即可，如下： - `str="Hello, \"${gitnavi_url}\"! \n"` - 数值型变量：`gitnavi_age=3` - 路径型变量：`gitnavi_patch=/com/gitnavi/youmeek` - 删除变量：`unset gitnavi_url` - 使用变量： - `echo $gitnavi_url`，不推荐这种 - `echo ${gitnavi_url}`，推荐这种 - 拼接字符串： ``` shell gitnavi_url="gitnavi.com" gitnavi_say="hello, ${gitnavi_url} !" echo ${gitnavi_say} ``` - 获取字符串长度，多加一个 # 号： ``` shell gitnavi_url="gitnavi.com" echo ${#gitnavi_url} ``` - 截取字符串（下标是从 0 开始）： ``` shell gitnavi_url="gitnavi.com" echo ${gitnavi_url:1:4} ``` - 查找子字符串出现的最开始下标位置（下标开始是 0，所以下面结果是：2）： ``` shell gitnavi_url="gitnavi.com" echo `expr index "${gitnavi_url}" navi` ``` ## 控制流 ### 条件语句 - if ``` shell if [ condition ] then command fi ``` - if - else ``` shell if [ condition ] then command else command fi ``` - if - else if - else if - else ``` shell if [ condition1 ] then command1 elif [ condition2 ] command2 elif [ condition3 ] command3 else commandN fi ``` ### case 语句（switch - case） - 条件可以是一个变量或是常数 ``` shell case "${gitnavi_url}" in "${condition1}" ) command1 ;; "helloworld" ) command2 ;; * ) command3 # 这里相当于 case 语句的 default ;; esac ``` ### 循环语句 - for 语句 - 列表是一组值（数字、**字符串**等）组成的序列，每个值通过空格分隔。每循环一次，就将列表中的下一个值赋给变量。 ``` shell for 变量 in 列表 do command1 command2 ... commandN done ``` - while 语句 ``` shell while [ condition ] do command done ``` ## 资料 - - - - - - ================================================ FILE: markdown-file/Showdoc-Install-And-Settings.md ================================================ # Showdoc 安装和配置 ## Showdoc 介绍 - 官网： - Github： - 当前（201804）最新版：2.0.7 ## Docker 下安装 Showdoc - 场景： - 我的 git 数据目录地址 /opt/git-data - clone 官网源码：`git clone --depth=1 https://github.com/star7th/showdoc.git` - 进入源码目录：`cd /opt/git-data/showdoc` - 构建 docker 镜像：`docker build -t showdoc ./` - 运行镜像：`docker run -d --name showdoc -p 4999:80 showdoc` - 浏览器输入：`http://47.106.127.131:4999/install`，进行程序的初始化，其实就是让你选择语言和几个提示 - 注意： - 容器中的数据存放目录为：`/var/www/html`，其中 - 数据库文件：`/var/www/html/Sqlite/sqlite.db.php` - 图片：`/var/www/html/Public/Uploads` - 后续需要升级系统，更换服务器需要迁移这两个目录下的文件。我尝试挂载这两个目录，但是发现出现各种问题解决不了，所以就不管了。 - 网站首页地址： - 没有什么系统管理员用户的概念，需要自己注册 ================================================ FILE: markdown-file/SkyWalking-Install-And-Settings.md ================================================ # SkyWalking 安装和配置 ## OpenAPM 相关 - 目前市场工具一览： - 目前最活跃的标准：[OpenTracing](https://opentracing.io/) - 现在比较活跃的应该是： - [Jaeger](https://www.jaegertracing.io/) - [SkyWalking](https://skywalking.apache.org/) ## 官网资料 - 当前时间：2019-05，最新版本：6.1 - 官网： - 官网 Github： - 官网文档： - 官网下载： - 该网页显示：官网目前推荐的是通过源码构建出包，docker 镜像推荐 - 源码构建方法： - 这里简单抽取下核心内容： - 至少需要 jdk8 + maven3 - 需要 Elasticsearch - Elasticsearch 和 SkyWalking 的所在服务器的时间必须一致 - 看了下源码依赖的 Elasticsearch 依赖包，目前支持 5.x 和 6.x ## 支持收集的组件列表 - 国内常用的组件目前看来都支持了 - ## 基于 IntelliJ IDEA 直接运行、Debug - 这里选择 IntelliJ IDEA 运行服务，方便我们 debug 了解 SkyWalking： ``` cd skywalking/ git submodule init git submodule update mvn clean package -DskipTests 因为需要设置 gRPC 的自动生成的代码目录，为源码目录，所以： 手工将下面提到的目录下的 grpc-java 和 java 目录设置为 IntelliJ IDEA 的源码目录（Sources Root） /skywalking/apm-protocol/apm-network/target/generated-sources/protobuf /skywalking/oap-server/server-core/target/generated-sources/protobuf /skywalking/oap-server/server-receiver-plugin/receiver-proto/target/generated-sources/protobuf /skywalking/oap-server/exporter/target/generated-sources/protobuf 手工将下面提到的目录下的 antlr4 目录设置为 IntelliJ IDEA 的源码目录（Sources Root） /skywalking/oap-server/generate-tool-grammar/target/generated-sources 手工将下面提到的目录下的 oal 目录设置为 IntelliJ IDEA 的源码目录（Sources Root） /skywalking/oap-server/generated-analysis/target/generated-sources ``` #### 启动 Server 项目 - 现在可以通过 IntelliJ IDEA 启动服务： - 编辑 server 配置：`/skywalking/oap-server/server-starter/src/main/resources/application.yml` - 里面有关 Elasticsearch 连接信息的配置，你可以根据自己的情况进行配置。 - 启动类：`/skywalking/oap-server/server-starter/src/main/java/org/apache/skywalking/oap/server/starter/OAPServerStartUp.java` - 第一次启动会创建 540 个左右的 Elasticsearch 索引库，会花点时间。 #### 启动 UI 项目 - 现在启动 UI 项目，找到：`/skywalking/apm-webapp/src/main/java/org/apache/skywalking/apm/webapp/ApplicationStartUp.java` - 访问 UI 地址： - 用户名：admin - 密码：admin ## Java Agent（探针） #### IntelliJ IDEA 项目调试 - 前面构建服务的时候记得构建出 jar 包出来，这里要用到 - 自己的 Spring Boot 项目 - 引包： ``` org.apache.skywalking apm-toolkit-trace 6.1.0 ``` - 常用注解： ``` @Trace @ApiOperation(tags = {"用户系统管理->用户管理->用户列表"}, value = "查询所有用户列表", notes = "查询所有用户列表") @RequestMapping(value = "/list", method = RequestMethod.GET) @ResponseBody public List list() { List sysUserList = sysUserService.findAll(); ActiveSpan.tag("一共有数据：", sysUserList.size() + "条"); log.info("当前 traceId={}", TraceContext.traceId()); return sysUserList; } ``` - 更多注解的使用： - 你的 demo 项目在 IntelliJ IDEA 启动的时候加上 VM 参数上设置： ``` -javaagent:/你自己的路径/skywalking-agent.jar -Dskywalking.agent.application_code=my_app_001 -Dskywalking.collector.backend_service=localhost:11800 ``` - 默认 11800 是 gRPC 的接收接口 - 你自己构建出来的 jar 路径一般是：`/skywalking/apm-sniffer/apm-agent/target/skywalking-agent.jar` - 然后请求你带有 Trace 的 Controller，然后去 UI 界面看统计情况 #### jar 包方式 - 你的 Spring Boot jar 包 run 之前加上 VM 参数： ``` java -javaagent:/你自己的路径/skywalking-agent.jar -Dskywalking.collector.backend_service=localhost:11800 -Dskywalking.agent.application_code=my_app_002 -jar my-project-1.0-SNAPSHOT.jar ``` #### Docker 方式 - Dockerfile ``` FROM openjdk:8-jre-alpine LABEL maintainer="tanjian20150101@gmail.com" ENV SW_AGENT_NAMESPACE=java-agent-demo \ SW_AGENT_COLLECTOR_BACKEND_SERVICES=localhost:11800 COPY skywalking-agent /apache-skywalking-apm-bin/agent COPY target/sky-demo-1.0-SNAPSHOT.jar /demo.jar ENTRYPOINT java -javaagent:/apache-skywalking-apm-bin/agent/skywalking-agent.jar -jar /demo.jar ``` - 构建镜像： ``` docker build -t hello-demo . docker run -p 10101:10101 -e SW_AGENT_NAMESPACE=hello-world-demo-005 -e SW_AGENT_COLLECTOR_BACKEND_SERVICES=127.10.0.2:11800 hello-demo ``` ## 构建 jar 部署在服务器 - 如果想直接打包出 jar 部署与服务器，只需要这样： ``` cd skywalking/ git submodule init git submodule update mvn clean package -DskipTests ``` ## 告警配置 - ## 资料 - - - - - <> - <> - <> - <> ================================================ FILE: markdown-file/Solr-Install-And-Settings.md ================================================ ## Solr 安装和配置 ## Solr 安装 - 官网： - 此时（20160329） Solr 最新稳定版本为：**5.5.0** - 官网下载： - 官网新手入门： - 我个人习惯 `/opt` 目录下创建一个目录 `setups` 用来存放各种软件安装包；在 `/usr` 目录下创建一个 `program` 用来存放各种解压后的软件包，下面的讲解也都是基于此习惯 - 我个人已经使用了第三方源：`EPEL、RepoForge`，如果你出现 `yum install XXXXX` 安装不成功的话，很有可能就是你没有相关源，请查看我对源设置的文章 - 必须先装有 JDK，我这里安装的是 JDK 7 - 先开放防火墙端口： - 添加规则：`sudo iptables -A INPUT -p tcp -m tcp --dport 8983 -j ACCEPT` - 保存规则：`sudo service iptables save` - 重启 iptables：`sudo service iptables restart` - 我这里使用 solr-4.10.2.zip：（大小：148 M） - 解压：`unzip solr-4.10.2.zip` - 移动到我个人安装目录：`mv solr-4.10.2/ /usr/program/` - 进入解压后目录：`cd /usr/program/solr-4.10.2/example/` - 启动 Solr 自带测试案例：`java -jar start.jar` - 打开浏览器，访问：`http://192.168.1.115:8983/solr/`，可以看到 Solr 相关页面就表示成功了 - 给 Solr 这个默认测试案例添加数据：`cd /usr/program/solr-4.10.2/example/exampledocs ; java -jar post.jar solr.xml monitor.xml` - 此时，你在 Solr 的默认测试 Core 为 collection1 的 query 下查询就可以看到一些数据。 ## Solr 新建 Core - 进入目录：`cd /usr/program/solr-4.10.2/example` - 创建项目目录：`mkdir ssm-solr` - 复制配置文件：`cp /usr/program/solr-4.10.2/example/solr/solr.xml /usr/program/solr-4.10.2/example/ssm-solr` - 创建一个 Core 目录及两个配置和数据目录：`mkdir -p /usr/program/solr-4.10.2/example/ssm-solr/user/conf /usr/program/solr-4.10.2/example/ssm-solr/user/data` - 复制配置文件：`cp /usr/program/solr-4.10.2/example/solr/collection1/core.properties /usr/program/solr-4.10.2/example/ssm-solr/user/` - 编辑配置文件：`vim /usr/program/solr-4.10.2/example/ssm-solr/user/core.properties` - 把：`name=collection1`，改为：`name=user`。这个名字就是你的新 Core 的命名，因为我测试的跟会员有关系，所以这里命名为 user - 配置 IK 分词器 - IKAnalyzer-2012-4x.jar 放在 /usr/program/solr-4.10.2/example/solr-webapp/webapp/WEB-INF/lib 目录下 - 复制配置文件：`cp /usr/program/solr-4.10.2/example/solr/collection1/conf/schema.xml /usr/program/solr-4.10.2/example/ssm-solr/user/conf/` - 复制配置文件：`cp /usr/program/solr-4.10.2/example/solr/collection1/conf/solrconfig.xml /usr/program/solr-4.10.2/example/ssm-solr/user/conf/` - 编辑配置文件：`vim /usr/program/solr-4.10.2/example/ssm-solr/user/conf/schema.xml`，内容改为如下： ``` xml sysUserId ``` - 编辑配置文件：`vim /usr/program/solr-4.10.2/example/ssm-solr/user/conf/solrconfig.xml`，内容改为如下： - 需要修改的内容有： - 将所有的 `` 标签注释掉，如我中文注释内容 - 把所有的 `text` 替换成 `sysUserLoginName`，这个 sysUserLoginName 是我在 schema.xm 定义的其中一个字段名字。df 是代表默认 field。 - 注释掉：`` 的内容 ``` xml 4.10.2 ${solr.data.dir:} ${solr.hdfs.home:} ${solr.hdfs.confdir:} ${solr.hdfs.blockcache.enabled:true} ${solr.hdfs.blockcache.global:true} ${solr.lock.type:native} true false ${solr.ulog.dir:} ${solr.autoCommit.maxTime:15000} false ${solr.autoSoftCommit.maxTime:-1} 1024 true 20 200 static firstSearcher warming in solrconfig.xml false 2 explicit 10 sysUserLoginName explicit json true sysUserLoginName true json true {!xport} xsort false query explicit velocity browse layout Solritas edismax text^0.5 features^1.0 name^1.2 sku^1.5 id^10.0 manu^1.1 cat^1.4 title^10.0 description^5.0 keywords^5.0 author^2.0 resourcename^1.0 sysUserLoginName 100% *:* 10 *,score text^0.5 features^1.0 name^1.2 sku^1.5 id^10.0 manu^1.1 cat^1.4 title^10.0 description^5.0 keywords^5.0 author^2.0 resourcename^1.0 text,features,name,sku,id,manu,cat,title,description,keywords,author,resourcename 3 on true cat manu_exact content_type author_s ipod GB 1 cat,inStock after price 0 600 50 popularity 0 10 3 manufacturedate_dt NOW/YEAR-10YEARS NOW +1YEAR before after on content features title name true html <b> </b> 0 title 0 name 3 200 content 750 on false 5 2 5 true true 5 3 spellcheck true ignored_ true links ignored_ solrpingquery all explicit true text_general default text solr.DirectSolrSpellChecker internal 0.5 2 1 5 4 0.01 wordbreak solr.WordBreakSolrSpellChecker name true true 10 sysUserLoginName default wordbreak on true 10 5 5 true true 10 5 spellcheck mySuggester FuzzyLookupFactory DocumentDictionaryFactory cat price string true 10 suggest sysUserLoginName true tvComponent lingo org.carrot2.clustering.lingo.LingoClusteringAlgorithm clustering/carrot2 stc org.carrot2.clustering.stc.STCClusteringAlgorithm kmeans org.carrot2.clustering.kmeans.BisectingKMeansClusteringAlgorithm true true name id features true false edismax text^0.5 features^1.0 name^1.2 sku^1.5 id^10.0 manu^1.1 cat^1.4 *:* 10 *,score clustering true false terms explicit sysUserLoginName elevator 100 70 0.5 [-\w ,/\n\"']{20,200} ]]> ]]> ,, ,, ,, ,, ,]]> ]]> 10 .,!? WORD en US text/plain; charset=UTF-8 5 *:* ``` - 先按 Ctrl + C 停掉刚刚启动做测试的 solr 程序 - 重启：`cd /usr/program/solr-4.10.2/example/ ; java -Dsolr.solr.home=ssm-solr -jar start.jar` - 重新访问，我们可以看到新的 Core 已经可以用了。 ================================================ FILE: markdown-file/SonarQube-Install-And-Usage.md ================================================ # SonarQube 使用 ## 环境说明 - CentOS 7.3 - 不建议在 Windows 上使用 ## SonarQube 基本概念 - 官网： - 官网下载： - Github 主页（主要是用 Java 开发）： - 当前（2018-02）最新 LTS 是：6.7.1，最新发布版本：7.0 - 主要支持的语言项目有： ``` C/C++ JavaScript C# Java COBOL TypeScript PL/SQL PL/I PHP ABAP T-SQL VB.NET VB6 Python RPG Flex Objective-C Swift Web（HTML and JSF/JSP） XML ``` ## Docker 的 SonarQube 安装和基本配置 #### 简单 docker 方式 - 一个命令（没有挂载）：`docker run -d --name sonarqube -p 19000:9000 -p 19092:9092 -e "TZ=Asia/Shanghai" -e SONARQUBE_JDBC_USERNAME=sonar -e SONARQUBE_JDBC_PASSWORD=sonar -e SONARQUBE_JDBC_URL=jdbc:postgresql://112.74.49.55:5433/sonar sonarqube` - 一个命令（有挂载）：`docker run -d --name sonarqube -p 19000:9000 -p 19092:9092 -v /data/docker/ci/sonarqube/conf:/opt/sonarqube/conf -v /data/docker/ci/sonarqube/data:/opt/sonarqube/data -v /data/docker/ci/sonarqube/extension:/opt/sonarqube/extensions -v /data/docker/ci/sonarqube/bundled-plugins:/opt/sonarqube/lib/bundled-plugins -e "TZ=Asia/Shanghai" -e SONARQUBE_JDBC_USERNAME=sonar -e SONARQUBE_JDBC_PASSWORD=sonar -e SONARQUBE_JDBC_URL=jdbc:postgresql://120.79.2.92:5433/sonar sonarqube` - 在浏览器里打开： - 管理员用户名、密码都是：`admin` #### docker-compose 方式 - 官网文档： ``` postgresql: restart: always image: sameersbn/postgresql:9.6-2 ports: - "5433:5432" environment: - DB_USER=sonar - DB_PASS=sonar - DB_NAME=sonar - DB_EXTENSION=pg_trgm volumes: - /data/docker/ci/postgresql:/var/lib/postgresql sonarqube: restart: always image: sonarqube ports: - "19000:9000" - "19092:9092" links: - postgresql:postgresql depends_on: - postgresql environment: - SONARQUBE_JDBC_URL=jdbc:postgresql://postgresql:5433/sonar - SONARQUBE_JDBC_USERNAME=sonar - SONARQUBE_JDBC_PASSWORD=sonar volumes: - /data/docker/ci/sonarqube/conf:/opt/sonarqube/conf - /data/docker/ci/sonarqube/data:/opt/sonarqube/data - /data/docker/ci/sonarqube/extension:/opt/sonarqube/extensions - /data/docker/ci/sonarqube/bundled-plugins:/opt/sonarqube/lib/bundled-plugins ``` - 一整套完整服务： ``` version: '3' networks: prodnetwork: driver: bridge services: nexus: image: sonatype/nexus3 ports: - 8081:8081 networks: - prodnetwork jenkins: image: jenkins ports: - 8080:8080 networks: - prodnetwork volumes: - /var/run/docker.sock:/var/run/docker.sock - /usr/local/bin/docker:/usr/bin/docker - /opt/jenkins/:/var/lib/jenkins/ links: - nexus - gitlab - sonar environment: - NEXUS_PORT=8081 - SONAR_PORT=9000 - SONAR_DB_PORT=5432 sonar: image: sonarqube ports: - 9000:9000 networks: - prodnetwork links: - sonardb environment: - SONARQUBE_JDBC_URL=jdbc:postgresql://sonardb:5432/sonar - SONARQUBE_JDBC_USERNAME=sonar - SONARQUBE_JDBC_PASSWORD=sonar sonardb: networks: - prodnetwork image: postgres ports: - 5432:5432 environment: - POSTGRES_DB=sonar - POSTGRES_USER=sonar - POSTGRES_PASSWORD=sonar volumes: - /opt/postgres/data:/var/lib/postgresql/data gitlab: image: gitlab/gitlab-ce restart: always networks: - prodnetwork environment: GITLAB_OMNIBUS_CONFIG: | # external_url 'https://gitlab.example.com' # Add any other gitlab.rb configuration here, each on its own line ports: - 80:80 - 443:443 - 2222:22 volumes: - /opt/gitlab/config:/etc/gitlab - /opt/gitlab/logs:/var/log/gitlab - /opt/gitlab/data:/var/opt/gitlab ``` ## SonarQube 插件 这里我安装的插件： chinese 中文支持 php php代码支持 Android Android支持 安装成功后，重启 sonarqube 服务，再次访问 http://ip:9000/ 即可看到中文界面 ## 与 Jenkins 集成 用 admin 用户登陆 sonarQube，【配置】–>【权限】 –>【用户】 输入admin,得到token,复制此token jenkins安装sonar相关插件 Jenkins 点击【系统管理】 –> 【系统设置]】 配置 Sonar，设置完保存 ## 资料 - - - <> - <> - <> ================================================ FILE: markdown-file/Spark-Install-And-Settings.md ================================================ # Spark 安装和配置 ## 介绍 - 2018-12 发布最新：2.4.0 版本 - 官网： - 官网文档： - 官网下载： - 官网 Github： ## 本地模式安装 - CentOS 7.4 - IP 地址：`192.168.0.105` - 必须 JDK 8.x - 已经安装了 hadoop-2.6.5 集群（**这个细节注意**） - 因为个人原因，我这里 Hadoop 还是 2.6.5 版本，Spark 要用的是 2.2.0 - Spark 2.2.0 官网文档： - 192M，下载速度有点慢 - `cd /usr/local && wget https://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0-bin-hadoop2.6.tgz` - 解压：`tar zxvf spark-2.2.0-bin-hadoop2.6.tgz` - 重命名：`mv /usr/local/spark-2.2.0-bin-hadoop2.6 /usr/local/spark` - 增加环境变量： ``` vim /etc/profile SPARK_HOME=/usr/local/spark PATH=$PATH:${SPARK_HOME}/bin:${SPARK_HOME}/sbin export SPARK_HOME export PATH source /etc/profile ``` - 修改配置：`cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh` - 修改配置：`vim $SPARK_HOME/conf/spark-env.sh` - 假设我的 hadoop 路径是：/usr/local/hadoop-2.6.5，则最尾巴增加： ``` export HADOOP_CONF_DIR=/usr/local/hadoop-2.6.5/etc/hadoop ``` - 因为要交给 YARN 作业，所以到这里就好了。 ## 资料 - ================================================ FILE: markdown-file/TeamCity-Install-And-Settings.md ================================================ # TeamCity 安装和配置 - ![TeamCity](http://img.youmeek.com/2016/TeamCity.jpg) ## 本文初衷 - 让大家了解持续集成（CI），以及入门了解 JetBrains 家的 TeamCity 的一些简单实用。 - TeamCity 的一些复杂使用我暂时也不会，一样也是要看文档的，所以不管怎样你都要养成看官网文档的习惯。 - TeamCity 和 Jenkins、Hudson 其实是非常一样的，基本流程都是差不多的，所以如果你会其他的几个 CI 工具的话，学习起来很快。 - Docker 已经开始在引入到 CI、CD（持续交付）过程中，可以大大简化整体的过程，也许这是未来的一个方向，有兴趣的可以了解更多。 ## 它是什么 - 官网定义（就一句话）：`Powerful Continuous Integration out of the box` - 官网首页： - 官网特性总结： - 百度百科： - 官网文档： - 支持的平台、环境如下图（看不懂也没关系，只要知道它最友好的是 Java 开发即可）： - ![TeamCity](http://img.youmeek.com/2016/TeamCity-Supported-Platforms-and-Environments.png) - 对上图的具体讲解可以看（**很重要**）： ## 为什么会出现 - TeamCity 的出现需要了解这个概念：持续集成（Continuous Integration） - 百科定义： - 网络文章： ## 哪些人喜欢它 - [持续集成学习笔记－入门篇（1）持续集成基本概念](http://blog.csdn.net/leijiantian/article/details/7916483) - [7 reasons why you should be using Continuous Integration](https://about.gitlab.com/2015/02/03/7-reasons-why-you-should-be-using-ci/) - [What is CI and why use it?](https://blog.rainforestqa.com/2014-07-17-what-is-CI-and-why-use-it/) ## 哪些人不喜欢它 - Google 不到结果，应该是没人不喜欢，只是有些人用不惯 ## 为什么学习它 - 更好地保证项目质量 ## 同类工具 - Jenkins： - Travis CI： - Bamboo： - Hudson： - QuickBuild： - 其他： - 好的网络文章介绍： - [持续集成工具的选择](http://cristal.iteye.com/blog/482658) ## TeamCity 入门 - 先来看一段官网的介绍视频 - 这个视频其实已经很清楚地说明了一个整理流程是怎样的，我今天只是做一个更加清晰的细节讲解而已 - 你需要穿越： ### TeamCity 安装部署（Linux 环境） - 在我讲之前，如果你英文还可以，就到官网这里看下： - [Installation Quick Start](https://confluence.jetbrains.com/display/TCD9/Installation+Quick+Start#InstallationQuickStart-onLinuxandOSX) - 安装环境要求： - JDK 1.7 以上，如果你要使用的是 2016 最新的 TeamCity 9.1 的话，JDK 官网推荐的 1.8 - 安装包下载： - 开始安装（eg：TeamCity-9.1.6.tar.gz）： - 解压压缩包（解压速度有点慢）：`tar zxf TeamCity-9.1.6.tar.gz` - 解压完的目录结构讲解： - 下载的 tar.gz 的本质是已经里面捆绑了一个 Tomcat，所以如果你会 Tomcat 的话，有些东西你可以自己改的。 - 按我个人习惯，把解压缩的目录放在 usr 目录下：`mv TeamCity/ /usr/program/` - 进入解压目录：`cd /usr/program/TeamCity/` - 启动程序：`/usr/program/TeamCity/bin/runAll.sh start` - 停止程序：`/usr/program/TeamCity/bin/runAll.sh stop` - 启动需要点时间，最好能给它一两分钟吧 ### 首次进入 - 假设我们已经启动了 TeamCity - 访问（TeamCity 默认端口是：8111）： - 如果访问不了，请先关闭防火墙：`service iptables stop` - 你也可以选择把端口加入白名单中： - `sudo iptables -I INPUT -p tcp -m tcp --dport 8111 -j ACCEPT` - `sudo /etc/rc.d/init.d/iptables save` - `sudo service iptables restart` - 如果你要改变端口，找到下面这个 8111 位置：`vim /usr/program/TeamCity/conf/server.xml` ``` nginx - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-a-2.jpg) - 如上图英文所示，TeamCity 的一些构建历史、用户信息、构建结果等这类数据是需要放在关系型数据库上的，而默认它给我们内置了一个。 - 如果你要了解更多 TeamCity External Database，你可以看： - 首次使用，官网是建议使用默认的：`Internal(HSQLDB)`，这样我们无需在一开始使用的就考虑数据库迁移或安装的问题，我们只要好好感受 TeamCity 给我们的，等我们决定要使用了，后续再更换数据也是可以的。但是内置的有一个注意点：'TeamCity with the native MSSQL external database driver is not compatible with Oracle Java 6 Update 29, due to a bug in Java itself. You can use earlier or later versions of Oracle Java.' - 假设我们就选 `Internal(HSQLDB)` ，则在创建初始化数据库的过程稍微需要点时间，我这边是几分钟。 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-a-3.jpg) - 如上图所示，接受下协议 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-b-1.jpg) - 如上图所示，我们要创建一个顶级管理员账号，我个人习惯测试的账号是：`admin`，`123456` - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-b-2.jpg) - 如上图所示，安装完首次进来地址： - 我们可以完善一些管理员信息和基础配置信息，这些配置不配置都无所谓了，只是完善了可以更加好用而已 - 如果你有 SMTP 的邮箱，你可以来这里开启邮件通知功能： - 如果你要开启通知功能那肯定下一步就是考虑通知内容的模板要如何设定： - 模板存放路径在：`/root/.BuildServer/config/_notifications`，用的是 FreeMarker 的语法 ### 项目的构建、管理 - 建议可以看下官网： - 现在让我们开始创建一个项目进行构建 - 项目管理地址： - 假设我现在有一个项目的结构是这样的： - Youshop-Parent，输出是 pom - Youshop-manage，输出是 pom - Youshop-pojo，输出 jar - 我们现在以 Youshop-pojo 为例，让它自动构建并发布到 Nexus 中，其他项目道理是一样的，这里就不多说。 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-1.jpg) - 如上图，由于目前只要是公司的项目都应该是在版本控制的，所以这里我们选择：**Create project from URL** - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-2.jpg) - 如上图，我们可以看出 TeamCity 也支持 HTTP、SVN、Git 等链接方式。 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-3.jpg) - 输入你项目托管商的账号密码，我这里用的是 oschina 的。 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-4.jpg) - 账号、密码验证通过，现在可以给这个项目配置一个项目基本信息。 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-5.jpg) - 在从版本控制中下载文件和扫描文件 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-6.jpg) - TeamCity 自动扫描到我是用 Maven 构建的项目，所以把 POM 文件找出来了，如果你一个项目有多种构建方式，有对应的配置文件的话，这里都会显示出来的。 - 我们勾选 Maven 前面的复选框，点击：`Use Selected` - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-7.jpg) - 由于我们的目标是构建完自动发布到 Nexus，所以我们的 **Maven Goals** 应该是：`clean install deploy`，这里我们应该点击：`Edit`，进行编辑。 - 如果你不懂 **Maven Goals**，那你需要学习下，这个很重要。 - 官网： - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-8.jpg) - 如上图，这台服务器必须装有 Maven、JDK - 如上图，`Goals` 我们的目标是 `clean install deploy` - 如上图，`Maven Home` 我建议是自己自定义路径，这样肯定不会有问题。所以你服务器上的 Maven 安装路径是什么你就在这里填写上去。Maven 目前支持的最高版本是：3.2.5 - 下载 Maven 3.2.5： - 如上图，`Java Parameters` 我建议也是自己自定义路径，别选择其他选项。 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-9.jpg) - 如上图，点击 `run`，开始手动构建该项目 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-10.jpg) - 如上图，我们看到简略的构建日志 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-11.jpg) - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-c-12.jpg) - 如上 2 张图，我们看到详细的构建内容 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-d-1.jpg) - 如上图，当我们版本控制中有提交的时候，TeamCity 会识别到记录 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-d-2.jpg) - 如上图，我们可以看到提交的 Commit Message 信息。 - 如上图，右边红圈的三个按钮是用来处理这次提交的，常用的是第一次按钮，点击对此次版本进行构建 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-d-3.jpg) - 如上图，如果你要看所有的提交记录，可以在 Change Log 看到并且指定版本构建 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-e-1.jpg) - 如上图，如果在你不想要这个项目的时候可以进行删除 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-e-2.jpg) - 如上图，因为 Goals 里面有 deploy 命令，所以构建完成会发布到 Nexus 中，这样团队的人就可以用到最新的代码了 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-e-3.gif) - 如上 gif 图演示，项目常去的几个配置地方就是这样些了 ### 配置自动构建触发行为 - 官网提供的触发行为有： - 下面我们举例说常见的：`VCS Trigger`、`Schedule Trigger` - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-f-1.jpg) - 如上图，点击 `Add new trigger` 添加触发器 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-f-2.jpg) - 如上图，常见的触发器就这些了 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-f-3.jpg) - 如上图，配置好 `VCS Trigger` 效果是，当我们有代码提交的时候，TeamCity 检查到新版本之后自动构建，这个最常用 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-f-4.jpg) - 如上图，`Schedule Trigger` 的作用就是定时构建，除了常用的几个输入框设置定时外，TeamCity 还可以使用 Cron 语法进行设置 - TeamCity 采用的 Cron 语法是 Quartz，具体你可以看：[Quartz CronTrigger Tutorial](http://www.quartz-scheduler.org/documentation/quartz-1.x/tutorials/crontrigger#CronTriggersTutorial-Specialcharacters) - 如果你不懂 Cron 语法那就算了，但是我想做 Java 这个应该要会的 ### 集成 IntelliJ IDEA - 安装 IntelliJ IDEA： - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-g-1.jpg) - 如上图，我们可以直接连上 TeamCity 服务器，这里的用户名密码是 TeamCity 的账号系统。 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-g-2.jpg) - 如上图，连上去的效果是这里会打钩 - ![TeamCity 向导](http://img.youmeek.com/2016/TeamCity-guide-g-3.jpg) - 如上图，我们可以直接把别人提交的内容做 patch 直接用 IntelliJ IDEA 进行整合 - 还有其他很多结合玩法大家可以自己去尝试下 ### 其他 - TeamCity 的插件列表： - 使用外部数据库： - 使用外部数据库： - 迁移到外部数据库： - 数据备份： - 代码检查功能： - - - ================================================ FILE: markdown-file/Thrift-Install-And-Usage.md ================================================ ## Apache Thrift 安装和配置 - 官网下载： - Apache 综合下载地（可以下载到旧版本）： - 一般我们建议下载 tar.gz 自己编译安装 - 安装所需的依赖等条件说明： - 源码安装方式说明： - 现在最新的版本是：0.10.0，而我选的版本是：0.9.3，因为我目前各个语言大家用的最多的还是 0.9 系列的版本 ### 源码包安装方法 - 下载 0.9.3 的源码包： - 安装依赖：`yum install -y autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++` - 安装总流程： ``` tar zxvf thrift-0.9.3.tar.gz cd thrift-0.9.3 ./configure --without-tests make make install ``` - 安装成功后，看下版本：`thrift --version` ### Docker 方式直接使用 - 拉取镜像：`docker pull thrift:0.9.3` - 现在假设我们有一个 service.thrift 的配置文件，放在 /opt 目录下：/opt/service.thrift - 现在我们要根据这个配置文件生成 java 类文件，把这些类 java 类生成到目录：/opt/thrift/data - 这个需要可以使用下面命令： ``` docker run -v "$PWD:/opt" thrift:0.9.3 thrift -o /opt/thrift/data --gen java /opt/service.thrift ``` - 如果你没有 service.thrift 文件也无所谓，我们现在就来创建一个（里面的内容懂不懂都无所谓）： ``` namespace java com.gitnavi.service struct User { 1: i32 id 2: string username } service UserService { User getUser() } ``` ================================================ FILE: markdown-file/Tmux-Install-And-Settings.md ================================================ # Tmux 安装和配置 ## 介绍 - 说明：`tmux is a "terminal multiplexer", it enables a number of terminals (or windows) to be accessed and controlled from a single terminal. tmux is intended to be a simple, modern, BSD-licensed alternative to programs such as GNU screen.` - 大家的主要用途：`提供了一个窗体组随时存储和恢复的功能`，本质有点类似守护进程感。 - 官网： - 官网 Github： - 当前（201703）最新版本：**2.3** ## 安装 - CentOS：`yum install -y tmux` - Ubuntu：`apt-get install -y tmux` - Mac：`brew install tmux` - 也可以看官网 GitHub 进行编译安装。 ## 基本概念 - session：一个服务器可以包含多个会话，可以理解成是一个特定的终端组合，通常将同一任务下的工作放到一个会话中。 - window：一个会话可以包含多个窗口，一个窗口就相当于普通终端的一个标签，通常在不同的窗口中完成不同的工作。 - pane：一个窗口可以被分割成多个小的窗格。 ## 基础用法 - 启动：`tmux` - 信息查询： - `tmux list-keys` 列出所有可以的快捷键和其运行的 tmux 命令 - `tmux list-commands` 列出所有的 tmux 命令及其参数 - `tmux info` 流出所有的 session, window, pane, 运行的进程号，等。 - 窗口的控制： - session 会话：session是一个特定的终端组合。输入tmux就可以打开一个新的session - `tmux new -s session_name` 创建一个叫做 session_name 的 tmux session - `tmux attach -t session_name` 重新开启叫做 session_name 的 tmux session - `tmux switch -t session_name` 转换到叫做 session_name 的 tmux session - `tmux list-sessions` / tmux ls 列出现有的所有 session - `tmux detach` 离开当前开启的 session - `tmux kill-server` 关闭所有 session - window 窗口：session 中可以有不同的 window（但是同时只能看到一个 window） - `tmux new-window` 创建一个新的 window - `tmux list-windows` - `tmux select-window -t :0-9` 根据索引转到该 window - `tmux rename-window` 重命名当前 window - pane 面板：window 中可以有不同的 pane（可以把 window 分成不同的部分） - `tmux split-window` 将 window 垂直划分为两个 pane - `tmux split-window -h` 将 window 水平划分为两个 pane - `tmux swap-pane -U` 在指定的方向（方向有：U、D、L、R 四种）交换 pane - `tmux select-pane -U` 在指定的方向（方向有：U、D、L、R 四种）选择下一个 pane ## 高级用法 - **注意：** 有一个前缀快捷键的概念，也称作：``，默认快捷键：`Ctrl + B`，下面的这些操作都是必须先按这个快捷键后再输入对应的命令： - 基本操作 - `?` 列出所有快捷键；按q返回 - `d` 脱离当前会话,可暂时返回Shell界面 - `s` 选择并切换会话；在同时开启了多个会话时使用 - `D` 选择要脱离的会话；在同时开启了多个会话时使用 - `:` 进入命令行模式；此时可输入支持的命令，例如 kill-server 关闭所有tmux会话 - `[` 复制模式，光标移动到复制内容位置，空格键开始，方向键选择复制，回车确认，q/Esc退出 - `]` 进入粘贴模式，粘贴之前复制的内容，按q/Esc退出 - `~` 列出提示信息缓存；其中包含了之前tmux返回的各种提示信息 - `t` 显示当前的时间 - `ctrl + z` 挂起当前会话 - 窗口操作 - `c` 创建新窗口 - `&` 关闭当前窗口 - `[0-9]` 数字键切换到指定窗口 - `p` 切换至上一窗口 - `n` 切换至下一窗口 - `l` 前后窗口间互相切换 - `w` 通过窗口列表切换窗口 - `,` 重命名当前窗口，便于识别 - `.` 修改当前窗口编号，相当于重新排序 - `f` 在所有窗口中查找关键词，便于窗口多了切换 - 面板操作 - `"` 将当前面板上下分屏（我自己改成了 |） - `%` 将当前面板左右分屏（我自己改成了 -） - `x` 关闭当前分屏 - `!` 将当前面板置于新窗口,即新建一个窗口,其中仅包含当前面板 - `Ctrl + 方向键` 以1个单元格为单位移动边缘以调整当前面板大小 - `Alt + 方向键` 以5个单元格为单位移动边缘以调整当前面板大小 - `q` 显示面板编号 - `o` 选择当前窗口中下一个面板 - `方向键` 移动光标选择对应面板 - `{` 向前置换当前面板 - `}` 向后置换当前面板 - `Alt+o` 逆时针旋转当前窗口的面板 - `Ctrl+o` 顺时针旋转当前窗口的面板 - `z` 最大化当前所在面板 - `page up` 向上滚动屏幕，q 退出 - `page down` 向下滚动屏幕，q 退出 ## 资料 - - - - - - - - <> - <> ================================================ FILE: markdown-file/Tomcat-Install-And-Settings.md ================================================ # Tomcat 8 安装和配置、优化 ## Tomcat 8 安装 - Tomcat 8 安装 - 官网： - Tomcat 8 官网下载： - 此时（20160207） Tomcat 8 最新版本为：`apache-tomcat-8.0.32.tar.gz` - 我个人习惯 `/opt` 目录下创建一个目录 `setups` 用来存放各种软件安装包；在 `/usr` 目录下创建一个 `program` 用来存放各种解压后的软件包，下面的讲解也都是基于此习惯 - 我个人已经使用了第三方源：`EPEL、RepoForge`，如果你出现 `yum install XXXXX` 安装不成功的话，很有可能就是你没有相关源，请查看我对源设置的文章    - Tomcat 8 下载（201706 更新：旧版本失效）：`wget http://apache.fayea.com/tomcat/tomcat-8/v8.0.44/bin/apache-tomcat-8.0.44.tar.gz` - 压缩包解压：`tar -zxvf apache-tomcat-8.0.32.tar.gz` - 移到解压出来文件夹到 /usr 下：`mv apache-tomcat-8.0.32/ /usr/program/` - 为了方便，修改解压目录的名字：`mv /usr/program/apache-tomcat-8.0.32/ /usr/program/tomcat8/` - 设置 Iptables 规则（这一步是必须设置的）： - 一种方式：先关闭 iptables，防止出现拦截问题而测试不了：`service iptables stop` - 一种方式：在 iptables 中添加允许规则（Tomcat 默认端口是 8080）： - 添加规则：`iptables -I INPUT -p tcp -m tcp --dport 8080 -j ACCEPT` - 保存规则：`service iptables save` - 重启 iptables：`service iptables restart` - 测试安装好后的 Tomcat： - 启动 Tomcat：`sh /usr/program/tomcat8/bin/startup.sh ; tail -200f /usr/program/tomcat8/logs/catalina.out` - 访问：`http://服务器 IP 地址:8080/` - 停止 Tomcat：`sh /usr/program/tomcat8/bin/shutdown.sh` - 如果启动报：`java.net.UnknownHostException 或 localhost. This prevents creation of a GUID` - 解决办法： - 修改配置文件：`vim /etc/sysconfig/network`，把里面的 HOSTNAME 改为你自己设置的一个名字，比如我这边改为：youmeek - 修改配置文件：`vim /etc/hosts`，把第一行的 127.0.0.1 这一行删掉，然后再最后一行增加这句：`127.0.0.1 localhost youmeek`，这里最后的 youmeek 就是主机名 - 然后重启计算机：`reboot` - 如果启动报：`java.net.BindException: 地址已在使用 / java.net.BindException: Address already in use` - 解决办法：这表示端口被占用，修改 Tomcat 的 server.xml 配置文件，把端口改了即可。 ## Tomcat 8 配置 - 设置 Tomcat 相关变量： - `vim /usr/program/tomcat8/bin/catalina.sh` - 在配置文件的可编辑内容最上面（98 行开始），加上如下内容（具体参数根据你服务器情况自行修改）： ``` ini JAVA_HOME=/usr/program/jdk1.8.0_72 CATALINA_HOME=/usr/program/tomcat8 CATALINA_OPTS="-Dfile.encoding=UTF-8 -server -Xms2048m -Xmx2048m -Xmn1024m -XX:PermSize=256m -XX:MaxPermSize=512m -XX:SurvivorRatio=10 -XX:MaxTenuringThreshold=15 -XX:NewRatio=2 -XX:+DisableExplicitGC" CATALINA_PID=$CATALINA_HOME/catalina.pid ``` - 如果使用 `shutdown.sh` 还无法停止 tomcat，可以修改其配置：`vim /usr/program/tomcat8/bin/shutdown.sh` - 把最尾巴这一行：`exec "$PRGDIR"/"$EXECUTABLE" stop "$@"` - 改为：`exec "$PRGDIR"/"$EXECUTABLE" stop 10 -force` ## Tomcat 8 优化 - Tomcat 6/7/8 的优化参数有点不一样，最好按下面的方式看一下官网这个文档是否还保留着这个参数 - 启动tomcat，访问该地址，下面要讲解的一些配置信息，在该文档下都有说明的： - 文档： - 你也可以直接看网络版本： - Tomcat 6 文档： - Tomcat 7 文档： - Tomcat 8 文档： - 如果你需要查看 Tomcat 的运行状态可以配置tomcat管理员账户，然后登陆 Tomcat 后台进行查看 - 编辑 /opt/tomcat8/bin/conf/tomcat-users.xml 文件，在里面添加下面信息： ``` xml ``` - 编辑配置文件：`vim /usr/program/tomcat8/conf/server.xml` #### 打开默认被注释的连接池配置 - 默认值： ``` xml ``` - 修改为： ``` xml ``` - 重点参数解释： - maxThreads，最大并发数，默认设置 200，一般建议在 500 ~ 800，根据硬件设施和业务来判断 - minSpareThreads，Tomcat 初始化时创建的线程数，默认设置 25 - prestartminSpareThreads，在 Tomcat 初始化的时候就初始化 minSpareThreads 的参数值，如果不等于 true，minSpareThreads 的值就没啥效果了 - maxQueueSize，最大的等待队列数，超过则拒绝请求 - maxIdleTime，如果当前线程大于初始化线程，那空闲线程存活的时间，单位毫秒，默认60000=60秒=1分钟。 #### 修改默认的链接参数配置 - 默认值： ``` xml ``` - 修改为： ``` xml ``` - 重点参数解释： - protocol，Tomcat 8 设置 nio2 更好：org.apache.coyote.http11.Http11Nio2Protocol（如果这个用不了，就用下面那个） - protocol，Tomcat 6、7 设置 nio 更好：org.apache.coyote.http11.Http11NioProtocol - enableLookups，禁用DNS查询，tomcat 8 默认已经是禁用了。 - maxConnections，最大连接数，tomcat 8 默认设置 10000 - acceptCount，指定当所有可以使用的处理请求的线程数都被使用时，可以放到处理队列中的请求数，超过这个数的请求将不予处理，默认设置 100 - maxPostSize，以 FORM URL 参数方式的 POST 提交方式，限制提交最大的大小，默认是 2097152(2兆)，它使用的单位是字节。10485760 为 10M。如果要禁用限制，则可以设置为 -1。 - maxHttpHeaderSize，http请求头信息的最大程度，超过此长度的部分不予处理。一般8K。 - 禁用 AJP（如果你服务器没有使用 Apache） - 把下面这一行注释掉，默认 Tomcat 是开启的。 ``` xml ``` - 关闭自动部署功能： - 旧值： ``` ``` - 新值： ``` ``` ## JVM 优化（JDK 8） - 模型资料来源： - 配比资料： - JDK8 配比：[关键系统的JVM参数推荐(2018仲夏版)](https://mp.weixin.qq.com/s/FHY0MelBfmgdRpT4zWF9dQ) - JDK8 常用配比总结 8G 内存：`CATALINA_OPTS="-Dfile.encoding=UTF-8 -Xms4g -Xmx4g"` - Java 的内存模型看：[这篇文章](Java-bin.md) - Linux 修改 /usr/program/tomcat8/bin/catalina.sh 文件，把下面信息添加到文件第一行。 - 如果服务器只运行一个 Tomcat，堆栈信息可以这样配置： - 机子内存如果是 4G： - `CATALINA_OPTS="-Dfile.encoding=UTF-8 -server -Xms2g -Xmx2g"` - 机子内存如果是 8G： - `CATALINA_OPTS="-Dfile.encoding=UTF-8 -server -Xms4g -Xmx4g"` - 机子内存如果是 16G： - `CATALINA_OPTS="-Dfile.encoding=UTF-8 -server -Xms8g -Xmx8g"` - 机子内存如果是 32G： - `CATALINA_OPTS="-Dfile.encoding=UTF-8 -server -Xms16g -Xmx16g"` - 如果是 8G 开发机 - `-Xms2g -Xmx2g` - 如果是 16G 开发机 - `-Xms4g -Xmx4g` - 还有一个参数：`-XX:MetaspaceSize=128M -XX:MaxMetaspaceSize=512M` - 这个可以通过调试来确认什么值合适，一般通过使用 `jstat -gc PID 250 20`，查看 gc 情况下的 MC、MU 情况。 - 默认 MaxMetaspaceSize 是 -1，无上限，所以如果硬件还行，不配置也没啥问题。 - 自己也了解 JVM 实际情况，那就根据实际情况调整。一般项目可以推荐：`-XX:MetaspaceSize=128M -XX:MaxMetaspaceSize=512M` - Windows 修改 /tomcat7/bin/catalina.bat 文件，找到这一行：`echo Using CATALINA_BASE: "%CATALINA_BASE%"`，然后在其上面添加如下内容，此方法只对解压版的 Tomcat 有效果，对于安装版本的需要点击安装后任务栏上的那个 Tomcat 图标，打开配置中有一个 `Java` Tab 的进行编辑。 ``` nginx set JAVA_OPTS=%JAVA_OPTS% -Dfile.encoding="UTF-8" -Dsun.jnu.encoding="UTF8" -Ddefault.client.encoding="UTF-8" -Duser.language=Zh set JAVA_OPTS=%JAVA_OPTS% -server -Xms4g -Xmx4g ``` ## tomcat-manager 监控配置（tomcat 8.0.53） #### 开启步骤 - 不同的 Tomcat 版本会有差异。 - 官网文档： - **先确保解压的 tomcat/webapps 下有 manager 项目** - 在配置文件里面添加可访问用户：`vim /usr/local/tomcat8/conf/tomcat-users.xml`，比如： ``` ``` - 正常情况下，manager ui 界面只运行内网：127.0.0.1 访问，这里我们要关闭这个限制。 - 修改 webapps 下 manager 项目下的配置：`vim /usr/local/tomcat8/webapps/manager/META-INF/context.xml` - 旧值： ``` > "$CATALINA_OUT" 2>&1 "&" else eval $_NOHUP "\"$_RUNJAVA\"" "\"$LOGGING_CONFIG\"" $LOGGING_MANAGER $JAVA_OPTS $CATALINA_OPTS \ -classpath "\"$CLASSPATH\"" \ -Dcatalina.base="\"$CATALINA_BASE\"" \ -Dcatalina.home="\"$CATALINA_HOME\"" \ -Djava.io.tmpdir="\"$CATALINA_TMPDIR\"" \ org.apache.catalina.startup.Bootstrap "$@" start \ >> "$CATALINA_OUT" 2>&1 "&" fi ``` - 将上面代码改为如下，其中请注意这个关键字：`/usr/sbin/cronolog`，这个是我上面提到的安装路径，你如果跟我不一样，需要自己修改该相关。 ``` ini shift # touch "$CATALINA_OUT" if [ "$1" = "-security" ] ; then if [ $have_tty -eq 1 ]; then echo "Using Security Manager" fi shift eval $_NOHUP "\"$_RUNJAVA\"" "\"$LOGGING_CONFIG\"" $LOGGING_MANAGER $JAVA_OPTS $CATALINA_OPTS \ -classpath "\"$CLASSPATH\"" \ -Djava.security.manager \ -Djava.security.policy=="\"$CATALINA_BASE/conf/catalina.policy\"" \ -Dcatalina.base="\"$CATALINA_BASE\"" \ -Dcatalina.home="\"$CATALINA_HOME\"" \ -Djava.io.tmpdir="\"$CATALINA_TMPDIR\"" \ org.apache.catalina.startup.Bootstrap "$@" start 2>&1 | /usr/sbin/cronolog "$CATALINA_BASE"/logs/catalina.%Y-%m-%d.out >> /dev/null & else eval $_NOHUP "\"$_RUNJAVA\"" "\"$LOGGING_CONFIG\"" $LOGGING_MANAGER $JAVA_OPTS $CATALINA_OPTS \ -classpath "\"$CLASSPATH\"" \ -Dcatalina.base="\"$CATALINA_BASE\"" \ -Dcatalina.home="\"$CATALINA_HOME\"" \ -Djava.io.tmpdir="\"$CATALINA_TMPDIR\"" \ org.apache.catalina.startup.Bootstrap "$@" start 2>&1 | /usr/sbin/cronolog "$CATALINA_BASE"/logs/catalina.%Y-%m-%d.out >> /dev/null & fi ``` ## 禁止外网通过 8080 端口访问 Tomcat - 添加 iptables 规则： - `iptables -t filter -A INPUT -p tcp -m tcp --dport 8080 -s localhost -j ACCEPT` - `iptables -t filter -A INPUT -p tcp -m tcp --dport 8080 -j REJECT` - `service iptables save` - `service iptables restart` ## Dockerfile 构建 Tomcat 镜像并部署 war 包 - 因为我自己改了 Tomcat 的几个配置文件，所以要把那几个文件和 Dockerfile 放一起进行构建。 - 在宿主机上创建 dockerfile 存放目录和 logs 目录：`mkdir -p /opt/cas-dockerfile/ /data/logs/tomcat/` ``` FROM tomcat:8.0.46-jre8 MAINTAINER GitNavi RUN rm -rf /usr/local/tomcat/webapps/* ADD server.xml /usr/local/tomcat/conf/ ADD cas.war /usr/local/tomcat/webapps/ CMD ["catalina.sh", "run"] EXPOSE 8081 ``` - 须知：容器中的 Tomcat 日志我是输出在容器的目录下：`/data/logs/`，所以我挂载中会有这个挂载选项 - 开始构建： - `cd /opt/cas-dockerfile` - `docker build . --tag="sso/cas-tomcat8:v1.0.9"` - `docker run -d -p 8111:8081 -v /data/logs/tomcat/:/data/logs/ --name="cas-tomcat-1.0.9" sso/cas-tomcat8:v1.0.9` - 查看启动后容器列表：`docker ps` - 进入 tomcat 容器终端查看一些情况：`docker exec -it 57a682478233 /bin/bash` - jar 应用的日志是输出在容器的 /opt 目录下，因为我们上面用了挂载，所在在我们宿主机的 /usr/local/logs 目录下可以看到输出的日志 - CentOS 7 防火墙开放端口： - `firewall-cmd --zone=public --add-port=8111/tcp --permanent` - `firewall-cmd --reload` ## 其他 - Tomcat 历史版本下载地址整理（不间断更新）： - **Tomcat 9.0.0.M4**：`wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-9/v9.0.0.M4/bin/apache-tomcat-9.0.0.M4.tar.gz` - **Tomcat 8.0.32**：`wget http://mirror.bit.edu.cn/apache/tomcat/tomcat-8/v8.0.32/bin/apache-tomcat-8.0.32.tar.gz` - **Tomcat 7.0.68**：`wget http://apache.fayea.com/tomcat/tomcat-7/v7.0.68/bin/apache-tomcat-7.0.68.tar.gz` - **Tomcat 6.0.45**：`wget http://mirrors.cnnic.cn/apache/tomcat/tomcat-6/v6.0.45/bin/apache-tomcat-6.0.45.tar.gz` ## 其他问题 #### log4j2 输出的时间与北京时间相差 8 小时 - 原因是系统时区不对。 - 设置时区： ``` timedatectl set-timezone Asia/Shanghai timedatectl status ``` ## 资料 - - - - - - - - - - ================================================ FILE: markdown-file/Ubuntu-Install-VMware.md ================================================ # Ubuntu 安装 VMware - 我个人习惯使用 VMware，在一些个性化和兼容性上，我觉得 VMware 比 box 好很多 ## 安装说明 - 下载：VMware-Workstation-Full-10.0.4-2249910.x86_64.bundle - 下载地址（rzb0）： - 安装组件： ``` nginx 命令：sudo apt-get update 命令：sudo apt-get install build-essential linux-headers-`uname -r` ``` - 进入软件下载后目录，比如我在 /opt/setups 下 - `cd /opt/setups` - `chmod +x VMware*.bundle` - `sudo ./VMware*.bundle` - 接下来会弹出图形界面，则效果跟 Windows 一样，那就没啥好说了。 ## 资料 - [How To Install VMware Workstation 11 On Ubuntu 14.10](https://www.liberiangeek.net/2014/12/install-vmware-workstation-11-ubuntu-14-10/) ================================================ FILE: markdown-file/Ubuntu-Install.md ================================================ # Ubuntu 安装和分区 - 先下载该系列教程（提取码：8qfg）： ![Ubuntu 安装和分区视频](../images/Ubuntu-a-1.jpg) - 找到如图箭头目录上的两个视频，并看完，你对 Ubuntu 的安装就有了一个大概的了解，视频中 Ubuntu 虽然版本较早 13.04 的， 但是没关系，对于 Ubuntu 来讲新旧版本安装基本都一样的，所以别担心，驱动的问题也别担心，我们不是要在 Ubuntu 打游戏的，所以常见驱动系统是已经帮我们集成的不会影响使用。但是分区这一块的话，我个人建议是手工分区，视频中没有最终执行手动分区，只是演示了一下又返回了。 我个人是要求你手动分区的。 - 但是再讲分区之前，用什么设备安装是第一前提，我这里推荐用 U 盘，你准备一个 4 G 以上的 U 盘，把 Ubuntu 系统进行格式化到里面，用这个 U 盘作为安装盘进行安装。这个过程不难，具体看如下文章： - [http://www.Ubuntukylin.com/ask/index.php?qa=jc_1](http://www.Ubuntukylin.com/ask/index.php?qa=jc_1) - [http://www.wubantu.com/36bc2075036fab76.html](http://www.wubantu.com/36bc2075036fab76.html) - [http://tieba.baidu.com/p/2795415868](http://tieba.baidu.com/p/2795415868) - [http://www.Ubuntukylin.com/public/pdf/UK1410install.pdf](http://www.Ubuntukylin.com/public/pdf/UK1410install.pdf) - 好了假设你现在已经格式化好 U 盘，现在可以开始讲分区了。这里特别说明的是有多个硬盘的，多块硬盘分区方案就没视频中那么简单，特别是 Linux 的盘符不了解的就更加难了，所以看下图： ![Ubuntu 安装和分区视频](../images/Ubuntu-a-2.jpg) - 以我这边为例：我这边机子的硬盘是：一个 128 G 固态 + 500 G 的机械，我给一个分区方案给你们参考。下面的内容需要你先看过视频才能看懂： - Linux 一般可分 3 个分区，分别是 `boot 分区`、`swap 分区` 和 `根分区`（根分区也就是斜杠/） boot 是主分区类型，swap 是是逻辑分区，/ 是逻辑分区，其他如果你还想划分的也都是逻辑分区。 最近年代生产的的主板，可能还需要分出一个 EFI 分区启动。EFI 的选择和 swap 一样，都在那个下拉菜单中。 怎么判断你要不要分出一个 EFI 呢？如果你根据我的要求分了 boot，swap，根之后，点击下一步报错，有提示 EFI 相关的错误信息，那就分一个给它，我这边就是有报错的。 - **120 G 固态硬盘：** - `/boot` == 1G（主分区），这里为boot单独挂载是有必要的。系统崩溃的时候，损坏的是这个分区。我们重装系统之后，其他分区我们保留下来，重新挂载上去就可以用了。 - `/EFI` == 100M（主分区）（我有提示报错需要分这个，我就分了） - `/swap` == 12G（逻辑分区）一般大家的说法这个大小是跟你机子的内存大小相关的，也有说法内存大不需要这个，但是还是建议分，我内存是12G，所以我分12G。 - `/` == 100G（逻辑分区） - **500 G 机械硬盘：** - `/home` == 500G（逻辑分区） - 分区后的安装都是下一步的，而且 Ubuntu kylin 还是中文的说明，所以没啥难度。 到此假设你给自己的电脑安装了 Ubuntu，那下一讲我将讲 Ubuntu 的相关设置。 - 如果你想用 VMware 虚拟机安装，这个教程推荐给你，讲得很详细。 - [http://www.jikexueyuan.com/course/1583.html](http://www.jikexueyuan.com/course/1583.html) ================================================ FILE: markdown-file/Ubuntu-Popular-Software.md ================================================ # Ubuntu 常用的软件 ## 安装软件基础 - 取回更新的软件包列表信息：`sudo apt-get update`，如果安装某个软件报：`Unable to locate package`，就得这样 update 下。 - 安装本地 deb 文件：`sudo dpkg -i 文件名` - 安装过程提示缺依赖：`sudo apt-get --fix-broken install -y` - 查看已经安装了哪些包：`sudo dpkg -l` - 查看已安装列表中是否有 Vim 软件，没有安装则没有数据显示：`sudo dpkg -l | grep vim` - 查看 Vim 软件安装位置：`sudo dpkg -L vim` - 安装名为 Vim 的软件：`sudo apt-get install vim` - 升级系统所有有新版本的软件：`sudo apt-get upgrade` ## 卸载 - 卸载名为 Vim 的软件（保留配置文档）：`sudo apt-get remove vim`（在输入软件的名的时候，可以输入部分，按 Tab 进行提示） - 卸载名为 Vim 的软件（并删除配置文档）：`sudo apt-get –purge remove vim` - 卸载名为 Vim 的软件（并删除包及其依赖的软件包、配置文件）：`sudo apt-get autoremove --purge vim` - 卸载名为 Vim 的软件（dpkg 方式）：`sudo dpkg -r vim`（在输入软件的名的时候，可以输入部分，按 Tab 进行提示） - 卸载名为 Vim 的软件（dpkg 方式，并删除配置文档）：`sudo dpkg -P vim` - 删除已下载的旧包文件：`sudo apt-get autoclean` - 删除所有已下载的包文件：`sudo apt-get clean` - 卸载所有自动安装且不再使用的软件包：`sudo apt-get autoremove` ## 安装常用系统软件 - sysv-rc-conf - 介绍：管理启动项，一般是用在 Ubuntu 系统上的，CentOS 一般用的 chkconfig，两者用法差不多 - 安装：`sudo apt-get install -y sysv-rc-conf` - 资料： - 图文资料： - 图文资料： ================================================ FILE: markdown-file/Ubuntu-Specific-Command.md ================================================ # Ubuntu 特殊命令 - `lsb_release -a`，查看发行代号 - `cat /etc/issue`，查看 Ubuntu 发行版本 - `sudo ufw disable`，禁用防火墙 - `sudo ufw enable`，开启防火墙 - `apt-get remove iptables`，卸载防火墙 - `` - `` - `` - `` - `` - `` ================================================ FILE: markdown-file/Ubuntu.md ================================================ # Ubuntu 介绍 - Ubuntu 母公司 Canonical： - Ubuntu 百科： - Ubuntu Wiki： - Ubuntu 英文官网： - Ubuntu 中文官网： - Ubuntu kylin 官网： - Ubuntu 标准桌面版下载： - Ubuntu 官网回答社区： - Ubuntu 正式衍生版本： - Ubuntu 非正式衍生版本： - Unity 桌面介绍： - GNOME 桌面介绍： - KDE 桌面介绍： # Ubuntu 原型系统：Debian - Debian Wiki： - Debian 百科： - Debian 官网： - Debian 自我介绍： - 关键字： - [Debian 社群契约](https://www.debian.org/social_contract) - [何谓自由 (Free)？ 或者说，何谓自由软件 (Free Software)？](https://www.debian.org/intro/free) - [什么是自由软件？](http://www.gnu.org/philosophy/free-sw) - [Debian 历史](https://www.debian.org/doc/manuals/project-history/) - Debian 的发行版介绍： - Debian 官网稳定版下载 1： - Debian 官网稳定版下载 2： - Debian 中国镜像 1： - Debian 中国镜像 2： - Debian 中国镜像 3： - Debian 中文安装手册： - Debian 软件列表： ================================================ FILE: markdown-file/VPN.md ================================================ # VPN（Virtual Private Network）介绍 ## VPN 介绍 VPN 分类有很多，这里主要讲 PPTPD 和 L2TPD、OpenVPN ## PPTPD 安装 - 查看是否已安装： - CentOS：`rpm -qa | grep pptpd` - Ubuntu：`dpkg -l | grep pptpd` - 先安装依赖包： - CentOS 6：`sudo yum -y install ppp` - Ubuntu：`sudo apt-get install -y ppp` - 安装： - CentOS 6：`sudo yum -y install pptpd` - Ubuntu：`sudo apt-get install -y pptpd` ## PPTPD 服务配置 - 注意：PPTPD 默认端口是 1723，所以防火墙要取消对其限制，查看 1723 端口是否开启：`sudo netstat -apnl | grep 1723` - 编辑 PPTPD 配置文件介绍（记得先备份）：`sudo vim /etc/pptpd.conf` - 修改配置信息： - `option /etc/ppp/options.pptpd` #配置文件中有一行这样的参数，如果没有自己添加上去，正常默认是有的。同时也有可能是这样的一句话：`option /etc/ppp/pptpd-options`，具体你自己看下你的配置文件里面是什么内容。 - `logwtmp` #默认这个是没有被注释的，这里要进行注释 - `localip 172.31.0.1` #本机服务器的内网IP地址，建议你的内网IP一般不要用常见网段，默认这个被注释，取消注释 - `remoteip 192.168.0.10-200` #客户端的IP地址范围，默认这个被注释，取消注释 - 编辑 PPP 配置文件介绍（记得先备份）：`sudo vim /etc/ppp/options.pptpd` 或是 `sudo vim /etc/ppp/pptpd-options` - 在文件尾巴添加如下配置信息（默认配置文件应该有，只是被注释了）： - `ms-dns 8.8.8.8` #配置DNS，如果是境外服务器最好改为google的，国内的看情况 - `ms-dns 8.8.4.4` #配置DNS，如果是境外服务器最好改为google的，国内的看情况 - 开启系统转发（记得先备份）：`sudo vim /etc/sysctl.conf` - 修改配置信息该值改为 1： - `net.ipv4.ip_forward=1` # 默认是注释掉的，要取消注释，也有出现是没有注释，但是默认是0：`net.ipv4.ip_forward=0` - 刷新配置：`sudo sysctl -p` - 设置 iptables 转发： - 追加 iptables 规则：`sudo iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE` - 设置默认启动使用该规则：`sudo vim /etc/rc.local` - 在配置文件中添加：`iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE` - 添加登录账号（记得先备份）：`sudo vim /etc/ppp/chap-secrets` - 在文件尾巴添加如下配置信息： - `mytest1 pptpd 123456 *` #该格式分别表示：登录名、登录协议、密码、该连接上的客户端用什么 IP（* 表示随机一个 IP） - 重启服务：`sudo service pptpd restart` - Windows 连接 VPN 方法： ## L2TPD 安装 - 查看是否已安装： - CentOS：`rpm -qa | grep xl2tpd` - Ubuntu：`dpkg -l | grep xl2tpd` - 安装： - CentOS 6：`XXXXXXXXXXXXXXXXXXXXXXXX` - Ubuntu：`sudo apt-get install -y xl2tpd ppp openswan` ## L2TPD 服务配置 - 注意：L2TPD 默认端口是 1701，所以防火墙要取消对其限制，查看 1701 端口是否开启：`sudo netstat -apnl | grep 1701` - 编辑 Openswan 配置文件介绍（记得先备份）：`sudo vim /etc/ipsec.conf` - left=172.31.201.255 #其中这里的IP地址改为本机的内网IP，文件中有两处，都进行修改 - 编辑 IPsec-based 配置文件介绍（记得先备份）：`sudo vim /etc/ipsec.secrets` - 172.31.201.255 %any: PSK"adc123456" #在文件最后一行补充：（格式是：本机内网IP，后面是配置密钥。密钥不配置也可以但是建议配上去） - 编辑 L2TPD 配置文件介绍（记得先备份）：`sudo vim /etc/xl2tpd/xl2tpd.conf` - 修改配置信息： ``` bash ipsec saref = yes require chap = yes refuse pap = yes require authentication = yes ppp debug = yes length bit = yes ip range = 192.168.1.10-192.168.1.200 #这是客户端连接本机的IP端限制 local ip = 172.31.201.255 #这是本机服务器端的内网 IP pppoptfile = /etc/ppp/options.xl2tpd #指定本机的 PPP 配置文件地址，如果你的 PPP 配置文件地址不是这里那就改下 ``` - 编辑 PPP 配置文件介绍（记得先备份）：`sudo vim /etc/ppp/options.xl2tpd` (如果没有这个文件自己创建) - 在文件尾巴添加如下配置信息： ``` bash refuse-mschap-v2 refuse-mschap ms-dns 8.8.8.8 #配置DNS，如果是境外服务器最好改为google的，国内的看情况 ms-dns 8.8.4.4 #配置DNS，如果是境外服务器最好改为google的，国内的看情况 asyncmap 0 auth lock hide-password local name l2tpd proxyarp lcp-echo-interval 30 lcp-echo-failure 4 refuse refuse refuse ``` - 在终端输入命令：sudo sh -c 'for each in /proc/sys/net/ipv4/conf/* do echo 0 > $each/accept_redirects echo 0 > $each/send_redirects done' - 开启系统转发（记得先备份）：`sudo vim /etc/sysctl.conf` - 修改配置信息： - net.ipv4.ip_forward=1 #默认是注释掉的，要取消注释 - 刷新配置：`sudo sysctl -p` - 设置 iptables 转发： - 追加 iptables 规则：`sudo iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE` - 设置默认启动使用该规则：`sudo vim /etc/rc.local` - 在配置文件中添加：iptables -t nat -A POSTROUTING -o eth0 -j MASQUERADE - 添加登录账号（记得先备份）：`sudo vim /etc/ppp/chap-secrets` - 在文件尾巴添加如下配置信息： - mytest1 l2tpd 123456 * #该格式分别表示：登录名、登录协议、密码、该连接上的客户端用什么 IP（* 表示随机一个 IP） - 重启服务：`sudo service l2tpd restart` - Windows 连接 VPN 方法： ## OpenVPN 安装 - 主要软件版本信息： - OpenVPN：2.3.11-1.el6 - EasyRsa：2.2.2-1.el6 - 检查系统环境是否支持：`cat /dev/net/tun`，如果出现：`cat: /dev/net/tun: File descriptor in bad state`，则表示支持。如果现实的是：`cat: /dev/net/tun: No such device `，则不支持 - 需要先安装 EPEL 源，具体可以看这篇文章：[CentOS 源设置](https://github.com/judasn/Linux-Tutorial/blob/master/centos-settings/CentOS-Extra-Packages.md) - 安装： - 安装依赖包： - `yum install -y gcc make rpm-build autoconf.noarch openssl openssl-devel lzo lzo-devel pam pam-devel automake pkgconfig` - 安装 OpenVPN： - `yum install -y openvpn easy-rsa` ## OpenVPN 服务配置 ### 禁用 selinux - 编辑配置文件：`vim /etc/selinux/config` - 把 `SELINUX=enforcing` 改为 `SELINUX=disabled` ### 生成OpenVPN需要的服务器、客户端证书 - 使用 easy-rsa 的脚本产生证书 - 修改vars文件 - `cd /usr/share/easy-rsa/2.0`，后面关于证书的操作都是在这个目录下 - `vim vars` - 需要修改的内容主要有下面这些信息（在文件 64 行）：注册信息，比如公司地址、公司名称、部门名称等。 - `export KEY_COUNTRY="CN"` - `export KEY_PROVINCE="GuangDong"` - `export KEY_CITY="GuangZhou"` - `export KEY_ORG="YouMeekOrganization"` - `export KEY_EMAIL="admin@youmeek.com"` - `export KEY_OU="YouMeekOrganizationalUnit"` - 初始化环境变量 - `source vars` - 清除keys目录下所有与证书相关的文件，下面步骤生成的证书和密钥都在 /usr/share/easy-rsa/2.0/keys 目录里 - `./clean-all` - 生成根证书 ca.crt 和根密钥 ca.key（会有好几个提示，你都不需要输入什么内容，一路按回车即可，除非你懂原理） - `./build-ca` - 为服务端生成证书和密钥（也会有好几个提示，你都不需要输入什么内容，一路按回车即可，直到提示需要输入y/n时，输入y再按回车继续走） - 其中：server，这个名字别改，照着来，等下那些就可以直接使用。 - `./build-key-server server` - 每一个登陆的VPN客户端需要有一个证书，每个证书在同一时刻只能供一个客户端连接，下面语句是建立2份demo，你可以只输入第一个即可。 - 为客户端生成证书和密钥（一路按回车，直到提示需要输入y/n时，输入y再按回车，一共两次） - 其中：client1，这个名字别改，照着来，等下那些就可以直接使用，除非你会。 - `./build-key client1` - `./build-key client2` - 创建迪菲·赫尔曼密钥，会在 keys 目录里面生成dh2048.pem文件（生成过程比较慢，在此期间不要去中断它，我这边花的时间是：2分钟） - `./build-dh` ### 设置OpenVPN服务端配置文件 - 复制一份服务器端配置文件模板server.conf到/etc/openvpn/ - 其中，我这边现在的版本是：2.3.11，所以我这边是填这个，你的不一定就跟我一样，所以你先到 doc 目录下，看下你具体是哪个版本，改下下面这句命令即可。 - `cp /usr/share/doc/openvpn-2.3.11/sample/sample-config-files/server.conf /etc/openvpn/` - 编辑 server.conf，把下面的内容替换到已有的文件中，记得去掉后面的注释，我这样写只是为了方便解释对应的内容含义： - `vim /etc/openvpn/server.conf` ``` bash port 1194 # 端口一般我们不改 proto udp # 默认使用udp，如果使用HTTP Proxy，改成tcp，必须使用tcp协议，还需要注意的是：需要与客户端配置保持一致，等下客户端配置会说道 dev tun ca /usr/share/easy-rsa/2.0/keys/ca.crt # 这一行默认值为：ca ca.crt cert /usr/share/easy-rsa/2.0/keys/server.crt # 这一行默认值为：cert server.crt key /usr/share/easy-rsa/2.0/keys/server.key # 这一行默认值为：key server.key dh /usr/share/easy-rsa/2.0/keys/dh2048.pem # 这一行默认值为：dh dh2048.pem server 10.192.170.0 255.255.255.0 # 给客户的分配的局域网IP段，默认虚拟局域网网段，不要和实际的局域网冲突即可，这个10.192.170.0跟下面还有一个地方配置也有关联，需要注意 ifconfig-pool-persist ipp.txt # 启用了ipp.txt作为客户端和virtual IP的对应表，以方便客户端重新连接可以获得同样的IP； keepalive 10 120 comp-lzo persist-key persist-tun status openvpn-status.log # OpenVPN的状态日志，默认为/etc/openvpn/openvpn-status.log log openvpn.log # OpenVPN的运行日志，默认为/etc/openvpn/openvpn.log log-append openvpn.log verb 3 push "redirect-gateway def1 bypass-dhcp" push "dhcp-option DNS 8.8.8.8" push "dhcp-option DOMAIN-SEARCH ap-northeast-1.compute.internal" push "dhcp-option DOMAIN-SEARCH ec2.drawbrid.ge" ``` ### 配置内核和防火墙，开启nat功能，启动服务 - 开启路由转发功能 - `sed -i '/net.ipv4.ip_forward/s/0/1/' /etc/sysctl.conf` - 刷新配置：`sudo sysctl -p` 辨别你的 VPS 是属于那种虚拟方式，主流有：Xen KVM OpenVZ，方法： - `sudo yum install -y virt-what`，virt-what是一个判断当前环境所使用的虚拟技术的脚本，常见的虚拟技术基本上都能正常识别出来 - `sudo virt-what`，我这边 Vultr 输出的结果是：KVM - 配置防火墙 - `iptables -A INPUT -p udp --dport 1194 -j ACCEPT` - `iptables -A INPUT -m state --state ESTABLISHED,RELATED -j ACCEPT` - 设置IP转发，若你的 VPS 虚拟方案是：Xen 或 KVM的请输入：（eth0要根据具体的网卡标示来，可以通过ifconfig查看），其中：10.192.170.0/16 表示客户端连接上去后从这个区间中分配给客户端的IP地址 - `iptables -t nat -A POSTROUTING -s 10.192.170.0/16 -o eth0 -j MASQUERADE` - 若你的 VPS 虚拟方案是：OpenVZ 的请输入：（45.32.90.22是你VPS的IP） - `iptables -t nat -A POSTROUTING -s 10.192.170.0/16 -j SNAT --to-source 45.32.90.22` - 保存防火墙配置 - `service iptables save` - `service iptables restart` ### 启动openvpn并设置为开机启动 - `service openvpn start` - `chkconfig openvpn on` ### OpenVPN客户端配置 下载 Windows 客户端： https://openvpn.net/index.php/download/community-downloads.html Mac 用户下载这个 tunnelblick（该地址需要开穿越）： http://code.google.com/p/tunnelblick/ - 从服务器上下载证书文件到本地： - `/usr/share/easy-rsa/2.0/keys/ca.crt` - `/usr/share/easy-rsa/2.0/keys/client1.crt` - `/usr/share/easy-rsa/2.0/keys/client1.key` 到你本地的电脑上（window电脑在安装好OpenVPN软件后可以把如上证书拷贝到如下文件夹里：C:\Program Files\OpenVPN\config ） 从服务器找到这个文件：/usr/share/doc/openvpn-2.3.11/sample/sample-windows/sample.ovpn，下载到本地电脑这个目录下：C:\Program Files\OpenVPN\config 然后把这个文件改名字为：client1.ovpn 文件内如如下, 其他不用改只要把SERVER-IP 改成你服务器的 IP ``` bash client #这个client不是自定义名称 不能更改 dev tun #要与前面server.conf中的配置一致。 proto udp #要与前面server.conf中的配置一致。 remote 45.32.90.22 1194 #将45.32.90.22替换为你VPS的IP，端口也与前面的server.conf中配置一致。 resolv-retry infinite nobind persist-key persist-tun ca ca.crt #具体名称以刚下载的为准 cert client1.crt #具体名称以刚下载的为准 key client1.key #具体名称以刚下载的为准 comp-lzo verb 3 ``` - 打开 OpenVPN 客户端，连接试试看。 ## VPN 资料 - - - - - - - - - - [Freeradius 服务（用于账号认证管理的工具，可以扩展到VPN的账号管理）](http://www.jikexueyuan.com/course/1692_4.html?ss=2) ================================================ FILE: markdown-file/Vim-Install-And-Settings.md ================================================ # Vim 安装和配置、优化 ## Vim 介绍 - Vim 官网： ## Vim 安装 - CentOS：`sudo yum install -y vim` - Ubuntu：`sudo apt-get install -y vim` - Windows GVim 下载： ## Vim 配置（CentOS 环境） - 编辑配置文件是：`sudo vim /etc/vimrc` ## Vim 基础快捷键 - 注意 - 严格区分字母大小写 - 含有 `Ctrl` 字眼都表示 Ctrl 键盘按钮 - 特定符号需要配合 Shift 键，比如字母键盘区上面的数字区：!@#%%^&*() - 要按出冒号键 `:` 也是需要 Shift 的 - 移动 - `j`，下 - `k`，上 - `h`，左 - `l`，右 - `v`，按 v 之后按方向键可以选中你要选中的文字 - `gg`，跳到第 1 行 - `G`，跳到最后一行 - `16G` 或 `:16`，跳到第 16 行 - `$`，到本行 **行尾** - `0`，到本行 **行头** - `w`，到下一个单词的 **开头** - `e`，到下一个单词的 **结尾** - `Ctrl + u`，向文件 **首翻** 半屏 - `Ctrl + d`，向文件 **尾翻** 半屏 - `Ctrl + f`，向文件 **尾翻** 一屏 - `Ctrl + b`，向文件 **首翻** 一屏 - `*`，匹配光标当前所在的单词，移动光标到 **下一个** 匹配单词 - `#`，匹配光标当前所在的单词，移动光标到 **上一个** 匹配单词 - `^`，到本行第一个单词头 - `g_`，到本行最后一个单词尾巴 - `%`，匹配括号移动，包括 **(、{、[** - 插入 - `I`，在当前 **行首** 插入 - `A`，在当前 **行尾** 插入 - `i`，在当前字符的 **左边** 插入 - `a`，在当前字符的 **右边** 插入 - `o`，在当前行 **下面** 插入一个新行 - `O`，在当前行 **上面** 插入一个新行 - 编辑 - 删除 - `x`，删除 **光标后** 的 1 个字符 - `2x`，删除 **光标后** 的 2 个字符 - `X`，删除 **光标前** 的 1 个字符 - `2X`，删除 **光标前** 的 2 个字符 - `dd`，删除当前行 - `cc`，删除当前行后进入 insert 模式 - `dw`，删除当前光标下的单词/空格 - `d$`，删除光标至 **行尾** 所有字符 - `dG`，删除光标至 **文件尾** 所有字符 - `3dd`，从当前光标开始，删掉 3 行 - `echo > aa.txt`，从 bash 角度清空文件内容，这个比较高效 - 复制 - `y`，复制光标所选字符 - `yw`，复制光标后单词 - `yy`，复制当前行 - `4yy`，复制当前行及下面 4 行 - `y$`，复制光标位置至 **行尾** 的内容 - `y^`，复制光标位置至 **行首** 的内容 - 粘贴 - `p`，将粘贴板中内容复制到 **光标之后** - `P`，将粘贴板中内容复制到 **光标之前** - 其他 - `ddp`，交换当前光标所在行和下一行的位置 - `u`，撤销 - `:wq`，退出并 **保存** - `:q!`，退出并 **不保存** - `Ctrl + v`，进入 Vim 列编辑 - `guu`，把当前行的字母全部转换成 **小写** - `gUU`，把当前行的字母全部转换成 **大写** - `g~~`，把当前行的字母是大写的转换成小写，是小写的转换成大写 - `:saveas /opt/setups/text.txt`，另存到 /opt/setups/text.txt - 搜索 - `/YouMeek`，从光标开始处向文件尾搜索 YouMeek 字符，按 `n` 继续向下找，按 `N` 继续向上找 - `?YouMeek`，从光标开始处向文件首搜索 YouMeek 字符，按 `n` 继续向下找，按 `N` 继续向上找 - 替换 - `:%s/YouMeek/Judasn/g`，把文件中所有 YouMeek 替换为：Judasn - `:%s/YouMeek/Judasn/`，把文件中所有行中第一个 YouMeek 替换为：Judasn - `:s/YouMeek/Judasn/`，把光标当前行第一个 YouMeek 替换为 Judasn - `:s/YouMeek/Judasn/g`，把光标当前行所有 YouMeek 替换为 Judasn - `:s#YouMeek/#Judasn/#`，除了使用斜杠作为分隔符之外，还可以使用 # 作为分隔符，此时中间出现的 / 不会作为分隔符，该命令表示：把光标当前行第一个 YouMeek/ 替换为 Judasn/ - `:10,31s/YouMeek/Judasn/g`，把第 10 行到 31 行之间所有 YouMeek 替换为 Judasn ## Vim 的特殊复制、黏贴 - Vim 提供了 12 个剪贴板，分别是：`0,1,2,3,4,5,6,7,8,9,a,"`，默认采用的是 `"`，也就是双引号，可能你初读感觉很奇怪。你可以用 Vim 编辑某个文件，然后输入：`:reg`。你可以看到如下内容： - ![vim](../images/Vim-Cut-And-Paste-a-1.png) - 复制到某个剪切板的命令：`"7y`，表示使用 7 号剪切板。 - 黏贴某个剪切板内容：`"7p`，表示使用 7 号剪切板内容进行黏贴 ## Vim 配置 - 我个人本地不使用 Vim 的，基本上都是在操作服务器的时候使用，所以这里推荐这个配置文件 - [vim-for-server](https://github.com/wklken/vim-for-server) - 在假设你已经备份好你的 Vim 配置文件后，使用该配置文件：`curl https://raw.githubusercontent.com/wklken/vim-for-server/master/vimrc > ~/.vimrc` - 效果如下： - ![vim-for-server](https://raw.githubusercontent.com/wklken/gallery/master/vim/vim-for-server.png) - 需要特别注意的是，如果你平时粘贴内容到终端 Vim 出现缩进错乱，一般需要这样做： - 进入 vim 后，按 `F5`，然后 `shift + insert` 进行粘贴。这种事就不会错乱了。 - 原因是：`vim ~/.vimrc` 中有一行这样的设置：`set pastetoggle=` ## 其他常用命令 - 对两个文件进行对比：`vimdiff /opt/1.txt /opt/2.txt` ## 资料 - [vim几个小技巧（批量替换，列编辑）](http://blogread.cn/it/article/1010?f=sa) - [最佳vim技巧](http://www.2maomao.com/blog/wp-content/uploads/vim_tips.txt) - [简明 Vim 练级攻略](http://coolshell.cn/articles/5426.html) - [vim 批量查找替换](http://blog.csdn.net/wangchong0/article/details/6801956) ================================================ FILE: markdown-file/Was-Hacked.md ================================================ # 黑客入侵检查 ------ ## 思路 - 扫描木马工具：`clamAV` - 官网： - CentOS 安装：`yum install -y clamav*` - 启动 clamAV 服务：`service clamd restart` - 更新病毒库：`freshclam` - 扫描方法： - 扫描 /etc 目录，并把扫描结果放在 /root 目录下：`clamscan -r /etc --max-dir-recursion=5 -l /root/etcclamav.log` - 扫描 /bin 目录，并把扫描结果放在 /root 目录下：`clamscan -r /bin --max-dir-recursion=5 -l /root/binclamav.log` - 扫描 /usr 目录，并把扫描结果放在 /root 目录下：`clamscan -r /usr --max-dir-recursion=5 -l /root/usrclamav.log` - 如果日志有类似内容，表示有木马病毒： - `/usr/bin/.sshd: Linux.Trojan.Agent FOUND` - `/usr/sbin/ss: Linux.Trojan.Agent FOUND` - `/usr/sbin/lsof: Linux.Trojan.Agent FOUND` - 看下当前有多少登录者：`who` - 看下最近有哪些登录者：`last` - 查看最近尝试登录的账号信息：`grep "sshd" /var/log/secure` - 很多这种信息就表示有人在不断地尝试用 root 登录：`Failed password for root from 222.186.56.168 port 4080 ssh2` - 查看最近登录成功的账号信息：`grep "Accepted" /var/log/secure`，可以看到：pop3, ssh, telnet, ftp 类型 - 看下查看系统资源占用有无异常：`top` - 看下所有进程：`ps aux` - 查看当前系统登录者有哪些，及其登录记录：`last | more` - 把最近执行的所有命令输出到一个文件，然后下载下来细细研究：`history >> /opt/test.txt` - 查看当前系统所有用户有哪些：`cat /etc/passwd |awk -F \: '{print $1}'` - 更多详细可以用：`cat /etc/passwd` - 查看开放的端口，比如常用的80,22,8009，后面的箭头表示端口对应占用的程序：`netstat -lnp` - 检查某个端口的具体信息：`lsof -i :18954` - 检查启动项：`chkconfig` - 检查定时器（重要）：`cat /etc/crontab` - 检查定时器（重要）：`crontab -l` - `vim /var/spool/cron/crontabs/root` - `vim /var/spool/cron/root` - 检查其他系统重要文件： - `cat /etc/rc.local` - `cd /etc/init.d;ll` - 检查文件： - `find / -uid 0 –perm -4000 –print` - `find / -size +10000k –print` - `find / -name "…" –print` - `find / -name ".. " –print` - `find / -name ". " –print` - `find / -name " " –print` - 下载 iftop 分析流量，查看是否被黑客当做肉鸡使用 - 安装 iftop - 官网： - 使用文章： - 没有安装第三方源的情况： - 安装依赖包：`yum install -y flex byacc libpcap ncurses ncurses-devel libpcap-devel` - 下载源码包：`wget http://www.ex-parrot.com/pdw/iftop/download/iftop-0.17.tar.gz` - 解压：`tar zxf iftop-0.17.tar.gz` - 进入解压目录：`cd iftop-0.17/` - 编译：`./configure` - 安装：`make && make install` - 有第三方源的情况（eg：EPEL）： - `yum install -y iftop` - 运行：`iftop` - 显示端口与 IP 信息：`iftop -nP` ``` nginx 中间部分：外部连接列表，即记录了哪些ip正在和本机的网络连接 右边部分：实时参数分别是该访问 ip 连接到本机 2 秒，10 秒和 40 秒的平均流量 => 代表发送数据，<= 代表接收数据 底部会显示一些全局的统计数据，peek 是指峰值情况，cumm 是从 iftop 运行至今的累计情况，而 rates 表示最近 2 秒、10 秒、40 秒内总共接收或者发送的平均网络流量。 TX:（发送流量） cumm: 143MB peak: 10.5Mb rates: 1.03Mb 1.54Mb 2.10Mb RX:（接收流量） 12.7GB 228Mb 189Mb 191Mb 183Mb TOTAL:（总的流量） 12.9GB 229Mb 190Mb 193Mb 185MbW ``` - 禁用 root 账号登录：`vim /etc/ssh/sshd_config` - 把 PermitRootLogin 属性 yes 改为 no - 如果安全度要更高，可以考虑禁用口令登录，采用私钥/公钥方式：`vim /etc/ssh/sshd_config` - 设置属性：PasswordAuthentication 为 no - 如果还要限制指定 IP 登录，可以考虑编辑：hosts.allow 和 hosts.deny 两个文件 - 重要系统软件更新（更新之前最好先做好系统镜像或是快照，以防万一）： - yum update kernel - yum update kernel-devel - yum update kernel-firmware - yum update kernel-headers - yum update openssh - yum update openssh-clients - yum update openssh-server ## 实战 #### 挖矿程序 - 先查看调度任务是否有新增内容 - `vim /var/spool/cron/root` - `vim /var/spool/cron/crontabs/root` - 如果有，先停止定时任务：`systemctl stop crond` - 如果对方有去 wget curl 指定网站，则先在 hosts 里面映射为 127.0.0.1，比如：`127.0.0.1 prax0zma.ru` - 查看当前最占用 CPU 的进程 PID，加入发现是 22935，则：`cd /proc/22935 && ll`，发现程序目录是：`/root/.tmp00/bash64` - 我们就把该程序去掉执行任务的权限：`chmod -R -x /root/.tmp00/`，然后再 kill 掉该程序 - 打开别人的脚本，看下是如何书写的，发现有写入几个目录，这里进行删除： ``` rm -rf /tmp/.ha /boot/.b /boot/.0 /root/.tmp00 ``` - 最后检查下是否有免密内容被修改：`cd ~/.ssh/ && cat authorized_keys` ## 资料 - - - - - ================================================ FILE: markdown-file/WordPress-Install-And-Settings.md ================================================ # WordPress 安装和配置 ## 环境 - 腾讯云 - CentOS 7.4 - 1C + 1G（最低配置） - IP：193.112.211.201 - 推荐按此文章进行安装的时候可以把该 IP 替换成你的，方便直接复制 ## 更新系统可更新软件 ``` yum clean all yum -y update ``` ## 安装 Apache ``` yum install -y httpd systemctl start httpd.service systemctl enable httpd.service ``` - 访问（如果出现 Apache 欢迎页面即表示成功）： ## 安装 MySQL #### 先检查是否已经安装了 Mariadb - 检查：`rpm -qa | grep mariadb` - 卸载：`rpm -e --nodeps mariadb-libs-5.5.56-2.el7.x86_64` #### MySQL 5.5 安装和配置（内存 1G 推荐） - [MySQL 5.5](Mysql-Install-And-Settings.md) #### MySQL 5.6 安装和配置（如果内存没有大于 2G，请不要使用） - [MySQL 5.6](Mysql-Install-And-Settings.md) #### MySQL 5.7（推荐） ``` wget http://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm yum localinstall -y mysql57-community-release-el7-8.noarch.rpm yum install mysql-community-server systemctl enable mysqld.service systemctl restart mysqld.service ``` #### MySQL 5.7 配置 - 默认 MySQL 5.7 安装完有一个随机密码生成，位置在：`/var/log/mysqld.log`，里面有这样一句话：`A temporary password is generated for root@localhost: 随机密码` - 如果初次要连上去需要填写该密码 - 我们也可以选择重置密码： - `systemctl stop mysqld.service` - `/usr/sbin/mysqld --skip-grant-tables --user=mysql` - 在启动一个终端：`mysql -u root mysql` - `UPDATE user SET authentication_string=PASSWORD('新密码') where USER='root';FLUSH PRIVILEGES;` - `GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '上一步的新密码' WITH GRANT OPTION;` - `systemctl restart mysqld.service` - 试一下：`mysql -h localhost -u root -p` 然后输入密码，在 MySQL 终端输入：`select 1;` - 如果报：`You must reset your password using ALTER USER statement before executing this statement`，解决办法： ``` set global validate_password_policy=0; #密码强度设为最低等级 set global validate_password_length=6; #密码允许最小长度为6 set password = password('新密码'); FLUSH PRIVILEGES; ``` - YUM 安装的 MySQL 默认配置文件在：`vim /etc/my.cnf`，默认有如下信息，会自己配置的可以改下。 ``` # For advice on how to change settings please see # http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html [mysqld] # # Remove leading # and set to the amount of RAM for the most important data # cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%. # innodb_buffer_pool_size = 128M # # Remove leading # to turn on a very important data integrity option: logging # changes to the binary log between backups. # log_bin # # Remove leading # to set options mainly useful for reporting servers. # The server defaults are faster for transactions and fast SELECTs. # Adjust sizes as needed, experiment to find the optimal values. # join_buffer_size = 128M # sort_buffer_size = 2M # read_rnd_buffer_size = 2M datadir=/var/lib/mysql socket=/var/lib/mysql/mysql.sock # Disabling symbolic-links is recommended to prevent assorted security risks symbolic-links=0 log-error=/var/log/mysqld.log pid-file=/var/run/mysqld/mysqld.pid ``` ## 安装 PHP 7 - CentOS 7 默认是 PHP 5.4，版本太低 - 安装过程： - 默认配置文件位置：`vim /etc/php.ini` - 测试 PHP 安装结果，新建文件：`vim /var/www/html/info.php` ``` ``` - 浏览器访问（出现 PHP 环境信息表示安装成功）： - 测试后删除刚刚文件：`rm -rf /var/www/html/info.php` ## 安装 WordPress - 寻找官网最新版本下载地址（201806 是 4.9.4）： ``` cd /var/www/html/ wget https://cn.wordpress.org/wordpress-4.9.4-zh_CN.zip unzip wordpress-4.9.4-zh_CN.zip rm -rf wordpress-4.9.4-zh_CN.zip cd /var/www/html/wordpress && mv * ../ rm -rf /var/www/html/wordpress/ chmod -R 777 /var/www/html/ ``` - 修改 Apache 配置文件：`vim /etc/httpd/conf/httpd.conf` ``` 旧值： #ServerName www.example.com:80 改为： ServerName www.youmeek.com:80 ---------------------- 旧值： AllowOverride None 改为： AllowOverride All ---------------------- 旧值： DirectoryIndex index.html 改为： DirectoryIndex index.html index.htm Default.html Default.htm index.php Default.php index.html.var ``` - 重启 Apache ``` systemctl restart httpd.service systemctl enable httpd.service ``` ## 创建数据库 - SQL 语句：`CREATE DATABASE wordpress DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;` - 如果有数据则直接导入：`/usr/bin/mysql -u root --password=123456 DATABASE_Name < /opt/backup.sql` ## WordPress 在线配置引导 - 浏览器访问： ## DNS 解析 - 我是托管到 DNSPOD，重新指向到新 IP 地址即可 ## 常用插件 - JP Markdown - WP Code Highlight.js - FooBox Image Lightbox - WP Super Cache ## 常见问题 - 安装插件出现：`WordPress需要访问您网页服务器的权限。 请输入您的FTP登录凭据以继续` - 解决办法：`chown -R apache:apache /var/www/html` ## 资料 - - ================================================ FILE: markdown-file/Wormhole-Install-And-Settings.md ================================================ # Wormhole + Flink 最佳实践 ## 本文声明 - **感谢 Wormhole 的官方帮助！官方微信群很友好，这让我很意外，只能感谢了！** - 本人大数据和 Ansible 刚看，只会皮毛的皮毛。但是也因为这样的契机促使了我写这篇文章。 - 因为刚入门，需要了解细节，所以没用 Ambari 这类工具，已经熟悉的可以考虑使用。 - 希望对你们有帮助。 ------------------------------------------------------------------- ## 前置声明 - 需要对 Linux 环境，流计算的一些基础概念有基础了解，比如：Source、Sink、YARN、Zookeeper、Kafka、Ansible 等 - 如果有欠缺，可以查看本系列文章：[点击我](../README.md) ------------------------------------------------------------------- ## 本文目标 - 统计 **滑动窗口** 下的流过的数据量（count） - 业务数据格式： ``` { "id": 1, "name": "test", "phone": "18074546423", "city": "Beijing", "time": "2017-12-22 10:00:00" } ``` ------------------------------------------------------------------- ## 服务器基础环境设置 #### 特别说明 - **4 台 8C32G 服务器 CentOS 7.5，内存推荐 16G 或以上。** - **为了方便，所有服务器都已经关闭防火墙，并且在云服务上设置安全组对外开通所有端口** - **全程 root 用户** - 整体部署结构图： ![未命名文件(1).png](https://upload-images.jianshu.io/upload_images/12159-7a94673ea075873c.png?imageMogr2/auto-orient/strip%7CimageView2/2/w/1240) #### 服务器基础配置 - 给对应服务器设置 hostname，方便后面使用： ``` hostnamectl --static set-hostname linux01 hostnamectl --static set-hostname linux02 hostnamectl --static set-hostname linux03 hostnamectl --static set-hostname linux04 ``` - 给所有服务器设置 hosts：`vim /etc/hosts` ``` 172.16.0.55 linux01 172.16.0.92 linux02 172.16.0.133 linux03 172.16.0.159 linux04 ``` - 在 linux01 生成密钥对，设置 SSH 免密登录 ``` 生产密钥对 ssh-keygen -t rsa 公钥内容写入 authorized_keys cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys 测试： ssh localhost 将公钥复制到其他机子 ssh-copy-id -i ~/.ssh/id_rsa.pub -p 22 root@linux02（根据提示输入 linux02 密码） ssh-copy-id -i ~/.ssh/id_rsa.pub -p 22 root@linux03（根据提示输入 linux03 密码） ssh-copy-id -i ~/.ssh/id_rsa.pub -p 22 root@linux04（根据提示输入 linux04 密码） 在 linux01 上测试 ssh linux01 ssh linux02 ssh linux03 ssh linux04 ``` - 安装基础软件：`yum install -y zip unzip lrzsz git epel-release wget htop deltarpm` - 安装 Ansible：`yum install -y ansible` - 配置 Inventory 编辑配置文件：`vim /etc/ansible/hosts` - 在文件尾部补上如下内容 ``` [hadoop-host] linux01 linux02 linux03 [kafka-host] linux04 ``` - 测试 Ansible：`ansible all -a 'ps'`，必须保证能得到如下结果： ``` linux01 | CHANGED | rc=0 >> PID TTY TIME CMD 11088 pts/7 00:00:00 sh 11101 pts/7 00:00:00 python 11102 pts/7 00:00:00 ps linux02 | CHANGED | rc=0 >> PID TTY TIME CMD 10590 pts/1 00:00:00 sh 10603 pts/1 00:00:00 python 10604 pts/1 00:00:00 ps linux03 | CHANGED | rc=0 >> PID TTY TIME CMD 10586 pts/1 00:00:00 sh 10599 pts/1 00:00:00 python 10600 pts/1 00:00:00 ps linux04 | CHANGED | rc=0 >> PID TTY TIME CMD 10574 pts/1 00:00:00 sh 10587 pts/1 00:00:00 python 10588 pts/1 00:00:00 ps ``` #### 服务器基础组件（CentOS 7.x） - 创建脚本文件：`vim /opt/install-basic-playbook.yml` ``` - hosts: all remote_user: root tasks: - name: Disable SELinux at next reboot selinux: state: disabled - name: disable firewalld command: "{{ item }}" with_items: - systemctl stop firewalld - systemctl disable firewalld - name: install-basic command: "{{ item }}" with_items: - yum install -y zip unzip lrzsz git epel-release wget htop deltarpm - name: install-vim shell: "{{ item }}" with_items: - yum install -y vim - curl https://raw.githubusercontent.com/wklken/vim-for-server/master/vimrc > ~/.vimrc - name: install-docker shell: "{{ item }}" with_items: - yum install -y yum-utils device-mapper-persistent-data lvm2 - yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo - yum makecache fast - yum install -y docker-ce - systemctl start docker.service - docker run hello-world - name: install-docker-compose shell: "{{ item }}" with_items: - curl -L https://github.com/docker/compose/releases/download/1.18.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose - chmod +x /usr/local/bin/docker-compose - docker-compose --version - systemctl restart docker.service - systemctl enable docker.service ``` - 执行命令：`ansible-playbook /opt/install-basic-playbook.yml` ------------------------------------------------------------------- ## Wormhole 所需组件安装 - 参考官网： - 必须组件（版本请不要随便用，而是按照如下说明来）： - 我个人习惯软件都是放在：`/usr/local`，压缩包放在：`/opt` #### 关于版本号和端口问题 - 百度云打包下载（提取码：8tm3）： - 版本： - **jdk-8u191-linux-x64.tar.gz** - **zookeeper-3.4.13（Docker）** - **kafka_2.11-0.10.2.2.tgz** - **hadoop-2.6.5.tar.gz** - **flink-1.5.1-bin-hadoop26-scala_2.11.tgz** - **spark-2.2.0-bin-hadoop2.6.tgz** - **mysql-3.7（Docker）** - **wormhole-0.6.0-beta.tar.gz** - 端口 - 都采用组件默认端口 #### JDK 安装 - 将 linux01 下的 JDK 压缩包复制到所有机子的 /opt 目录下： ``` scp -r /opt/jdk-8u191-linux-x64.tar.gz root@linux02:/opt scp -r /opt/jdk-8u191-linux-x64.tar.gz root@linux03:/opt scp -r /opt/jdk-8u191-linux-x64.tar.gz root@linux04:/opt ``` - 在 linux01 创建脚本文件：`vim /opt/jdk8-playbook.yml` ``` - hosts: all remote_user: root tasks: - name: copy jdk copy: src=/opt/jdk-8u191-linux-x64.tar.gz dest=/usr/local - name: tar jdk shell: cd /usr/local && tar zxf jdk-8u191-linux-x64.tar.gz - name: set JAVA_HOME blockinfile: path: /etc/profile marker: "#{mark} JDK ENV" block: | JAVA_HOME=/usr/local/jdk1.8.0_191 JRE_HOME=$JAVA_HOME/jre PATH=$PATH:$JAVA_HOME/bin CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export JAVA_HOME export JRE_HOME export PATH export CLASSPATH - name: source profile shell: source /etc/profile ``` - 执行命令：`ansible-playbook /opt/jdk8-playbook.yml` - 经过试验，发现还是要自己再手动：`source /etc/profile`，原因未知。 #### Hadoop 集群（HDFS，YARN） - Hadoop 集群（HDFS，YARN）（linux01、linux02、linux03）：`2.6.5` - Hadoop 环境可以用脚本文件，剩余部分内容请参考上文手工操作：`vim /opt/hadoop-playbook.yml` ``` - hosts: hadoop-host remote_user: root tasks: - name: Creates directory file: path: /data/hadoop/hdfs/name state: directory - name: Creates directory file: path: /data/hadoop/hdfs/data state: directory - name: Creates directory file: path: /data/hadoop/hdfs/tmp state: directory - name: set HADOOP_HOME blockinfile: path: /etc/profile marker: "#{mark} HADOOP ENV" block: | HADOOP_HOME=/usr/local/hadoop HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin export HADOOP_CONF_DIR export YARN_CONF_DIR export HADOOP_HOME export PATH - name: source profile shell: source /etc/profile ``` - 执行命令：`ansible-playbook /opt/hadoop-playbook.yml` - 剩余内容较多，具体参考：[点击我](Hadoop-Install-And-Settings.md) - 解压压缩包：`tar zxvf hadoop-2.6.5.tar.gz` - 这里最好把目录重命名下：`mv /usr/local/hadoop-2.6.5 /usr/local/hadoop` - 剩下内容从：修改 linux01 配置，开始阅读 #### Flink - 须安装在 linux01 - Flink 单点（linux01）：`1.5.1` - 拷贝：`cd /usr/local/ && cp /opt/flink-1.5.1-bin-hadoop26-scala_2.11.tgz .` - 解压：`tar zxf flink-*.tgz` - 修改目录名：`mv /usr/local/flink-1.5.1 /usr/local/flink` - 修改配置文件：`vim /usr/local/flink/conf/flink-conf.yaml` - 在文件最前加上：`env.java.home: /usr/local/jdk1.8.0_191` - 启动：`cd /usr/local/flink && ./bin/start-cluster.sh` - 停止：`cd /usr/local/flink && ./bin/stop-cluster.sh` - 查看日志：`tail -300f log/flink-*-standalonesession-*.log` - 浏览器访问 WEB 管理：`http://linux01:8081/` - yarn 启动 - 先停止下本地模式 - 测试控制台启动：`cd /usr/local/flink && ./bin/yarn-session.sh -n 2 -jm 2024 -tm 2024` - 有可能会报：`The Flink Yarn cluster has failed`，可能是资源不够，需要调优内存相关参数 #### Zookeeper - Zookeeper 单点（linux04）：`3.4.13` - 单个实例：`docker run -d --restart always --name one-zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime zookeeper:3.4.13` #### Kafka - Kafka 单点（linux04）：`0.10.2.2` - 上传压缩包到 /opt 目录下 - 拷贝压缩包：`cd /usr/local && cp /opt/kafka_2.11-0.10.2.2.tgz .` - 解压：`tar zxvf kafka_2.11-0.10.2.2.tgz` - 删除压缩包并重命名目录：`rm -rf kafka_2.11-0.10.2.2.tgz && mv /usr/local/kafka_2.11-0.10.2.2 /usr/local/kafka` - 修改 kafka-server 的配置文件：`vim /usr/local/kafka/config/server.properties` ``` 034 行：listeners=PLAINTEXT://0.0.0.0:9092 039 行：advertised.listeners=PLAINTEXT://linux04:9092 119 行：zookeeper.connect=linux04:2181 补充 ：auto.create.topics.enable=true ``` - 启动 kafka 服务（必须制定配置文件）：`cd /usr/local/kafka && bin/kafka-server-start.sh config/server.properties` - 后台方式运行 kafka 服务：`cd /usr/local/kafka && bin/kafka-server-start.sh -daemon config/server.properties` - 停止 kafka 服务：`cd /usr/local/kafka && bin/kafka-server-stop.sh` - 再开一个终端测试： - 创建 topic 命令：`cd /usr/local/kafka && bin/kafka-topics.sh --create --zookeeper linux04:2181 --replication-factor 1 --partitions 1 --topic my-topic-test` - 查看 topic 命令：`cd /usr/local/kafka && bin/kafka-topics.sh --list --zookeeper linux04:2181` - 删除 topic：`cd /usr/local/kafka && bin/kafka-topics.sh --delete --topic my-topic-test --zookeeper linux04:2181` - 给 topic 发送消息命令：`cd /usr/local/kafka && bin/kafka-console-producer.sh --broker-list linux04:9092 --topic my-topic-test`，然后在出现交互输入框的时候输入你要发送的内容 - 再开一个终端，进入 kafka 容器，接受消息：`cd /usr/local/kafka && bin/kafka-console-consumer.sh --bootstrap-server linux04:9092 --topic my-topic-test --from-beginning` - 此时发送的终端输入一个内容回车，接受消息的终端就可以收到。 #### MySQL - MySQL 单点（linux04）：`5.7` - 创建本地数据存储 + 配置文件目录：`mkdir -p /data/docker/mysql/datadir /data/docker/mysql/conf /data/docker/mysql/log` - 在宿主机上创建一个配置文件：`vim /data/docker/mysql/conf/mysql-1.cnf`，内容如下： ``` [mysql] default-character-set = utf8 [mysqld] pid-file = /var/run/mysqld/mysqld.pid socket = /var/run/mysqld/mysqld.sock datadir = /var/lib/mysql symbolic-links=0 log-error=/var/log/mysql/error.log default-storage-engine = InnoDB collation-server = utf8_unicode_ci init_connect = 'SET NAMES utf8' character-set-server = utf8 lower_case_table_names = 1 max_allowed_packet = 50M ``` - 赋权（避免挂载的时候，一些程序需要容器中的用户的特定权限使用）：`chmod -R 777 /data/docker/mysql/datadir /data/docker/mysql/log` - 赋权：`chown -R 0:0 /data/docker/mysql/conf` - `docker run -p 3306:3306 --name one-mysql -v /data/docker/mysql/datadir:/var/lib/mysql -v /data/docker/mysql/log:/var/log/mysql -v /data/docker/mysql/conf:/etc/mysql/conf.d -e MYSQL_ROOT_PASSWORD=aaabbb123456 -d mysql:5.7` - 连上容器：`docker exec -it one-mysql /bin/bash` - 连上 MySQL：`mysql -u root -p` - 创建表：`CREATE DATABASE wormhole DEFAULT CHARACTER SET utf8 COLLATE utf8_unicode_ci;` - **确保用 sqlyog 能直接在外网连上，方便后面调试** #### Spark - 须安装在 linux01 - Spark 单点（linux01）：`2.2.0` - 上传压缩包到 /opt 目录下 - 拷贝压缩包：`cd /usr/local && cp /opt/spark-2.2.0-bin-hadoop2.6.tgz .` - 解压：`tar zxvf spark-2.2.0-bin-hadoop2.6.tgz` - 重命名：`mv /usr/local/spark-2.2.0-bin-hadoop2.6 /usr/local/spark` - 增加环境变量： ``` vim /etc/profile SPARK_HOME=/usr/local/spark PATH=$PATH:${SPARK_HOME}/bin:${SPARK_HOME}/sbin export SPARK_HOME export PATH source /etc/profile ``` - 修改配置：`cp $SPARK_HOME/conf/spark-env.sh.template $SPARK_HOME/conf/spark-env.sh` - 修改配置：`vim $SPARK_HOME/conf/spark-env.sh` - 假设我的 hadoop 路径是：/usr/local/hadoop，则最尾巴增加： ``` export HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop ``` #### 非必须组件 - Elasticsearch（支持版本 5.x）（非必须，若无则无法查看 wormhole 处理数据的吞吐和延时） - Grafana （支持版本 4.x）（非必须，若无则无法查看 wormhole 处理数据的吞吐和延时的图形化展示） ------------------------------------------------------------------- ## Wormhole 安装 + 配置 - 须安装在 linux01 - wormhole 单点（linux01）：`0.6.0-beta`，2018-12-06 版本 - 先在 linux04 机子的 kafka 创建 topic： ``` cd /usr/local/kafka && bin/kafka-topics.sh --list --zookeeper linux04:2181 cd /usr/local/kafka && bin/kafka-topics.sh --create --zookeeper linux04:2181 --replication-factor 1 --partitions 1 --topic source cd /usr/local/kafka && bin/kafka-topics.sh --create --zookeeper linux04:2181 --replication-factor 1 --partitions 1 --topic wormhole_feedback cd /usr/local/kafka && bin/kafka-topics.sh --create --zookeeper linux04:2181 --replication-factor 1 --partitions 1 --topic wormhole_heartbeat ``` - 上传压缩包到 /opt 目录下 - 拷贝压缩包：`cd /usr/local && cp /opt/wormhole-0.6.0-beta.tar.gz .` - 解压：`cd /usr/local && tar -xvf wormhole-0.6.0-beta.tar.gz` - 修改配置文件：`vim /usr/local/wormhole-0.6.0-beta/conf/application.conf` ``` akka.http.server.request-timeout = 120s wormholeServer { cluster.id = "" #optional global uuid host = "linux01" port = 8989 ui.default.language = "Chinese" token.timeout = 1 token.secret.key = "iytr174395lclkb?lgj~8u;[=L:ljg" admin.username = "admin" #default admin user name admin.password = "admin" #default admin user password } mysql = { driver = "slick.driver.MySQLDriver$" db = { driver = "com.mysql.jdbc.Driver" user = "root" password = "aaabbb123456" url = "jdbc:mysql://linux04:3306/wormhole?useUnicode=true&characterEncoding=UTF-8&useSSL=false" numThreads = 4 minConnections = 4 maxConnections = 10 connectionTimeout = 3000 } } #ldap = { # enabled = false # user = "" # pwd = "" # url = "" # dc = "" # read.timeout = 3000 # read.timeout = 5000 # connect = { # timeout = 5000 # pool = true # } #} spark = { wormholeServer.user = "root" #WormholeServer linux user wormholeServer.ssh.port = 22 #ssh port, please set WormholeServer linux user can password-less login itself remote spark.home = "/usr/local/spark" yarn.queue.name = "default" #WormholeServer submit spark streaming/job queue wormhole.hdfs.root.path = "hdfs://linux01/wormhole" #WormholeServer hdfslog data default hdfs root path yarn.rm1.http.url = "linux01:8088" #Yarn ActiveResourceManager address yarn.rm2.http.url = "linux01:8088" #Yarn StandbyResourceManager address } flink = { home = "/usr/local/flink" yarn.queue.name = "default" feedback.state.count=100 checkpoint.enable=false checkpoint.interval=60000 stateBackend="hdfs://linux01/flink-checkpoints" feedback.interval=30 } zookeeper = { connection.url = "linux04:2181" #WormholeServer stream and flow interaction channel wormhole.root.path = "/wormhole" #zookeeper } kafka = { brokers.url = "linux04:9092" zookeeper.url = "linux04:2181" topic.refactor = 1 using.cluster.suffix = false #if true, _${cluster.id} will be concatenated to consumer.feedback.topic consumer = { feedback.topic = "wormhole_feedback" poll-interval = 20ms poll-timeout = 1s stop-timeout = 30s close-timeout = 20s commit-timeout = 70s wakeup-timeout = 60s max-wakeups = 10 session.timeout.ms = 60000 heartbeat.interval.ms = 50000 max.poll.records = 1000 request.timeout.ms = 80000 max.partition.fetch.bytes = 10485760 } } #kerberos = { # keyTab="" #the keyTab will be used on yarn # spark.principal="" #the principal of spark # spark.keyTab="" #the keyTab of spark # server.config="" #the path of krb5.conf # jaas.startShell.config="" #the path of jaas config file which should be used by start.sh # jaas.yarn.config="" #the path of jaas config file which will be uploaded to yarn # server.enabled=false #enable wormhole connect to Kerberized cluster #} # choose monitor method among ES、MYSQL monitor ={ database.type="MYSQL" } #Wormhole feedback data store, if doesn't want to config, you will not see wormhole processing delay and throughput #if not set, please comment it #elasticSearch.http = { # url = "http://localhost:9200" # user = "" # password = "" #} #display wormhole processing delay and throughput data, get admin user token from grafana #garfana should set to be anonymous login, so you can access the dashboard through wormhole directly #if not set, please comment it #grafana = { # url = "http://localhost:3000" # admin.token = "jihefouglokoj" #} #delete feedback history data on time maintenance = { mysql.feedback.remain.maxDays = 7 elasticSearch.feedback.remain.maxDays = 7 } #Dbus integration, support serveral DBus services, if not set, please comment it #dbus = { # api = [ # { # login = { # url = "http://localhost:8080/keeper/login" # email = "" # password = "" # } # synchronization.namespace.url = "http://localhost:8080/keeper/tables/riderSearch" # } # ] #} ``` - 初始化表结构脚本路径： - 该脚本存在一个问题：初始化脚本和补丁脚本混在一起，所以直接复制执行会有报错，但是报错的部分是不影响 - 我是直接把基础 sql 和补丁 sql 分开执行，方便判断。 - 启动：`sh /usr/local/wormhole-0.6.0-beta/bin/start.sh` - 查看 log：`tail -200f /usr/local/wormhole-0.6.0-beta/logs/application.log` - 部署完成，浏览器访问： - 默认管理员用户名：admin，密码：admin ------------------------------------------------------------------- ## 创建用户 - **参考官网，必须先了解下**： - 必须创建用户，后面才能进入 Project 里面创建 Stream / Flow - 创建的用户类型必须是：`user` - 假设这里创建的用户叫做：`user1@bg.com` ------------------------------------------------------------------- ## 创建 Source 需要涉及的概念 #### 创建 Instance - Instance 用于绑定各个组件的所在服务连接 - 一般我们都会选择 Kafka 作为 source，后面的基础也是基于 Kafka 作为 Source 的场景 - 假设填写实例名：`source_kafka` - URL：`linux04:9092` #### 创建 Database - 各个组件的具体数据库、Topic 等信息 - 假设填写 Topic Name：`source` - Partition：1 #### 创建 Namespace - wormhole 抽象出来的概念 - 用于数据分类 - 假设填写 Tables：`ums_extension id` - 配置 schema，记得配置上 ums_ts ``` { "id": 1, "name": "test", "phone": "18074546423", "city": "Beijing", "time": "2017-12-22 10:00:00" } ``` ------------------------------------------------------------------- ## 创建 Sink 需要涉及的概念 #### 创建 Instance - 假设填写实例名：`sink_mysql` - URL：`linux04:3306` #### 创建 Database - 假设填写 Database Name：`sink` - config 参数：`useUnicode=true&characterEncoding=UTF-8&useSSL=false&rewriteBatchedStatements=true` #### 创建 Namespace - 假设填写 Tables: `user id` ------------------------------------------------------------------- ## 创建 Project - 项目标识：`demo` ------------------------------------------------------------------- ## Flink Stream - Stream 是在 Project 内容页下才能创建 - 一个 Stream 可以有多个 Flow - 并且是 Project 下面的用户才能创建，admin 用户没有权限 - 要删除 Project 必须先进入 Project 内容页删除所有 Stream 之后 admin 才能删除 Project - 新建 Stream - Stream type 类型选择：`Flink` - 假设填写 Name：`wormhole_stream_test` ## Flink Flow - 假设 Flow name 为：`wormhole_flow_test` - Flow 是在 Project 内容页下才能创建 - 并且是 Project 下面的用户才能创建，admin 用户没有权限 - Flow 会关联 source 和 sink - 要删除 Project 必须先进入 Project 内容页删除所有 Stream 之后 admin 才能删除 Project - 基于 Stream 新建 Flow - Pipeline - Transformation - - NO_SKIP 滑动窗口 - SKIP_PAST_LAST_EVENT 滚动窗口 - KeyBy 分组字段 - Output - Agg：将匹配的多条数据做聚合，生成一条数据输出,例：field1:avg,field2:max（目前支持 max/min/avg/sum） - Detail：将匹配的多条数据逐一输出 - FilteredRow：按条件选择指定的一条数据输出，例：head/last/ field1:min/max - Confirmation - 注意：Stream 处于 running 状态时，才可以启动 Flow ------------------------------------------------------------------- ## Kafka 发送测试数据 - 在 linux04 机子上 - `cd /usr/local/kafka/bin && ./kafka-console-producer.sh --broker-list linux04:9092 --topic source --property "parse.key=true" --property "key.separator=@@@"` - 发送 UMS 流消息协议规范格式： ``` data_increment_data.kafka.source_kafka.source.ums_extension.*.*.*@@@{"id": 1, "name": "test1", "phone":"18074546423", "city": "Beijing", "time": "2017-12-22 10:01:00"} data_increment_data.kafka.source_kafka.source.ums_extension.*.*.*@@@{"id": 2, "name": "test2", "phone":"18074546423", "city": "Beijing", "time": "2017-12-22 10:02:00"} data_increment_data.kafka.source_kafka.source.ums_extension.*.*.*@@@{"id": 3, "name": "test3", "phone":"18074546423", "city": "Beijing", "time": "2017-12-22 10:03:00"} data_increment_data.kafka.source_kafka.source.ums_extension.*.*.*@@@{"id": 4, "name": "test4", "phone":"18074546423", "city": "Beijing", "time": "2017-12-22 10:04:00"} data_increment_data.kafka.source_kafka.source.ums_extension.*.*.*@@@{"id": 5, "name": "test5", "phone":"18074546423", "city": "Beijing", "time": "2017-12-22 10:05:00"} data_increment_data.kafka.source_kafka.source.ums_extension.*.*.*@@@{"id": 6, "name": "test6", "phone":"18074546423", "city": "Beijing", "time": "2017-12-22 10:06:00"} data_increment_data.kafka.source_kafka.source.ums_extension.*.*.*@@@{"id": 7, "name": "test7", "phone":"18074546423", "city": "Beijing", "time": "2017-12-22 10:07:00"} data_increment_data.kafka.source_kafka.source.ums_extension.*.*.*@@@{"id": 8, "name": "test8", "phone":"18074546423", "city": "Beijing", "time": "2017-12-22 10:08:00"} data_increment_data.kafka.source_kafka.source.ums_extension.*.*.*@@@{"id": 9, "name": "test9", "phone":"18074546423", "city": "Beijing", "time": "2017-12-22 10:09:00"} ``` ================================================ FILE: markdown-file/YApi-Install-And-Settings.md ================================================ # YApi 安装和配置 ## 部署的环境 - 系统：`CentOS 7.4` - 硬件要求：`1 GB RAM minimum` - ip：`http://192.168.1.121` - docker version：`17.12.1-ce, build 7390fc6` - docker-compose version：`1.18.0, build 8dd22a9` > 建议部署成 http 站点，因 chrome 浏览器安全限制，部署成 https 会导致测试功能在请求 http 站点时文件上传功能异常。--[来源](https://yapi.ymfe.org/devops.html) ## Docker 快速部署 - 一个好心人的维护： - 使用方法： - work path：`mkdir -p /opt/git-data` - clone：`cd /opt/git-data && git clone https://github.com/branchzero/yapi-docker.git` - permission：`chmod -R 777 /opt/git-data` - run command：`cd /opt/git-data/yapi-docker && docker-compose up -d` - open chrome：`http://192.168.1.121:3000` - 初始化管理员账号名：`admin@admin.com`，密码：`ymfe.org` ## YApi 介绍 - 官网： - Github： - 官网在线演示： - 使用手册： ================================================ FILE: markdown-file/Zabbix-Install-And-Settings.md ================================================ # Zabbix 安装和配置 ## Zabbix 说明 - Zabbix 是一个企业级的分布式开源监控方案，也是目前 Linux 最主流的监控方案。 - Zabbix 官网： - Zabbix 官网的中文文档： ## Zabbix 基础概念 - zabbix-agent - zabbix-server - 数据库（mysql/PostgreSQL） - web 界面管理 - 主机（host），一般就是安装 zabbix-agent 服务服务器的称呼。一般配置 Zabbix 中 host name 就填写你的服务器的 `hostname` 命令展示出来的结果值 - 主机组（host groups） ## Zabbix 安装 - 官网下载最新稳定版本 **3.4** - Zabbix 官网下载和安装说明： ## 资料 ================================================ FILE: markdown-file/Zookeeper-Install.md ================================================ # Zookeeper 安装 ## Docker 部署 Zookeeper #### 单个实例 - 官网仓库： - 单个实例：`docker run -d --restart always --name one-zookeeper -p 2181:2181 -v /etc/localtime:/etc/localtime zookeeper:latest` - 默认端口暴露是：`This image includes EXPOSE 2181 2888 3888 (the zookeeper client port, follower port, election port respectively)` - 容器中的几个重要目录（有需要挂载的可以指定）： - `/data` - `/datalog` - `/conf` #### 单机多个实例（集群） - 创建 docker compose 文件：`vim zookeeper.yml` - 下面内容来自官网仓库： ``` version: '3.1' services: zoo1: image: zookeeper restart: always hostname: zoo1 ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.1=0.0.0.0:2888:3888 server.2=zoo2:2888:3888 server.3=zoo3:2888:3888 zoo2: image: zookeeper restart: always hostname: zoo2 ports: - 2182:2181 environment: ZOO_MY_ID: 2 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=0.0.0.0:2888:3888 server.3=zoo3:2888:3888 zoo3: image: zookeeper restart: always hostname: zoo3 ports: - 2183:2181 environment: ZOO_MY_ID: 3 ZOO_SERVERS: server.1=zoo1:2888:3888 server.2=zoo2:2888:3888 server.3=0.0.0.0:2888:3888 ``` - 启动：`docker-compose -f zookeeper.yml -p zk_test up -d` - 参数 -p zk_test 表示这个 compose project 的名字，等价于：`COMPOSE_PROJECT_NAME=zk_test docker-compose -f zookeeper.yml up -d` - 不指定项目名称，Docker-Compose 默认以当前文件目录名作为应用的项目名 - 报错是正常情况的。 - 停止：`docker-compose -f zookeeper.yml -p zk_test stop` #### 先安装 nc 再来校验 zookeeper 集群情况 - 环境：CentOS 7.4 - 官网下载：，找到 rpm 包 - 当前时间（201803）最新版本下载：`wget https://nmap.org/dist/ncat-7.60-1.x86_64.rpm` - 安装：`sudo rpm -i ncat-7.60-1.x86_64.rpm` - ln 下：`sudo ln -s /usr/bin/ncat /usr/bin/nc` - 检验：`nc --version` #### 校验 - 命令：`echo stat | nc 127.0.0.1 2181`，得到如下信息： ``` Zookeeper version: 3.4.11-37e277162d567b55a07d1755f0b31c32e93c01a0, built on 11/01/2017 18:06 GMT Clients: /172.21.0.1:58872[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/0/0 Received: 1 Sent: 0 Connections: 1 Outstanding: 0 Zxid: 0x100000000 Mode: follower Node count: 4 ``` - 命令：`echo stat | nc 127.0.0.1 2182`，得到如下信息： ``` Zookeeper version: 3.4.11-37e277162d567b55a07d1755f0b31c32e93c01a0, built on 11/01/2017 18:06 GMT Clients: /172.21.0.1:36190[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/0/0 Received: 1 Sent: 0 Connections: 1 Outstanding: 0 Zxid: 0x500000000 Mode: follower Node count: 4 ``` - 命令：`echo stat | nc 127.0.0.1 2183`，得到如下信息： ``` Zookeeper version: 3.4.11-37e277162d567b55a07d1755f0b31c32e93c01a0, built on 11/01/2017 18:06 GMT Clients: /172.21.0.1:33344[0](queued=0,recved=1,sent=0) Latency min/avg/max: 0/0/0 Received: 1 Sent: 0 Connections: 1 Outstanding: 0 Zxid: 0x500000000 Mode: leader Node count: 4 ``` #### 多机多个实例（集群） - 三台机子： - 内网 ip：`172.24.165.129`，外网 ip：`47.91.22.116` - 内网 ip：`172.24.165.130`，外网 ip：`47.91.22.124` - 内网 ip：`172.24.165.131`，外网 ip：`47.74.6.138` - 修改三台机子 hostname： - 节点 1：`hostnamectl --static set-hostname youmeekhost1` - 节点 2：`hostnamectl --static set-hostname youmeekhost2` - 节点 3：`hostnamectl --static set-hostname youmeekhost3` - 三台机子的 hosts 都修改为如下内容：`vim /etc/hosts` ``` 172.24.165.129 youmeekhost1 172.24.165.130 youmeekhost2 172.24.165.131 youmeekhost3 ``` - 节点 1： ``` docker run -d \ -v /data/docker/zookeeper/data:/data \ -v /data/docker/zookeeper/log:/datalog \ -e ZOO_MY_ID=1 \ -e "ZOO_SERVERS=server.1=youmeekhost1:2888:3888 server.2=youmeekhost2:2888:3888 server.3=youmeekhost3:2888:3888" \ --name=zookeeper1 --net=host --restart=always zookeeper ``` - 节点 2： ``` docker run -d \ -v /data/docker/zookeeper/data:/data \ -v /data/docker/zookeeper/log:/datalog \ -e ZOO_MY_ID=2 \ -e "ZOO_SERVERS=server.1=youmeekhost1:2888:3888 server.2=youmeekhost2:2888:3888 server.3=youmeekhost3:2888:3888" \ --name=zookeeper2 --net=host --restart=always zookeeper ``` - 节点 3： ``` docker run -d \ -v /data/docker/zookeeper/data:/data \ -v /data/docker/zookeeper/log:/datalog \ -e ZOO_MY_ID=3 \ -e "ZOO_SERVERS=server.1=youmeekhost1:2888:3888 server.2=youmeekhost2:2888:3888 server.3=youmeekhost3:2888:3888" \ --name=zookeeper3 --net=host --restart=always zookeeper ``` ## 需要环境 - JDK 安装 ## 下载安装 - 官网： - 此时（201702）最新稳定版本：Release `3.4.9` - 官网下载： - 我这里以：`zookeeper-3.4.8.tar.gz` 为例 - 安装过程： - `mkdir -p /usr/program/zookeeper/data` - `cd /opt/setups` - `tar zxvf zookeeper-3.4.8.tar.gz` - `mv /opt/setups/zookeeper-3.4.8 /usr/program/zookeeper` - `cd /usr/program/zookeeper/zookeeper-3.4.8/conf` - `mv zoo_sample.cfg zoo.cfg` - `vim zoo.cfg` - 将配置文件中的这个值： - 原值：`dataDir=/tmp/zookeeper` - 改为：`dataDir=/usr/program/zookeeper/data` - 防火墙开放2181端口 - `iptables -A INPUT -p tcp -m tcp --dport 2181 -j ACCEPT` - `service iptables save` - `service iptables restart` - 启动 zookeeper：`sh /usr/program/zookeeper/zookeeper-3.4.8/bin/zkServer.sh start` - 停止 zookeeper：`sh /usr/program/zookeeper/zookeeper-3.4.8/bin/zkServer.sh stop` - 查看 zookeeper 状态：`sh /usr/program/zookeeper/zookeeper-3.4.8/bin/zkServer.sh status` - 如果是集群环境，下面几种角色 - leader - follower ## 集群环境搭建 ### 确定机子环境 - 集群环境最少节点是：3，且节点数必须是奇数，生产环境推荐是：5 个机子节点。 - 系统都是 CentOS 6 - 机子 1：192.168.1.121 - 机子 2：192.168.1.111 - 机子 3：192.168.1.112 ### 配置 - 在三台机子上都做如上文的流程安装，再补充修改配置文件：`vim /usr/program/zookeeper/zookeeper-3.4.8/conf/zoo.cfg` - 三台机子都增加下面内容： ``` nginx server.1=192.168.1.121:2888:3888 server.2=192.168.1.111:2888:3888 server.3=192.168.1.112:2888:3888 ``` - 在 机子 1 增加一个该文件：`vim /usr/program/zookeeper/data/myid`，文件内容填写：`1` - 在 机子 2 增加一个该文件：`vim /usr/program/zookeeper/data/myid`，文件内容填写：`2` - 在 机子 3 增加一个该文件：`vim /usr/program/zookeeper/data/myid`，文件内容填写：`3` - 然后在三台机子上都启动 zookeeper：`sh /usr/program/zookeeper/zookeeper-3.4.8/bin/zkServer.sh start` - 分别查看三台机子的状态：`sh /usr/program/zookeeper/zookeeper-3.4.8/bin/zkServer.sh status`，应该会得到类似这样的结果： ``` Using config: /usr/program/zookeeper/zookeeper-3.4.8/bin/../conf/zoo.cfg Mode: follower 或者 Mode: leader ``` ## Zookeeper 客户端工具 #### ZooInspector - 下载地址： - 解压，双击 jar 文件，效果如下： - ![ZooInspector](../images/Zookeeper-Client-ZooInspector.png) #### zooweb - 下载地址： - Spring Boot 的 Web 项目，直接：`java -jar zooweb-1.0.jar` 启动 web 服务，然后访问： - ![zooweb](../images/Zookeeper-Client-zooweb.png) ## 资料 - ================================================ FILE: markdown-file/Zsh.md ================================================ # Zsh 入门 ## 本文前提 - CentOS 6.7 64 bit - root 用户 ## Zsh 介绍 - Zsh 兼容 Bash，据传说 99% 的 Bash 操作 和 Zsh 是相同的 - Zsh 官网： - 先看下你的 CentOS 支持哪些 shell：`cat /etc/shells`，正常结果应该是这样的： ``` bash /bin/sh /bin/bash /sbin/nologin /bin/dash /bin/tcsh /bin/csh ``` - 默认 CentOS / Ubuntu / Mac 系统用的是 Bash，倒也不是说 Bash 不好，而是说我们有更好的选择。 ## Zsh 安装 - CentOS 安装：`sudo yum install -y zsh` - Ubuntu 安装：`sudo apt-get install -y zsh` - 在检查下系统的 shell：`cat /etc/shells`，你会发现多了一个：`/bin/zsh` ## 使用 Zsh 扩展集合：oh-my-zsh - oh-my-zsh 帮我们整理了一些常用的 Zsh 扩展功能和主题： - 我们无需自己去捣搞 Zsh，直接用 oh-my-zsh 就足够了，如果你想继续深造的话那再去弄。 - 先安装 git：`sudo yum install -y git` - 安装 oh-my-zsh（这个过程可能会有点慢，或者需要重试几次）：`wget https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh -O - | sh` - 整个过程效果如下图： - ![oh-my-zsh 安装](../images/Zsh-a-1.jpg) - 在以 root 用户为前提下，oh-my-zsh 的安装目录：**/root/.oh-my-zsh** - 在以 root 用户为前提下，Zsh 的配置文件位置：**/root/.zshrc** - 为 root 用户设置 zsh 为系统默认 shell：`chsh -s /bin/zsh root` - 如果你要重新恢复到 bash：`chsh -s /bin/bash root` - 现在你关掉终端或是重新连上 shell，现在开头是一个箭头了，如下图： - ![oh-my-zsh 安装](../images/Zsh-b-1.jpg) ## Home / End 失灵问题 - 虽然可以通过配置解决，但是建议还是直接记快捷键吧： - Home = Ctrl + a - End = Ctrl + e ## Zsh 配置 ### 插件 - 启用 oh-my-zsh 中自带的插件。 - oh-my-zsh 的插件列表介绍（太长了，用源码不精准地统计下有 149 个）： - 我们看下安装 oh-my-zsh 的时候自带有多少个插件：`ls -l /root/.oh-my-zsh/plugins |grep "^d"|wc -l`，我这边得到的结果是：211 - 编辑配置文件：`vim /root/.zshrc`，找到下图的地方，怎么安装，原作者注释写得很清楚了，别装太多了，默认 git 是安装的。 - ![oh-my-zsh 安装](../images/Zsh-c-1.jpg) - 插件推荐： - `zsh-autosuggestions` - 这个插件会对历史命令一些补全，类似 fish 终端 - 插件官网： - 安装，复制该命令：`git clone https://github.com/zsh-users/zsh-autosuggestions ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-autosuggestions` - 编辑：`vim ~/.zshrc`，找到这一行，后括号里面的后面添加：`plugins=( 前面的一些插件名称，换行，加上：zsh-autosuggestions)` - 刷新下配置：`source ~/.zshrc` - `zsh-syntax-highlighting` - 这个插件会对终端命令高亮显示,比如正确的拼写会是绿色标识,否则是红色,另外对于一些shell输出语句也会有高亮显示,算是不错的辅助插件 - 插件官网： - 安装，复制该命令：`git clone https://github.com/zsh-users/zsh-syntax-highlighting.git ${ZSH_CUSTOM:-~/.oh-my-zsh/custom}/plugins/zsh-syntax-highlighting` - 编辑：`vim ~/.zshrc`，找到这一行，后括号里面的后面添加：`plugins=( 前面的一些插件名称，换行，加上：zsh-syntax-highlighting)` - 刷新下配置：`source ~/.zshrc` - `wd` - 简单地讲就是给指定目录映射一个全局的名字，以后方便直接跳转到这个目录，比如： - 编辑配置文件，添加上 wd 的名字：`vim /root/.zshrc` - 我常去目录：**/opt/setups**，每次进入该目录下都需要这样：`cd /opt/setups` - 现在用 wd 给他映射一个快捷方式：`cd /opt/setups ; wd add setups` - 以后我在任何目录下只要运行：`wd setups` 就自动跑到 /opt/setups 目录下了 - 插件官网： - `autojump` - 这个插件会记录你常去的那些目录，然后做一下权重记录，你可以用这个命令看到你的习惯：`j --stat`，如果这个里面有你的记录，那你就只要敲最后一个文件夹名字即可进入，比如我个人习惯的 program：`j program`，就可以直接到：`/usr/program` - 插件官网： - 官网插件下载地址： - 插件下载：`wget https://github.com/downloads/wting/autojump/autojump_v21.1.2.tar.gz` - 解压：`tar zxvf autojump_v21.1.2.tar.gz` - 进入解压后目录并安装：`cd autojump_v21.1.2/ ; ./install.sh` - 再执行下这个：`source /etc/profile.d/autojump.sh` - 编辑配置文件，添加上 autojump 的名字：`vim /root/.zshrc` ### 主题 - 很多人喜欢捣搞这个 ╮(￣▽￣)╭ - 捣搞主题和插件思路一样 - oh-my-zsh 的主题列表介绍（还是太长了）： - 我们看下安装 oh-my-zsh 的时候，自带有多少个：`ls -l /root/.oh-my-zsh/themes |grep "^-"|wc -l`，我这边得到的结果是：140 - 我个人品味地推荐的是（排名有先后）： - `ys` - `agnoster` - `avit` - `blinks` - 编辑配置文件：`vim /root/.zshrc`，找到下图的地方，怎么安装，原作者注释写得很清楚了，如果你没特别的喜欢那就选择随机吧。 - ![oh-my-zsh 安装](../images/Zsh-d-1.jpg) - 配置好新主题需要重新连接 shell 才能看到效果 ## 一些人性化功能 - 呃，这个其实可以不用讲的，你自己用的时候你自己会发现的，各种便捷，特别是用 Tab 多的人一定会有各种惊喜的。 - 使用 ctrl-r 来搜索命令历史记录。按完此快捷键后，可以输入关键命令词语，如果历史记录有含有此词语会显示出来。 - 命令别名： - 在命令行中输入 alias 可以查看已经有的命令别名 - 自己新增一些别名，编辑文件：`vim ~/.zshrc`，在文件加入下面格式的命令，比如以下是网友提供的一些思路： ``` shell alias cls='clear' alias ll='ls -l' alias la='ls -a' alias grep="grep --color=auto" alias -s html='vim' # 在命令行直接输入后缀为 html 的文件名，会在 Vim 中打开 alias -s rb='vim' # 在命令行直接输入 ruby 文件，会在 Vim 中打开 alias -s py='vim' # 在命令行直接输入 python 文件，会用 vim 中打开，以下类似 alias -s js='vim' alias -s c='vim' alias -s java='vim' alias -s txt='vim' alias -s gz='tar -xzvf' # 在命令行直接输入后缀为 gz 的文件名，会自动解压打开 alias -s tgz='tar -xzvf' alias -s zip='unzip' alias -s bz2='tar -xjvf' ``` ## 差异 - 我们现在增加系统变量在：/etc/profile 后，输入命令：source /etc/profile 之后，重启服务器发现刚刚的系统变量现在没效果。 - 解决办法：`vim ~/.zshrc`，在该配置文件里面增加一行：`source /etc/profile`，然后刷新 zsh 的配置：`source ~/.zshrc`。 ## 资料 - - - - - - - - - - - - - ================================================ FILE: markdown-file/kali-linux-settings/kali-linux-basic-settings.md ================================================ # 基础设置 ## 修改源 - 编辑配置文件：`vim /etc/apt/sources.list` - 在文件 **最前面** 添加以下条目，官网文档： ``` #中科大的源 deb https://mirrors.ustc.edu.cn/kali kali-rolling main non-free contrib deb-src https://mirrors.ustc.edu.cn/kali kali-rolling main non-free contrib ``` - `apt-get update` 更新索引 ## 安装公共工具 - `apt-get install -y zip unzip lrzsz git` ## 安装 Zsh、Vim ``` apt-get install -y zsh wget https://raw.githubusercontent.com/robbyrussell/oh-my-zsh/master/tools/install.sh -O - | sh chsh -s /bin/zsh root apt-get install -y vim curl https://raw.githubusercontent.com/wklken/vim-for-server/master/vimrc > ~/.vimrc ``` ## 安装搜狗输入法 - 下载 deb 文件： - 安装依赖：`apt-get install -y fcitx` - 安装 deb 文件：`dpkg -i 文件名` - 应该会提示有部分依赖不存在，则执行：`apt-get --fix-broken install -y` - 安装完成后： - 终端输入：`im-config`，一路确定，在有一个提示选项中选择：`fcitx`，重启电脑，按 Ctrl + Space 就可以切换输入法 ## 安装 Visual Studio Code - 下载 deb 文件： - 安装 deb 文件：`dpkg -i 文件名` - 应该会提示有部分依赖不存在，则执行：`apt-get --fix-broken install -y` - 安装扩展 - 扩展仓库： - 中文语言包 - Markdown - GitLens - REST Client - Atom One Dark Theme ## 安装剪切板 - 命令：`sudo apt-get install parcellite` - 修改快捷键：`右键软件 | 首选项 | Hotkeys | 历史记录按键组合` ## 安装 Peek（Gif 录制） - 自己构建 deb 包安装 ``` sudo apt install cmake valac libgtk-3-dev libkeybinder-3.0-dev libxml2-utils gettext txt2man git clone https://github.com/phw/peek.git --depth=1 mkdir peek/build cd peek/build cmake -DCMAKE_INSTALL_PREFIX=/usr -DGSETTINGS_COMPILE=OFF .. make package sudo dpkg -i peek-*-Linux.deb ``` ## 安装截图软 ``` wget http://packages.linuxdeepin.com/deepin/pool/main/d/deepin-scrot/deepin-scrot_2.0-0deepin_all.deb sudo dpkg -i deepin-scrot_2.0-0deepin_all.deb apt-get --fix-broken install -y //终端下启动 deepin-scrot ``` - 配置快捷键来截图方法（思路一样）： - Kali 的快捷键设置在：设置 - 设备 - Keyboard 下 ## 升级 firefox - 官网下载： - 假设放在 /opt 目录下，进行解压：`tar xjf firefox-*.tar.bz2` - 进入图标存放目录|：`cd /usr/share/applications` - 创建文件并编辑：`sudo vim firefoxnew.desktop` ``` ini [Desktop Entry] Name=firefoxnew Name[zh_CN]=firefoxnew Comment=firefox new Exec=/opt/firefox/firefox Icon=/opt/firefox/icons/updater.png Terminal=false Type=Application Categories=Application; Encoding=UTF-8 StartupNotify=true ``` ## 安装 SSR 客户端 - 查看： ================================================ FILE: markdown-file/kali-linux-settings/kali-linux-install.md ================================================ # Kali Linux 安装 ## 制作 U 盘 - 准备一个 U 盘，下载这个软件：[USBWriter（提取码：5aa2）](https://pan.baidu.com/s/1gg83h9T) - USBWriter 的使用很简单，如下图即可制作一个 CentOS 系统盘 ![VMware 下安装](../../images/CentOS-7-Install-a-0.jpg) ## 安装过程 - 这几年的几个版本安装过程都是类似的，大家可以参考这个视频教程： - - 其中，安装第一步选择中文，安装完成就会是中文的，不需要像上面这个视频那么麻烦。 - 安装过程，比较差的机子差不多要 20 ~ 30 分钟。 - 比较重点的几个步骤推荐： - `使用整个磁盘` - `将所有文件放在同一个分区中` - `分区设定结束并修改写入磁盘` - `将改动写入磁盘 -- 是` - `使用网络镜像 -- 是` ## 软件及系统升级 - `apt-get update && apt-get upgrade` ================================================ FILE: markdown-file/kali-linux-settings/kali-linux-penetration-test.md ================================================ # 渗透测试思路 - 来源：《Kali Linux 渗透测试的艺术》 ## 范围界定 - 收集需求 - 筹划工作 - 边界分析 - 明确业务指标 - 项目管理和统筹调度 ## 信息收集 - 互联网上的公开信息 - 域名注册信息（whois） - DNS 记录分析 - 路由信息 - 利用搜索引擎搜索目标历史记录 - Google Hack，根据 Google 的 `inurl` 等高级用法查询一些系统可能存在风险 - 比如查找链接是：`asp?id=`、`php?id=1` 的链接。asp 和 php 的系统相对比较薄弱。特别是对于 asp 的老系统，建议开发者还是放弃。 ## 目标识别 - 识别目标还在线的主机 - 识别目标在线主机的系统 ## 服务枚举 - 获取目标主机的情况 - 开放的端口 - 操作系统 - 网络服务 ## 漏洞扫描 - 根据种类划分 - 本地漏洞 - 远程漏洞 - 根据类型划分 - 设计类漏洞 - 实施类漏洞 - 运营类漏洞 ## 漏洞利用 ## 社会工程学攻击 - 心理学建模 - 社会关系 ## 提升权限 ## 密码攻击 ## 无线网络渗透测试 ## 访问维护 - 创建后门 ================================================ FILE: markdown-file/kali-linux-settings/kali-linux-social-engineering.md ================================================ # 社会工程学 ## 简介 ## SET 工具 - 命令：`setoolkit`（命令行向导式交互） - 选择 1：`Social-Engineering Attacks`，结果如下： ``` 1) Spear-Phishing Attack Vectors ＃鱼叉式钓鱼攻击向量（也称针对性钓鱼攻击） 2) Website Attack Vectors ＃网页攻击向量 3) Infectious Media Generator ＃媒介感染生成器 4) Create a Payload and Listener ＃生成一个payload和监听 5) Mass Mailer Attack ＃大规模邮件钓鱼 6) Arduino-Based Attack Vector ＃基于Arduino的攻击（类似于单片机） 7) Wireless Access Point Attack Vector ＃无线接入点攻击 8) QRCode Generator Attack Vector ＃二维码攻击 9) Powershell Attack Vectors ＃powershell攻击 10) Third Party Modules ＃第三方模块 ``` ================================================ FILE: markdown-file/kali-linux-settings/kali-linux-sql-injection.md ================================================ # SQL 注入 ## 探测到底是不是通过拼接字符串方式使用 SQL - 常用字符： ``` ' " ' and 1=1 ' and 1=2 1 or 1=1 1' or '1'='1 1" or "1"="1 1' order by 1-- union select 1,2-- @@version @@datadir user() database() information_schema.tables ``` ## sqlmap 分析数据库和表名、dump 表数据 #### sqlmap 介绍 - 目前做 SQL 注入的工具一般大家都是选择：[sqlmap](http://sqlmap.org/) - 目前（2018年08月）只支持：2.6.x 和 2.7.x - 支持的 5 种注入类型： - 基于布尔的盲注，即可以根据返回页面判断条件真假的注入。 - 基于时间的盲注，即不能根据页面返回内容判断任何信息，用条件语句查看时间延迟语句是否执行（即页面返回时间是否增加）来判断。 - 基于报错注入，即页面会返回错误信息，或者把注入的语句的结果直接返回在页面中。 - 联合查询注入，可以使用union的情况下的注入。 - 堆查询注入，可以同时执行多条语句的执行时的注入。 #### sqlmap 使用 - sqlmap 的输出信息按从简到繁共分为7个级别，依次为 0 ~ 6，级别越高，检测越全面。分别代表： - 使用参数 `-v <级别>` 来指定某个等级，默认输出级别为 1 ``` 0：只显示 Python 的 tracebacks 信息、错误信息 [ERROR] 和关键信息 [CRITICAL]； 1：同时显示普通信息 [INFO] 和警告信息[WARNING]； 2：同时显示调试信息[DEBUG]； 3：同时显示注入使用的攻击荷载； 4：同时显示 HTTP 请求； 5：同时显示 HTTP 响应头； 6：同时显示 HTTP 响应体。 ``` - 将 Google 搜索前一百个结果作为攻击目标：`sqlmap -g "inurl:\".asp?id=1\""` - 检查注入点（GET）：`sqlmap -u 目标网址` - 检查注入点（POST 数据，多个数据用分号隔开）：`sqlmap -u 目标网址 --data="id=0;name=werner" --param-del=";"` - 检查注入点（Cookie，等级必须是 2 以上）：`sqlmap -u 目标网址 --cookie –level 2 "JSESSIONID=123456;NAME=youmeek;" --cookie-del=";"` - 获取所有数据库信息：`sqlmap -u 目标网址 --dbs` - 获取所有数据库用户：`sqlmap -u 目标网址 --users` - 获取当前数据库信息：`sqlmap -u 目标网址 --current-db` - 获取当前用户：`sqlmap -u 目标网址 --current-user` - 获取当前数据库和当前用户：`sqlmap -u 目标网址 --current-db --current-user` - 获取有几张表：`sqlmap -u 目标网址 --tables` - 获取指定表的字段有哪些：`sqlmap -u 目标网址 -T 表名 --columns` - 获取指定表字段值：`sqlmap -u 目标网址 -T 表名 -C 字段名1,字段名2,字段名3 --dump` - 获取指定表字段所有值：`sqlmap -u 目标网址 -T 表名 -C 字段名1,字段名2,字段名3 --dump-all` - 让 HTTP 请求之间添加延迟，添加参数：`--delay 3`，单位是秒 - 设置超时时间，默认是 30 秒，添加参数：`--timeout 50`，单位是秒 - 设置超时后最大重试次数，默认是 3 次，添加参数：`--retries 5` - 避免错误请求过多而被屏蔽： ``` 有时服务器检测到某个客户端错误请求过多会对其进行屏蔽，而 sqlmap 的测试往往会产生大量错误请求，为避免被屏蔽，可以时不时的产生几个正常请求以迷惑服务器。有以下四个参数与这一机制有关： --safe-url: 隔一会就访问一下的安全 URL --safe-post: 访问安全 URL 时携带的 POST 数据 --safe-req: 从文件中载入安全 HTTP 请求 --safe-freq: 每次测试请求之后都会访问一下的安全 URL 这里所谓的安全 URL 是指访问会返回 200、没有任何报错的 URL。相应地，Sqlmap 也不会对安全 URL 进行任何注入测试。 ``` - 其他常用参数： - 构造随机 user-agent：`–random-agent` - 指定 HTTP Referer头：`–referer=设定值` - 换行分开，加入其他的HTTP头：`–headers=设定值` - 忽略响应的 Set–Cookie 头信息：`–drop-set-cookie` ## 分析登录后台入口 - nikto ## 资料 - - - <> - <> - <> - <> - <> - <> - <> - <> ================================================ FILE: markdown-file/kali-linux-settings/kali-linux-toc.md ================================================ # Kali Linux ## 介绍 - 官网： - 基于 Debian - 设计用于数字鉴识和渗透测试，预装了很多渗透测试程序 - 支持 x86 和 ARM 架构 - 官网下载： - 镜像名：Kali Linux 64 Bit，默认是用 GNOME 桌面，比较华丽，相对较卡（好点电脑推荐，习惯 Ubuntu 的基本都会用） - 镜像名：Kali Linux Xfce 64 Bit，默认是用 Xfce 桌面，比较简洁，相对不卡（配置较差的推荐，我这里一台笔记本配置较差，用的就是这个） - 镜像名：Kali Linux Kde 64 Bit，默认是用 Kde 桌面，比较华丽，相对较卡（不推荐） - 镜像名：Kali Linux Mate 64 Bit，默认是用 Mate 桌面，比较华丽，相对较卡（不推荐） - 镜像名：Kali Linux Lxde 64 Bit，默认是用 Lxde 桌面，比较简洁，相对不卡（类似 Windows 风格的桌面，不推荐） ## 学习过程 - [Kali Linux 系统安装](kali-linux-install.md) - [Kali Linux 基础设置](kali-linux-basic-settings.md) - [Kali Linux 渗透测试思路](kali-linux-penetration-test.md) ## 其他资料 - ================================================ FILE: markdown-file/maintenance.md ================================================ # 常见日常维护 ## Vim 编辑文件报：Swap file "Hello.java.swp" already exists! - 问题原因： - Vim 编辑 Hello.java 文件的时候，非正常退出，然后又重新再 Vim 这个文件一般都会提示这个。 - 解决办法： - 进入被编辑的文件目录，比如：Hello.java 我放在 /opt 目录下，那就先：`cd /opt`， - 然后：`ls -A`，会发现有一个：.Hello.java.swp，把这个文件删除掉：`rm -rf .Hello.java.swp`，然后重新 Vim 文件即可。 ================================================ FILE: markdown-file/monitor.md ================================================ # 常见日常监控 ## 系统信息 - 查看 CentOS 版本号：`cat /etc/redhat-release` --------------------------------------------------------------------- ## 综合监控 - [nmon](Nmon.md) --------------------------------------------------------------------- ## 系统负载 #### 命令：w（判断整体瓶颈） ``` 12:04:52 up 16 days, 12:54, 1 user, load average: 0.06, 0.13, 0.12 USER TTY FROM LOGIN@ IDLE JCPU PCPU WHAT root pts/0 116.21.24.85 11:57 4.00s 16:18 0.01s w ``` - 第一行： - `12:04:52` 表示当前系统时间 - `up 16 days` 表示系统运行时间 - `1 user` 表示登录用户数 - `load average` 表示平均负载，0.06 表示一分钟内系统的平均负载值，0.13 表示五分钟内系统的平均负载值，0.12 表示十五分钟内系统的平均负载值。一般这个字不要超过服务器的 CPU 线程数（process）就没有关系。 - 查看 CPU 总的线程数：`grep 'processor' /proc/cpuinfo | sort -u | wc -l` - 第二行： - 开始表示各个登录用户的情况，当前登录者是 root，登录者 IP 116.21.24.85 - 还有一个简化版本的命令：`uptime` ``` 10:56:16 up 26 days, 20:05, 1 user, load average: 0.00, 0.01, 0.05 ``` #### 命令：vmstat（判断 RAM 和 I/0 瓶颈） - 命令：`vmstat 5 10`，每 5 秒采样一次，共 10 次。 ``` procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu----- r b swpd free buff cache si so bi bo in cs us sy id wa st 2 0 0 72648 0 674564 0 0 0 7 0 26 1 1 99 0 0 0 0 0 72648 0 674596 0 0 0 0 442 557 1 0 99 0 0 0 0 0 72648 0 674596 0 0 0 12 438 574 0 1 99 0 0 0 0 0 72648 0 674596 0 0 0 0 430 540 0 0 100 0 0 0 0 0 72648 0 674596 0 0 0 0 448 567 0 1 99 0 0 0 0 0 72648 0 674596 0 0 0 0 459 574 1 0 99 0 0 0 0 0 72648 0 674596 0 0 0 0 425 543 0 1 99 0 0 0 0 0 72276 0 674600 0 0 0 0 480 643 2 3 95 0 0 ``` - 第二行： - `r` 表示运行和等待CPU时间片的进程数，该数字如果长期大于服务器CPU的进程数，则说明CPU不够用了。 - `b` 表示等待资源的进程数，比如等I/O，内存等。该数字如果长时间大于 1，则需要关注一下。 - `si` 表示由交换区写入到内存的数据量 - `so` 表示由内存写入到交换区的数据量 - **如果 si 和 so 的数字比较高，并且不断变化时，说明内存不够了。而且不断变化也表示对系统性能影响很大。** - `bi` 表示从块设备读取数据的量（读磁盘） - `bo` 表示从块设备写入数据的量（写磁盘） - **如果bi和bo两个数字比较高，则说明，磁盘IO压力大。** - `in` 每秒 CPU 的中断次数，包括时间中断 - `cs` 每秒上下文切换次数，例如我们调用系统函数，就要进行上下文切换，线程的切换，也要进程上下文切换，这个值要越小越好，太大了，要考虑调低线程或者进程的数目 - `wa` 表示I/O等待所占用CPU的时间比 #### 命令：sar（综合） - sar(system activity reporter 系统活动情况报告) - sar 是目前 linux 上最为全面的系统性能分析工具之一，可以从多方面对系统的活动情况进行报告。包括（文件的读写、系统调用、磁盘I/O、cpu效率、内存使用、进程活动以及IPC有关的活动） - 如果没安装，运行：`yum install -y sysstat` ##### sar 之 CPU 使用情况（判断 CPU 瓶颈） - 命令：`sar -u 5 10`，每 5 秒采样一次，共 10 次 ``` 01:57:29 PM CPU %user %nice %system %iowait %steal %idle 01:57:34 PM all 1.81 0.00 0.40 0.00 0.00 97.78 01:57:39 PM all 0.20 0.00 0.40 0.00 0.00 99.39 01:57:44 PM all 0.40 0.00 0.60 0.00 0.00 98.99 01:57:49 PM all 0.20 0.00 0.40 0.00 0.00 99.39 01:57:54 PM all 0.80 0.00 1.41 0.00 0.00 97.79 01:57:59 PM all 0.40 0.00 0.60 0.00 0.00 98.99 01:58:04 PM all 0.20 0.00 0.40 0.00 0.00 99.39 01:58:09 PM all 0.20 0.00 0.40 0.00 0.00 99.39 01:58:14 PM all 0.40 0.00 0.61 0.00 0.00 98.99 01:58:19 PM all 0.20 0.00 0.61 0.00 0.00 99.19 Average: all 0.48 0.00 0.59 0.00 0.00 98.93 ``` - 列说明： - `CPU：all` 表示统计信息为所有 CPU的平均值。 - `%user`：显示在用户级别(application)运行使用 CPU 总时间的百分比。 - `%nice`：显示在用户级别，用于nice操作，所占用 CPU总时间的百分比。 - `%system`：在核心级别(kernel)运行所使用 CPU总时间的百分比。 - `%iowait`：显示用于等待I/O操作占用 CPU总时间的百分比。 - `%steal`：管理程序(hypervisor)为另一个虚拟进程提供服务而等待虚拟 CPU 的百分比。 - `%idle`：显示 CPU空闲时间占用 CPU总时间的百分比。 - **总结**： - 1.若 `%iowait` 的值过高，表示硬盘存在I/O瓶颈 - 2.若 `%idle` 的值高但系统响应慢时，有可能是 CPU 等待分配内存，此时应加大内存容量，可以使用内存监控命令分析内存。 - 3.若 `%idle` 的值持续低于1，则系统的 CPU 处理能力相对较低，表明系统中最需要解决的资源是 CPU。 ##### sar 之 RAM 使用情况（判断内存瓶颈） - 命令：`sar -B 5 10`，每 5 秒采样一次，共 10 次 ``` 02:32:15 PM pgpgin/s pgpgout/s fault/s majflt/s pgfree/s pgscank/s pgscand/s pgsteal/s %vmeff 02:32:20 PM 0.00 0.81 258.47 0.00 27.22 0.00 0.00 0.00 0.00 02:32:25 PM 0.00 0.00 611.54 0.00 300.20 0.00 0.00 0.00 0.00 02:32:30 PM 0.00 26.61 10.08 0.00 11.90 0.00 0.00 0.00 0.00 02:32:35 PM 0.00 1.62 3.64 0.00 3.84 0.00 0.00 0.00 0.00 02:32:40 PM 0.00 0.00 3.42 0.00 4.43 0.00 0.00 0.00 0.00 02:32:45 PM 0.00 0.00 3.43 0.00 3.83 0.00 0.00 0.00 0.00 02:32:50 PM 0.00 1.62 3.84 0.00 5.86 0.00 0.00 0.00 0.00 02:32:55 PM 0.00 0.00 3.41 0.00 3.82 0.00 0.00 0.00 0.00 02:33:00 PM 0.00 2.42 763.84 0.00 208.69 0.00 0.00 0.00 0.00 02:33:05 PM 0.00 13.74 2409.70 0.00 929.70 0.00 0.00 0.00 0.00 Average: 0.00 4.68 406.50 0.00 149.69 0.00 0.00 0.00 0.00 ``` - `pgpgin/s`：表示每秒从磁盘或SWAP置换到内存的字节数(KB) - `pgpgout/s`：表示每秒从内存置换到磁盘或SWAP的字节数(KB) - `fault/s`：每秒钟系统产生的缺页数,即主缺页与次缺页之和(major + minor) - `majflt/s`：每秒钟产生的主缺页数 - `pgfree/s`：每秒被放入空闲队列中的页个数 - `pgscank/s`：每秒被kswapd扫描的页个数 - `pgscand/s`：每秒直接被扫描的页个数 - `pgsteal/s`：每秒钟从cache中被清除来满足内存需要的页个数 - `%vmeff`：每秒清除的页(pgsteal)占总扫描页(pgscank+pgscand)的百分比 ##### sar 之 I/O 使用情况（判断 I/O 瓶颈） - 命令：`sar -b 5 10`，每 5 秒采样一次，共 10 次 ``` 02:34:13 PM tps rtps wtps bread/s bwrtn/s 02:34:18 PM 3.03 0.00 3.03 0.00 59.80 02:34:23 PM 0.00 0.00 0.00 0.00 0.00 02:34:28 PM 0.00 0.00 0.00 0.00 0.00 02:34:33 PM 0.00 0.00 0.00 0.00 0.00 02:34:38 PM 1.61 0.00 1.61 0.00 24.80 02:34:43 PM 0.00 0.00 0.00 0.00 0.00 02:34:48 PM 0.40 0.00 0.40 0.00 4.86 02:34:53 PM 0.00 0.00 0.00 0.00 0.00 02:34:58 PM 0.00 0.00 0.00 0.00 0.00 02:35:03 PM 0.00 0.00 0.00 0.00 0.00 Average: 0.50 0.00 0.50 0.00 8.94 ``` - `tps`：每秒钟物理设备的 I/O 传输总量 - `rtps`：每秒钟从物理设备读入的数据总量 - `wtps`：每秒钟向物理设备写入的数据总量 - `bread/s`：每秒钟从物理设备读入的数据量，单位为块/s - `bwrtn/s`：每秒钟向物理设备写入的数据量，单位为块/s ##### sar 之 DEV（网卡）流量查看（判断网络瓶颈） - 命令：`sar -n DEV`，查看网卡历史流量（因为是按时间显示每棵的流量，所以有很多） - 如果要动态显示当前的网卡流量：`sar -n DEV 1` - 采样收集网卡流量：`sar -n DEV 5 10`，每 5 秒采样一次，共 10 次 - 如果要查看其他日期下的记录，可以到这个目录下：`cd /var/log/sa` 查看下记录的文件，然后选择一个文件，比如：`sar -n DEV -f /var/log/sa/sa01`） ``` 01:46:24 PM IFACE rxpck/s txpck/s rxkB/s txkB/s rxcmp/s txcmp/s rxmcst/s 01:46:25 PM lo 3.00 3.00 0.18 0.18 0.00 0.00 0.00 01:46:25 PM eth0 4.00 4.00 0.55 0.56 0.00 0.00 0.00 ``` - `01:46:25 PM` 表示时间 - `IFACE` 表示网卡名称 - `rxpck/s` 每秒钟接收到的 **包数目**，一般如果这个数字大于 4000 一般是被攻击了。 - `txpck/s` 每秒钟发送出去的 **包数目** - `rxkB/s` 每秒钟接收到的数据量(单位kb)，一般如果这个数字大于 5000 一般是被攻击了。 - `txkB/s` 每秒钟发送出去的数据量(单位kb) - `rxcmp/s`：每秒钟接收到的压缩包数目 - `txcmp/s`：每秒钟发送出去的压缩包数目 - `txmcst/s`：每秒钟接收到的多播包的包数目 - 查看 TCP 相关的一些数据（每隔 1 秒采样一次，一共 5 次）：`sar -n TCP,ETCP 1 5` ``` Linux 3.10.0-693.2.2.el7.x86_64 (youmeek) 07/17/2018 _x86_64_ (2 CPU) 12:05:47 PM active/s passive/s iseg/s oseg/s 12:05:48 PM 0.00 0.00 1.00 0.00 12:05:47 PM atmptf/s estres/s retrans/s isegerr/s orsts/s 12:05:48 PM 0.00 0.00 0.00 0.00 0.00 12:05:48 PM active/s passive/s iseg/s oseg/s 12:05:49 PM 0.00 0.00 1.00 1.00 12:05:48 PM atmptf/s estres/s retrans/s isegerr/s orsts/s 12:05:49 PM 0.00 0.00 0.00 0.00 0.00 12:05:49 PM active/s passive/s iseg/s oseg/s 12:05:50 PM 0.00 0.00 1.00 1.00 12:05:49 PM atmptf/s estres/s retrans/s isegerr/s orsts/s 12:05:50 PM 0.00 0.00 0.00 0.00 0.00 12:05:50 PM active/s passive/s iseg/s oseg/s 12:05:51 PM 0.00 0.00 3.00 3.00 12:05:50 PM atmptf/s estres/s retrans/s isegerr/s orsts/s 12:05:51 PM 0.00 0.00 0.00 0.00 0.00 12:05:51 PM active/s passive/s iseg/s oseg/s 12:05:52 PM 0.00 0.00 1.00 1.00 12:05:51 PM atmptf/s estres/s retrans/s isegerr/s orsts/s 12:05:52 PM 0.00 0.00 0.00 0.00 0.00 Average: active/s passive/s iseg/s oseg/s Average: 0.00 0.00 1.40 1.20 Average: atmptf/s estres/s retrans/s isegerr/s orsts/s Average: 0.00 0.00 0.00 0.00 0.00 ``` ``` - active/s：每秒钟本地主动开启的 tcp 连接，也就是本地程序使用 connect() 系统调用 - passive/s：每秒钟从源端发起的 tcp 连接，也就是本地程序使用 accept() 所接受的连接 - retrans/s: 每秒钟的 tcp 重传次数 atctive 和 passive 的数目通常可以用来衡量服务器的负载：接受连接的个数（passive），下游连接的个数（active）。可以简单认为 active 为出主机的连接，passive 为入主机的连接；但这个不是很严格的说法，比如 loalhost 和 localhost 之间的连接。 来自：https://zhuanlan.zhihu.com/p/39893236 ``` --------------------------------------------------------------------- ## CPU 监控 #### CPU 的基本信息查看 - Demo CPU 型号：[Intel® Xeon® Processor E5-2620 v2(15M Cache, 2.10 GHz)](http://ark.intel.com/products/75789/Intel-Xeon-Processor-E5-2620-v2-15M-Cache-2_10-GHz) - 该 CPU 显示的数据中有一项这个要注意：`Intel® Hyper-Threading Technology` 是 `Yes`。表示该 CPU 支持超线程 - `cat /proc/cpuinfo`，查看 CPU 总体信息 - `grep 'physical id' /proc/cpuinfo | sort -u | wc -l`，查看物理 CPU 个数 - 结果：2 - 物理 CPU：物理 CPU 也就是机器外面就能看到的一个个 CPU，每个物理 CPU 还带有单独的风扇 - `grep 'core id' /proc/cpuinfo | sort -u | wc -l`，查看每个物理 CPU 的核心数量 - 结果：6，因为每个物理 CPU 是 6，所有 2 个物理 CPU 的总核心数量应该是：12 - 核心数：一个核心就是一个物理线程，英特尔有个超线程技术可以把一个物理线程模拟出两个线程来用，充分发挥 CPU 性能，意思是一个核心可以有多个线程。 - `grep 'processor' /proc/cpuinfo | sort -u | wc -l`，查看 CPU 总的线程数，一般也叫做：逻辑 CPU 数量 - 结果：24，正常情况下：CPU 的总核心数量 == CPU 线程数，但是如果该 CPU 支持超线程，那结果是：CPU 的总核心数量 X 2 == CPU 线程数 - 线程数：线程数是一种逻辑的概念，简单地说，就是模拟出的 CPU 核心数。比如，可以通过一个 CPU 核心数模拟出 2 线程的 CPU，也就是说，这个单核心的 CPU 被模拟成了一个类似双核心 CPU 的功能。 #### CPU 监控 - Linux 的 CPU 简单监控一般简单 - 常用命令就是 `top` - 命令：`top -bn1`，可以完全显示所有进程出来，但是不能实时展示数据，只能暂时命令当时的数据。 - `top` 可以动态显示进程所占的系统资源，每隔 3 秒变一次，占用系统资源最高的进程放最前面。 - 在 `top` 命令状态下还可以按数字键 1 显示各个 CPU 线程使用状态 - 在 `top` 命令状态下按 shfit + m 可以按照 **内存使用** 大小排序 - 在 `top` 命令状态下按 shfit + p 可以按照 **CPU 使用** 大小排序 - 展示数据上，%CPU 表示进程占用的 CPU 百分比，%MEM 表示进程占用的内存百分比 - mac 下不一样：要先输入 o，然后输入 cpu 则按 cpu 使用量排序，输入 rsize 则按内存使用量排序。 #### CPU 其他工具 - htop 综合工具：`yum install -y htop` - 这几篇文章讲得很好，我没必要再贴过来了，大家自己看： - [htop 命令完胜 top 命令](http://blog.51cto.com/215687833/1788493) - [htop 命令详解](https://blog.csdn.net/freeking101/article/details/79173903) - mpstat 实时监控 CPU 状态：`yum install -y sysstat` - 可以具体到某个核心，比如我有 2 核的 CPU，因为 CPU 核心下标是从 0 开始，所以我要查看 0 的状况（间隔 3 秒获取一次指标，一共获取 5 次）：`mpstat -P 0 3 5` - 打印总 CPU 和各个核心指标：`mpstat -P ALL 1` - 获取所有核心的平均值：`mpstat 3 5` ``` Linux 3.10.0-693.2.2.el7.x86_64 (iZwz998aag1ggy168n3wg2Z) 06/23/2018 _x86_64_ (2 CPU) 11:44:52 AM CPU %usr %nice %sys %iowait %irq %soft %steal %guest %gnice %idle 11:44:53 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 11:44:54 AM 0 1.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00 11:44:55 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 11:44:56 AM 0 0.00 0.00 1.00 0.00 0.00 0.00 0.00 0.00 0.00 99.00 11:44:57 AM 0 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 100.00 Average: 0 0.20 0.00 0.20 0.00 0.00 0.00 0.00 0.00 0.00 99.60 ``` - %usr 用户进程消耗 CPU 情况 - %sys 系统进程消耗 CPU 情况 - %iowait 表示 CPU 等待 IO 时间占整个 CPU 周期的百分比 - %idle 显示 CPU 空闲时间占用 CPU 总时间的百分比 #### 类似 top 的 pidstat - 安装：`yum install -y sysstat` - 每隔 2 秒采样一次，一共 5 次：`pidstat 2 5` ``` Linux 3.10.0-693.el7.x86_64 (youmeek) 07/17/2018 _x86_64_ (8 CPU) 11:52:58 AM UID PID %usr %system %guest %CPU CPU Command 11:53:00 AM 0 16813 0.50 0.99 0.00 1.49 1 pidstat 11:53:00 AM 0 24757 50.99 12.87 0.00 63.86 0 java 11:53:00 AM 0 24799 60.40 3.47 0.00 63.86 5 java 11:53:00 AM 0 24841 99.50 7.43 0.00 100.00 0 java 11:53:00 AM UID PID %usr %system %guest %CPU CPU Command 11:53:02 AM 0 24757 56.50 0.50 0.00 57.00 0 java 11:53:02 AM 0 24799 100.00 6.50 0.00 100.00 5 java 11:53:02 AM 0 24841 58.00 2.50 0.00 60.50 0 java 11:53:02 AM UID PID %usr %system %guest %CPU CPU Command 11:53:04 AM 0 16813 0.00 1.00 0.00 1.00 2 pidstat 11:53:04 AM 0 24757 62.00 5.50 0.00 67.50 0 java 11:53:04 AM 0 24799 54.00 14.00 0.00 68.00 5 java 11:53:04 AM 0 24841 39.50 9.00 0.00 48.50 0 java 11:53:04 AM UID PID %usr %system %guest %CPU CPU Command 11:53:06 AM 0 16813 0.50 0.50 0.00 1.00 2 pidstat 11:53:06 AM 0 24757 80.00 13.50 0.00 93.50 0 java 11:53:06 AM 0 24799 56.50 0.50 0.00 57.00 5 java 11:53:06 AM 0 24841 1.00 0.50 0.00 1.50 0 java 11:53:06 AM UID PID %usr %system %guest %CPU CPU Command 11:53:08 AM 0 16813 0.00 0.50 0.00 0.50 2 pidstat 11:53:08 AM 0 24757 58.50 1.00 0.00 59.50 0 java 11:53:08 AM 0 24799 60.00 1.50 0.00 61.50 5 java 11:53:08 AM 0 24841 1.00 0.50 0.00 1.50 0 java Average: UID PID %usr %system %guest %CPU CPU Command Average: 0 16813 0.20 0.60 0.00 0.80 - pidstat Average: 0 24757 61.58 6.69 0.00 68.26 - java Average: 0 24799 66.47 5.19 0.00 71.66 - java Average: 0 24841 39.92 3.99 0.00 43.91 - java ``` --------------------------------------------------------------------- ## 内存监控 - Linux 的内存本质是虚拟内存，这样说是因为它的内存是：物理内存 + 交换分区。有一个内存模块来管理应用的内存使用。 - 如果所以你内存大，可以考虑把 swap 分区改得小点或者直接关掉。 - 但是，如果是用的云主机，一般是没交换分区的，`free -g` 中的 Swap 都是 0。 - 查看内存使用命令： - 以 M 为容量单位展示数据：`free -m` - 以 G 为容量单位展示数据：`free -g` - CentOS 6 和 CentOS 7 展示出来的数据有差别，CentOS 7 比较容易看，比如下面的数据格式是 CentOS 7 的 `free -g`： ``` total used free shared buff/cache available Mem: 11 0 10 0 0 10 Swap: 5 0 5 ``` - 在以上结果中，其中可以用的内存是看 `available` 列。 - 对于 CentOS 6 的系统可以使用下面命令： ``` [root@bogon ~]# free -mlt total used free shared buffers cached Mem: 16080 15919 160 0 278 11934 Low: 16080 15919 160 High: 0 0 0 -/+ buffers/cache: 3706 12373 Swap: 0 0 0 Total: 16080 15919 160 ``` - 以上的结果重点关注是：`-/+ buffers/cache`，这一行代表实际使用情况。 ##### pidstat 采样内存使用情况 - 安装：`yum install -y sysstat` - 每隔 2 秒采样一次，一共 3 次：`pidstat -r 2 3` ``` Linux 3.10.0-693.el7.x86_64 (youmeek) 07/17/2018 _x86_64_ (8 CPU) 11:56:34 AM UID PID minflt/s majflt/s VSZ RSS %MEM Command 11:56:36 AM 0 23960 168.81 0.00 108312 1124 0.01 pidstat 11:56:36 AM 0 24757 8.42 0.00 9360696 3862788 23.75 java 11:56:36 AM 0 24799 8.91 0.00 10424088 4988468 30.67 java 11:56:36 AM 0 24841 11.39 0.00 10423576 4968428 30.54 java 11:56:36 AM UID PID minflt/s majflt/s VSZ RSS %MEM Command 11:56:38 AM 0 23960 169.50 0.00 108312 1200 0.01 pidstat 11:56:38 AM 0 24757 6.00 0.00 9360696 3862788 23.75 java 11:56:38 AM 0 24799 5.50 0.00 10424088 4988468 30.67 java 11:56:38 AM 0 24841 7.00 0.00 10423576 4968428 30.54 java 11:56:38 AM UID PID minflt/s majflt/s VSZ RSS %MEM Command 11:56:40 AM 0 23960 160.00 0.00 108312 1200 0.01 pidstat 11:56:40 AM 0 24757 6.50 0.00 9360696 3862788 23.75 java 11:56:40 AM 0 24799 6.00 0.00 10424088 4988468 30.67 java 11:56:40 AM 0 24841 8.00 0.00 10423576 4968428 30.54 java Average: UID PID minflt/s majflt/s VSZ RSS %MEM Command Average: 0 23960 166.11 0.00 108312 1175 0.01 pidstat Average: 0 24757 6.98 0.00 9360696 3862788 23.75 java Average: 0 24799 6.81 0.00 10424088 4988468 30.67 java Average: 0 24841 8.80 0.00 10423576 4968428 30.54 java ``` --------------------------------------------------------------------- ## 硬盘监控 #### 硬盘容量相关查看 - `df -h`：自动以合适的磁盘容量单位查看磁盘大小和使用空间 - `df -m`：以磁盘容量单位 M 为数值结果查看磁盘使用情况 - `du -sh /opt/tomcat6`：查看tomcat6这个文件夹大小 (h的意思human-readable用人类可读性较好方式显示，系统会自动调节单位，显示合适大小的单位) - `du /opt --max-depth=1 -h`：查看指定录入下包括子目录的各个文件大小情况 #### 命令：iostat（判断 I/0 瓶颈） - 命令：`iostat -x -k 3 3`，每 3 秒采样一次，共 3 次。 ``` avg-cpu: %user %nice %system %iowait %steal %idle 0.55 0.00 0.52 0.00 0.00 98.93 Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util vda 0.00 0.04 0.02 0.62 0.44 6.49 21.65 0.00 1.42 1.17 1.42 0.25 0.02 avg-cpu: %user %nice %system %iowait %steal %idle 0.34 0.00 0.00 0.00 0.00 99.66 Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util vda 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 avg-cpu: %user %nice %system %iowait %steal %idle 2.02 0.00 0.34 0.00 0.00 97.64 Device: rrqm/s wrqm/s r/s w/s rkB/s wkB/s avgrq-sz avgqu-sz await r_await w_await svctm %util vda 0.00 0.00 0.00 1.68 0.00 16.16 19.20 0.00 0.20 0.00 0.20 0.20 0.03 ``` - 列说明： - `rrqm/s`: 每秒对该设备的读请求被合并次数，文件系统会对读取同块(block)的请求进行合并 - `wrqm/s`: 每秒对该设备的写请求被合并次数 - `r/s`: 每秒完成的读次数 - `w/s`: 每秒完成的写次数 - `rkB/s`: 每秒读数据量(kB为单位) - `wkB/s`: 每秒写数据量(kB为单位) - `avgrq-sz`:平均每次IO操作的数据量(扇区数为单位) - `avgqu-sz`: 平均等待处理的IO请求队列长度（队列长度大于 1 表示设备处于饱和状态。） - `await`: 系统发往 IO 设备的请求的平均响应时间(毫秒为单位)。这包括请求排队的时间，以及请求处理的时间。超过经验值的平均响应时间表明设备处于饱和状态，或者设备有问题。 - `svctm`: 平均每次IO请求的处理时间(毫秒为单位) - `%util`: 采用周期内用于IO操作的时间比率，即IO队列非空的时间比率（就是繁忙程度，值越高表示越繁忙） - **总结** - `iowait%` 表示CPU等待IO时间占整个CPU周期的百分比，如果iowait值超过50%，或者明显大于%system、%user以及%idle，表示IO可能存在问题。 - `%util` （重点参数）表示磁盘忙碌情况，一般该值超过80%表示该磁盘可能处于繁忙状态 #### 硬盘 IO 监控 - 安装 iotop：`yum install -y iotop` - 查看所有进程 I/O 情况命令：`iotop` - 只查看当前正在处理 I/O 的进程：`iotop -o` - 只查看当前正在处理 I/O 的线程，每隔 5 秒刷新一次：`iotop -o -d 5` - 只查看当前正在处理 I/O 的进程（-P 参数决定），每隔 5 秒刷新一次：`iotop -o -P -d 5` - 只查看当前正在处理 I/O 的进程（-P 参数决定），每隔 5 秒刷新一次，使用 KB/s 单位（默认是 B/s）：`iotop -o -P -k -d 5` - 使用 dd 命令测量服务器延迟：`dd if=/dev/zero of=/opt/ioTest2.txt bs=512 count=1000 oflag=dsync` - 使用 dd 命令来测量服务器的吞吐率（写速度)：`dd if=/dev/zero of=/opt/ioTest1.txt bs=1G count=1 oflag=dsync` - 该命令创建了一个 10M 大小的文件 ioTest1.txt，其中参数解释： - if 代表输入文件。如果不指定 if，默认就会从 stdin 中读取输入。 - of 代表输出文件。如果不指定 of，默认就会将 stdout 作为默认输出。 - bs 代表字节为单位的块大小。 - count 代表被复制的块数。 - /dev/zero 是一个字符设备，会不断返回0值字节（\0）。 - oflag=dsync：使用同步I/O。不要省略这个选项。这个选项能够帮助你去除 caching 的影响，以便呈现给你精准的结果。 - conv=fdatasyn: 这个选项和 oflag=dsync 含义一样。 - 该命令执行完成后展示的数据： ``` [root@youmeek ~]# dd if=/dev/zero of=/opt/ioTest1.txt bs=1G count=1 oflag=dsync 记录了1+0 的读入 记录了1+0 的写出 1073741824字节(1.1 GB)已复制，5.43328 秒，198 MB/秒 ``` - 利用 hdparm 测试硬盘速度：`yum install -y hdparm` - 查看硬盘分区情况：`df -h`，然后根据分区测试： - 测试硬盘分区的读取速度：`hdparm -T /dev/sda` - 测试硬盘分区缓存的读取速度：`hdparm -t /dev/sda` - 也可以以上两个参数一起测试：`hdparm -Tt /dev/sda`，结果数据如下： ``` /dev/sda: Timing cached reads: 3462 MB in 2.00 seconds = 1731.24 MB/sec Timing buffered disk reads: 806 MB in 3.00 seconds = 268.52 MB/sec ``` ##### pidstat 采样硬盘使用情况 - 安装：`yum install -y sysstat` - 每隔 2 秒采样一次，一共 3 次：`pidstat -d 2 3` ``` Linux 3.10.0-693.el7.x86_64 (youmeek) 07/17/2018 _x86_64_ (8 CPU) 11:57:29 AM UID PID kB_rd/s kB_wr/s kB_ccwr/s Command 11:57:31 AM UID PID kB_rd/s kB_wr/s kB_ccwr/s Command 11:57:33 AM 0 24757 0.00 2.00 0.00 java 11:57:33 AM 0 24799 0.00 14.00 0.00 java 11:57:33 AM UID PID kB_rd/s kB_wr/s kB_ccwr/s Command 11:57:35 AM 0 24841 0.00 8.00 0.00 java Average: UID PID kB_rd/s kB_wr/s kB_ccwr/s Command Average: 0 24757 0.00 0.66 0.00 java Average: 0 24799 0.00 4.65 0.00 java Average: 0 24841 0.00 2.66 0.00 java ``` - 输出指标含义： ``` kB_rd/s: 每秒进程从磁盘读取的数据量(以 kB 为单位) kB_wr/s: 每秒进程向磁盘写的数据量(以 kB 为单位) kB_ccwr/s：任务取消的写入磁盘的 KB。当任务截断脏的 pagecache 的时候会发生。 ``` --------------------------------------------------------------------- ## 网络监控 #### 网络监控常用 - 安装 iftop（需要有 EPEL 源）：`yum install -y iftop` - 如果没有 EPEL 源：`yum install -y epel-release` - 常用命令： - `iftop`：默认是监控第一块网卡的流量 - `iftop -i eth0`：监控 eth0 - `iftop -n`：直接显示IP, 不进行DNS反解析 - `iftop -N`：直接显示连接埠编号, 不显示服务名称 - `iftop -F 192.168.1.0/24 or 192.168.1.0/255.255.255.0`：显示某个网段进出封包流量 - `iftop -nP`：显示端口与 IP 信息 ``` nginx 中间部分：外部连接列表，即记录了哪些ip正在和本机的网络连接 右边部分：实时参数分别是该访问 ip 连接到本机 2 秒，10 秒和 40 秒的平均流量 => 代表发送数据，<= 代表接收数据 底部会显示一些全局的统计数据，peek 是指峰值情况，cumm 是从 iftop 运行至今的累计情况，而 rates 表示最近 2 秒、10 秒、40 秒内总共接收或者发送的平均网络流量。 TX:（发送流量） cumm: 143MB peak: 10.5Mb rates: 1.03Mb 1.54Mb 2.10Mb RX:（接收流量） 12.7GB 228Mb 189Mb 191Mb 183Mb TOTAL:（总的流量） 12.9GB 229Mb 190Mb 193Mb 185MbW ``` ### 端口使用情况（也可以用来查看端口占用） #### lsof - 安装 lsof：`yum install -y lsof` - 查看 3316 端口是否有被使用（macOS 也适用）：`lsof -i:3316`，**有被使用会输出类似如下信息，如果没被使用会没有任何信息返回** ``` COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME java 12011 root 77u IPv6 4506842 0t0 TCP JDu4e00u53f7:58560->116.196.110.69:aicc-cmi (ESTABLISHED) java 12011 root 78u IPv6 4506843 0t0 TCP JDu4e00u53f7:58576->116.196.110.69:aicc-cmi (ESTABLISHED) java 12011 root 79u IPv6 4506844 0t0 TCP JDu4e00u53f7:58578->116.196.110.69:aicc-cmi (ESTABLISHED) java 12011 root 80u IPv6 4506845 0t0 TCP JDu4e00u53f7:58574->116.196.110.69:aicc-cmi (ESTABLISHED) java 12011 root 82u IPv6 4506846 0t0 TCP JDu4e00u53f7:58562->116.196.110.69:aicc-cmi (ESTABLISHED) java 12011 root 83u IPv6 4506847 0t0 TCP JDu4e00u53f7:58564->116.196.110.69:aicc-cmi (ESTABLISHED) java 12011 root 84u IPv6 4506848 0t0 TCP JDu4e00u53f7:58566->116.196.110.69:aicc-cmi (ESTABLISHED) java 12011 root 85u IPv6 4506849 0t0 TCP JDu4e00u53f7:58568->116.196.110.69:aicc-cmi (ESTABLISHED) java 12011 root 86u IPv6 4506850 0t0 TCP JDu4e00u53f7:58570->116.196.110.69:aicc-cmi (ESTABLISHED) java 12011 root 87u IPv6 4506851 0t0 TCP JDu4e00u53f7:58572->116.196.110.69:aicc-cmi (ESTABLISHED) docker-pr 13551 root 4u IPv6 2116824 0t0 TCP *:aicc-cmi (LISTEN) ``` #### netstat - 更多用法可以看：[netstat 的10个基本用法](https://linux.cn/article-2434-1.html) - 查看所有在用的端口（macOS 也适用）：`netstat -ntlp` ``` Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 0.0.0.0:111 0.0.0.0:* LISTEN 1/systemd tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 746/sshd tcp 0 0 127.0.0.1:32000 0.0.0.0:* LISTEN 12011/java tcp6 0 0 :::9066 :::* LISTEN 12011/java tcp6 0 0 :::6379 :::* LISTEN 28668/docker-proxy tcp6 0 0 :::111 :::* LISTEN 1/systemd tcp6 0 0 :::3316 :::* LISTEN 13551/docker-proxy tcp6 0 0 :::22 :::* LISTEN 746/sshd tcp6 0 0 :::35224 :::* LISTEN 12011/java tcp6 0 0 :::3326 :::* LISTEN 14203/docker-proxy tcp6 0 0 :::1984 :::* LISTEN 12011/java tcp6 0 0 :::8066 :::* LISTEN 12011/java tcp6 0 0 :::43107 :::* LISTEN 12011/java ``` - 查看当前连接80端口的机子有多少，并且是属于什么状态：`netstat -an|grep 80|sort -r` - 查看已经连接的IP有多少连接数：`netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n` - 查看已经连接的IP有多少连接数，只显示前 5 个：`netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -n | head -5` - 查看每个 ip 跟服务器建立的连接数：`netstat -nat|awk '{print$5}'|awk -F : '{print$1}'|sort|uniq -c|sort -rn` ``` 262 127.0.0.1 118 103 172.22.100.141 12 172.22.100.29 7 172.22.100.183 6 116.21.17.144 6 0.0.0.0 5 192.168.1.109 4 172.22.100.32 4 172.22.100.121 4 172.22.100.108 4 172.18.1.39 3 172.22.100.2 3 172.22.100.190 ``` - 统计当前连接的一些状态情况：`netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'` 或者 `netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn` ``` TIME_WAIT 96（是表示系统在等待客户端响应，以便再次连接时候能快速响应，如果积压很多，要开始注意了，准备阻塞了。这篇文章可以看下：http://blog.51cto.com/jschu/1728001） CLOSE_WAIT 11（如果积压很多，要开始注意了，准备阻塞了。可以看这篇文章：http://blog.51cto.com/net881004/2164020） FIN_WAIT2 17 ESTABLISHED 102（表示正常数据传输状态） ``` - TIME_WAIT 和 CLOSE_WAIT 说明： ``` Linux 系统下，TCP连接断开后，会以TIME_WAIT状态保留一定的时间，然后才会释放端口。当并发请求过多的时候，就会产生大量的TIME_WAIT状态 的连接，无法及时断开的话，会占用大量的端口资源和服务器资源。这个时候我们可以优化TCP的内核参数，来及时将TIME_WAIT状态的端口清理掉。 来源：http://zhangbin.junxilinux.com/?p=219 ================================= 出现大量close_wait的现象，主要原因是某种情况下对方关闭了socket链接，但是另一端由于正在读写，没有关闭连接。代码需要判断socket，一旦读到0，断开连接，read返回负，检查一下errno，如果不是AGAIN，就断开连接。 Linux分配给一个用户的文件句柄是有限的，而TIME_WAIT和CLOSE_WAIT两种状态如果一直被保持，那么意味着对应数目的通道就一直被占着，一旦达到句柄数上限，新的请求就无法被处理了，接着就是大量Too Many Open Files异常，导致tomcat崩溃。关于TIME_WAIT过多的解决方案参见TIME_WAIT数量太多。 常见错误原因： 1.代码层面上未对连接进行关闭，比如关闭代码未写在 finally 块关闭，如果程序中发生异常就会跳过关闭代码，自然未发出指令关闭，连接一直由程序托管，内核也无权处理，自然不会发出 FIN 请求，导致连接一直在 CLOSE_WAIT 。 2.程序响应过慢，比如双方进行通讯，当客户端请求服务端迟迟得不到响应，就断开连接，重新发起请求，导致服务端一直忙于业务处理，没空去关闭连接。这种情况也会导致这个问题。一般如果有多个节点，nginx 进行负载，其中某个节点很高，其他节点不高，那可能就是负载算法不正常，都落在一台机子上了，以至于它忙不过来。 来源：https://juejin.im/post/5b59e61ae51d4519634fe257 ``` - 查看网络接口接受、发送的数据包情况（每隔 3 秒统计一次）：`netstat -i 3` ``` Kernel Interface table Iface MTU RX-OK RX-ERR RX-DRP RX-OVR TX-OK TX-ERR TX-DRP TX-OVR Flg eth0 1500 10903298 0 0 0 10847741 0 0 0 BMRU lo 65536 453650 0 0 0 453650 0 0 0 LRU eth0 1500 10903335 0 0 0 10847777 0 0 0 BMRU lo 65536 453650 0 0 0 453650 0 0 0 LRU eth0 1500 10903363 0 0 0 10847798 0 0 0 BMRU lo 65536 453650 0 0 0 453650 0 0 0 LRU eth0 1500 10903393 0 0 0 10847836 0 0 0 BMRU lo 65536 453650 0 0 0 453650 0 0 0 LRU eth0 1500 10903437 0 0 0 10847867 0 0 0 BMRU lo 65536 453650 0 0 0 453650 0 0 0 LRU ``` - 接收（该值是历史累加数据，不是瞬间数据，要计算时间内的差值需要自己减）： - RX-OK 已接收字节数 - RX-ERR 已接收错误字节数（数据值大说明网络存在问题） - RX-DRP 已丢失字节数（数据值大说明网络存在问题） - RX-OVR 由于误差而遗失字节数（数据值大说明网络存在问题） - 发送（该值是历史累加数据，不是瞬间数据，要计算时间内的差值需要自己减）： - TX-OK 已发送字节数 - TX-ERR 已发送错误字节数（数据值大说明网络存在问题） - TX-DRP 已丢失字节数（数据值大说明网络存在问题） - TX-OVR 由于误差而遗失字节数（数据值大说明网络存在问题） #### 网络排查 - ping 命令查看丢包、域名解析地址 - `ping 116.196.110.69` - `ping www.GitNavi.com` - telnet 测试端口的连通性（验证服务的可用性） - `yum install -y telnet` - `telnet 116.196.110.68 3306` - `telnet www.youmeek.com 80` - tracert（跟踪路由）查看网络请求节点访问情况，用于确定 IP 数据报访问目标所采取的路径。 - `yum install -y traceroute` - `traceroute gitnavi.com` - nslookup 命令查看 DNS 是否可用 - `yum install -y bind-utils` - 输入：`nslookup`，然后终端进入交互模式，然后输入：`www.baidu.com`，此时会展示类似这样的信息： ``` Server: 103.224.222.221（这个是你本机的信息） Address: 103.224.222.221#53（这个是你本机的信息） （下面是百度的信息） Non-authoritative answer: www.baidu.COM canonical name = www.a.shifen.COM. Name: www.a.shifen.COM Address: 220.181.112.244 Name: www.a.shifen.COM Address: 220.181.111.188 ``` - 此时我们假设换个 DNS，我们在刚刚的交互阶段继续输入：`server 8.8.8.8`，表示我们此时用 8.8.8.8 的 DNS，然后我们在交互中再输入：`www.baidu.com`，此时会出现这个信息： ``` Server: 8.8.8.8 Address: 8.8.8.8#53 Non-authoritative answer: www.baidu.com canonical name = www.a.shifen.com. Name: www.a.shifen.com Address: 180.97.33.108 Name: www.a.shifen.com Address: 180.97.33.107 ``` - 以上表明，不同的 DNS 情况下，我们获取到的域名所属 IP 是不同的。 --------------------------------------------------------------------- ## 查看 Linux 内核版本 - 对于一些复杂的层面问题，一般都要先确认内核版本，好帮助分析：`uname -r` ``` 3.10.0-693.2.2.el7.x86_64 ``` ## dmesg 打印内核信息 - 开机信息存在：`tail -500f /var/log/dmesg` - 查看尾部信息：`dmesg -T | tail` - 参数 `-T` 表示显示时间 - 只显示 error 和 warning 信息：`dmesg --level=err,warn -T` - 有些 OOM 的错误会在这里显示，比如： ``` [1880957.563400] Out of memory: Kill process 18694 (perl) score 246 or sacrifice child [1880957.563408] Killed process 18694 (perl) total-vm:1972392kB, anon-rss:1953348kB, file-rss:0kB ``` ## 查看系统日志 - 查看系统日志：`tail -400f /var/log/messages` - 可能会看到类似以下异常： ``` Out of memory: Kill process 19452 (java) score 264 or sacrifice child ``` --------------------------------------------------------------------- ## 服务器故障排查顺序 #### 请求时好时坏 - 系统层面 - 查看负载、CPU、内存、上线时间、高资源进程 PID：`htop` - 查看网络丢失情况：`netstat -i 3`，关注：RX-DRP、TX-DRP，如果两个任何一个有值，或者都有值，肯定是网络出了问题（该值是历史累加数据，不是瞬间数据）。 - 应用层面 - 临时修改 nginx log 输出格式，输出完整信息，包括请求头 ``` $request_body 请求体（含POST数据） $http_XXX 指定某个请求头（XXX为字段名，全小写） $cookie_XXX 指定某个cookie值（XXX为字段名，全小写） 类似用法： log_format special_main '$remote_addr - $remote_user [$time_local] "$request" ' '$status $body_bytes_sent "$request_body" "$http_referer" ' '"$http_user_agent" $http_x_forwarded_for "appid=$http_appid,appver=$http_appver,vuser=$http_vuser" ' '"phpsessid=$cookie_phpsessid,vuser_cookie=$cookie___vuser" '; access_log /home/wwwlogs/hicrew.log special_main; ``` #### CPU 高，负载高，访问慢（没有数据库） - **记录负载开始升高的时间** - 常见场景 - 虚拟机所在的宿主机资源瓶颈，多个虚拟机竞争资源 - 定时任务大量的任务并发 - 消息、请求堆积后恢复时的瞬时流量引起 - 持久化任务引起 - 更多可以看这篇：[线上异常排查总结](https://blog.csdn.net/freeiceflame/article/details/78006812) - 系统层面 - 查看负载、CPU、内存、上线时间、高资源进程 PID：`htop` - 查看磁盘使用情况：`df -h` - 查看磁盘当前情况：`iostat -x -k 3 3`。如果发现当前磁盘忙碌，则查看是哪个 PID 在忙碌：`iotop -o -P -k -d 5` - 查看 PID 具体在写什么东西：`lsof -p PID` - 查看系统日志：`tail -400f /var/log/messages` - 查看简化线程树：`pstree -a >> /opt/pstree-20180915.log` - 其他机子 ping（多个地区 ping），看下解析 IP 与网络丢包 - 查看网络节点情况：`traceroute www.youmeek.com` - `ifconfig` 查看 dropped 和 error 是否在不断增加，判断网卡是否出现问题 - `nslookup` 命令查看 DNS 是否可用 - 如果 nginx 有安装：http_stub_status_module 模块，则查看当前统计 - 查看 TCP 和 UDP 应用 - `netstat -ntlp` - `netstat -nulp` - 统计当前连接的一些状态情况：`netstat -nat |awk '{print $6}'|sort|uniq -c|sort -rn` - 查看每个 ip 跟服务器建立的连接数：`netstat -nat|awk '{print$5}'|awk -F : '{print$1}'|sort|uniq -c|sort -rn` - 查看与后端应用端口连接的有多少：`lsof -i:8080|grep 'TCP'|wc -l` - 跟踪程序（按 `Ctrl + C` 停止跟踪）：`strace -tt -T -v -f -e trace=file -o /opt/strace-20180915.log -s 1024 -p PID` - 看下谁在线：`w`，`last` - 看下执行了哪些命令：`history` - 程序、JVM 层面 - 保存、查看 Nginx 程序 log - 通过 GoAccess 分析 log - 保存、查看 Java 程序 log - 使用内置 tomcat-manager 监控配置，或者使用类似工具：psi-probe - 使用 `ps -ef | grep java`，查看进程 PID - 根据高 CPU 的进程 PID，查看其线程 CPU 使用情况：`top -Hp PID`，找到占用 CPU 资源高的线程 PID - 保存堆栈情况：`jstack -l PID >> /opt/jstack-tomcat1-PID-20180917.log` - 把占用 CPU 资源高的线程十进制的 PID 转换成 16 进制：`printf "%x\n" PID`，比如：`printf "%x\n" 12401` 得到结果是：`3071` - 在刚刚输出的那个 log 文件中搜索：`3071`，可以找到：`nid=0x3071` - 使用 `jstat -gc PID 10000 10`，查看gc情况（截图） - 使用 `jstat -gccause PID`：额外输出上次GC原因（截图） - 使用 `jstat -gccause PID 10000 10`：额外输出上次GC原因，收集 10 次，每隔 10 秒 - 使用 `jmap -dump:format=b,file=/opt/dumpfile-tomcat1-PID-20180917.hprof PID`，生成堆转储文件 - 使用 jhat 或者可视化工具（Eclipse Memory Analyzer 、IBM HeapAnalyzer）分析堆情况。 - 结合代码解决内存溢出或泄露问题。 - 给 VM 增加 dump 触发参数：`-XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/opt/tomcat-1.hprof` #### 一次 JVM 引起的 CPU 高排查 - 使用 `ps -ef | grep java`，查看进程 PID - 根据高 CPU 的进程 PID，查看其线程 CPU 使用情况：`top -Hp PID`，找到占用 CPU 资源高的线程 TID - 也可以用：`ps -mp PID -o THREAD,tid,time` - 保存堆栈情况：`jstack -l TID >> /opt/jstack-tomcat1-TID-20181017.log` - 把占用 CPU 资源高的线程十进制的 TID 转换成 16 进制：`printf "%x\n" TID`，比如：`printf "%x\n" 12401` 得到结果是：`3071` - 在刚刚输出的那个 log 文件中搜索：`3071`，可以找到：`nid=0x3071` - 也可以在终端中直接看：`jstack TID |grep 十六进制线程 -A 30`，此时如果发现如下： ``` "GC task thread#0 (ParallelGC)" os_prio=0 tid=0x00007fd0ac01f000 nid=0x66f runnable ``` - 这种情况一般是 heap 设置得过小，而又要频繁分配对象；二是内存泄露，对象一直不能被回收，导致 CPU 占用过高 - 使用：`jstat -gcutil PID 3000 10`： - 正常情况结果应该是这样的： ``` S0 S1 E O M CCS YGC YGCT FGC FGCT GCT 0.00 0.00 67.63 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.68 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.71 38.09 78.03 68.82 124 0.966 5 0.778 1.744 0.00 0.00 67.71 38.09 78.03 68.82 124 0.966 5 0.778 1.744 ``` - S0：SO 当前使用比例 - S1：S1 当前使用比例 - E：**Eden 区使用比例（百分比）（异常的时候，这里可能会接近 100%）** - O：**old 区使用比例（百分比）（异常的时候，这里可能会接近 100%）** - M：**Metaspace 区使用比例（百分比）（异常的时候，这里可能会接近 100%）** - CCS：压缩使用比例 - YGC：年轻代垃圾回收次数 - FGC：老年代垃圾回收次数 - FGCT：老年代垃圾回收消耗时间（单位秒） - GCT：垃圾回收消耗总时间（单位秒） - **异常的时候每次 Full GC 时间也可能非常长，每次时间计算公式=FGCT值/FGC指）** - `jmap -heap PID`，查看具体占用量是多大 - 使用 `jmap -dump:format=b,file=/opt/dumpfile-tomcat1-PID-20180917.hprof PID`，生成堆转储文件（如果设置的 heap 过大，dump 下来会也会非常大） - 使用 jhat 或者可视化工具（Eclipse Memory Analyzer 、IBM HeapAnalyzer）分析堆情况。 - 一般这时候就只能根据 jhat 的分析，看源码了 - 这里有几篇类似经历的文章推荐给大家： - [三个神奇bug之Java占满CPU](http://luofei.me/?p=197) - [CPU 负载过高问题排查](http://zhouyun.me/2017/10/24/cpu_load_issue/) #### CPU 低，负载高，访问慢（带数据库） - 基于上面，但是侧重点在于 I/O 读写，以及是否有 MySQL 死锁，或者挂载了 NFS，而 NFS Server 出现问题 - mysql 下查看当前的连接数与执行的sql 语句：`show full processlist;` - 检查慢查询日志，可能是慢查询引起负载高，根据配置文件查看存放位置：`log_slow_queries` - 查看 MySQL 设置的最大连接数：`show variables like 'max_connections';` - 重新设置最大连接数：`set GLOBAL max_connections=300` ## 参考资料 - - - - - - - - - - ================================================ FILE: markdown-file/other.md ================================================ # Linux-Tutorial 在线常见命令整理： http://man.linuxde.net https://www.centos.bz/linux-basic-knowledge/ http://itlab.idcquan.com/linux/special/linuxcom/Index.html http://ganquan.info/linux/ http://wiki.open.qq.com/wiki/faq/linux……BB%A4 http://i.linuxtoy.org/files/pdf/fwunixref.pdf http://waterlab.whu.edu.cn/hpc/upload/2010/6/LinuxCommand.pdf http://www.linux265.com/download/linux_cmd.pdf CHM文件常用命令整理： http://www.centoscn.com/CentosSoft/pdf/2013/0413/277.html 常见快捷键（在Ubuntu桌面上，常按win键也可以调用出系统快捷键目录列表说明）： http://blog.csdn.net/xiaojianpitt/article/details/7393058 http://www.ubuntukylin.com/ask/index.php?qa=jc_4 不错的ubuntu社区，可以在上面找资料和问题： http://www.wikihow.com/Category:Ubuntu 源列表推荐： http://wiki.ubuntu.org.cn/Qref/Source http://www.zhihu.com/question/19816319 ================================================ FILE: markdown-file/shell-safe-rm.md ================================================ # 安装的 rm（删除） ## 由来 - 我们都知道 `rm -rf` 是一个危险的操作，所以我们应该尽可能养成一个不要 rm 的习惯，而是 mv。 ## 设置 - 创建一个用来存放要被我们删除的文件夹存放地：`cd $home && mkdir .trash` - 赋予最高权限（个人习惯）：`chmod 777 .trash` - 如果你使用 bash，你需要修改你的 home 目录下的：`.bashrc` - 我使用的是 zsh，所以我修改：`vim .zshrc`，在文件的最后面增加下面内容： ``` # rm transform function rm() { # garbage collect now=$(date +%s) for s in $(ls --indicator-style=none $HOME/.trash/) ;do dir_name=${s//_/-} dir_time=$(date +%s -d $dir_name) # if big than one month then delete if [[ 0 -eq dir_time || $(($now - $dir_time)) -gt 2592000 ]] ;then echo "Trash " $dir_name " has Gone " /bin/rm $s -rf fi done # add new folder prefix=$(date +%Y_%m_%d) hour=$(date +%H) mkdir -p $HOME/.trash/$prefix/$hour if [[ -z $1 ]] ;then echo 'Missing Args' return fi echo "Hi, Trashing" $1 "to /root/.trash" mv $1 $HOME/.trash/$prefix/$hour } ``` - 刷新配置：`source ~/.zshrc` - 然后断开终端，重新连接 - 此时如果你使用：`rm -rf a.txt` 会出现这样的提示： ``` Hi, Trashing -rf to /root/.trash mv: invalid option -- 'r' Try 'mv --help' for more information. ``` - 现在我们删除一个测试文件：`rm a.txt`，会事显示：`Hi, Trashing a.txt to /root/.trash` - 因为我们上面的 shell 每次触发 rm 明白的时候都会去删除一个月前的目录，所以就不需要定时器来删除 .trash 里面的文件了。 - 如果你要强制删除，清空 .trash 目录，可以使用真正的 rm 命令：`/usr/bin/rm -rf ~/.trash/*` ## 资料 - ================================================ FILE: markdown-file/speedtest.md ================================================ # 终端测速 - 目前大家主推这个项目： - 用起来也比较简单，Python 2 ~ 3 都支持。 ## 简单安装方式 - 命令：`pip install speedtest-cli` - 官网还介绍了其他很多安装使用方式，大家可以自行看下。 ## 运行 - 命令：`speedtest-cli` - 结果如下： ``` Retrieving speedtest.net configuration... Testing from China Telecom Guangdong (113.67.181.234)... Retrieving speedtest.net server list... Selecting best server based on ping... Hosted by CTM Internet Services (Macau) [106.48 km]: 64.783 ms Testing download speed................................................................................ Download: 1.05 Mbit/s Testing upload speed................................................................................................ Upload: 2.28 Mbit/s ``` ================================================ FILE: markdown-file/ubuntu-settings/Network-Settings.md ================================================ # Ubuntu 网络相关设置问题 ## 网络配置 - 现在大家默认家里都是有路由器来着，所以如果只是为了联网，基本这些都不需要配置，直接插上网线一般就可以用了。 比较特殊的可能就是有的家里没路由器，而且还是 PPPOE 拨号上网的，那这个也有对应的设置可以参考： - - - - - 上面四篇文章讲了很多方法，我个人平时是喜好用进入DOS的图形界面进行设置方式，命令：`sudo pppoeconf` - 如果你在 Ubuntu 网络连接的时候出现这种情况：未找到合法的活动链接 可以编辑 **/etc/NetworkManager/NetworkManager.conf**，把文件里的 `managed=false` 改成 `managed=true`，重启电脑后应该就可以了。 - 具体可以看： - 如果你是某个高校的学生，学校联网有自己的独立客户端的话，那你就关注下是否有linux系统的客户端了，这里我就帮不上了。 - 你有可能跟我一样还需要不时穿越，通用设置VPN的方法我也准备好了，你只要根据下面图片设置即可，但是需要注意的是，配置好后，最好重启电脑，不然可能没办法连接上，这点很重要。 ## 设置局域网静态 IP（固定 IP） - 我目前有一台 Windows，一台 Ubuntu，Ubuntu 有时候是直接在 Windows 上直接 SSH 连接上去的，所以如果自动分配 IP 的话就比较麻烦。 - 编辑配置文件：`sudo vim /etc/network/interfaces` - 配置文件内容中，部分信息改为如下： ``` nginx auto eth0 # iface eth0 inet dhcp # 注释上面默认配置的 DHCP 设置,改为下面这个 static iface eth0 inet static address 192.168.1.103 # IP 地址 netmask 255.255.255.0 # 子网掩码 gateway 192.168.1.1 # 网关 ``` ## 设置DNS服务器 - 编辑配置文件：`sudo vim /etc/resolvconf/resolv.conf.d/base` - 如果里面没内容，则新增下面两个：（我是广州电信，这两个 DNS 是我根据 360 安全卫士 DNS 优选功能自动筛选出来的，每个地区的人得到结果可能都不一样） ``` nginx nameserver 123.125.81.6 nameserver 8.8.8.8 ``` - 更新 resolv.conf 文件：`sudo resolvconf -u` - 重启服务：`sudo /etc/init.d/networking restart`，如果重启服务没效果那就重启系统试试看。 ## 配置 VPN（作为开发者经常用）： - ![Ubuntu VPN 配置](../images/Ubuntu-a-3.jpg) - ![Ubuntu VPN 配置](../images/Ubuntu-a-4.jpg) - ![Ubuntu VPN 配置](../images/Ubuntu-a-5.jpg) - ![Ubuntu VPN 配置](../images/Ubuntu-a-6.jpg) ## 其他常见问题 - 如果你的 Ubuntu 设置固定 IP 后网络图标消失且无法查看 IP：`sudo vim /etc/NetworkManager/NetworkManager.conf` - 修改该值为：`managed=true` （原值为 false） ## 资料： - - ================================================ FILE: markdown-file/ubuntu-settings/Ubuntu-Create-Desktop.md ================================================ # Ubuntu 给 Dash 添加程序图标 ## 创建图标文件 - 我们建设以创建 pycharm 程序图标为例 - 进入图标存放目录|：`cd /usr/share/applications` - 创建文件并编辑：`sudo gedit pycharm.desktop` ``` ini [Desktop Entry] Name=Pycharm Name[zh_CN]=Pycharm Comment=Pycharm3:The Python IDE Exec=/pycharm-community-2017.1.1/bin/pycharm.sh Icon=/pycharm-community-2017.1.1/bin/pycharm.png Terminal=false Type=Application Categories=Application; Encoding=UTF-8 StartupNotify=true ``` - 重点参数说明（注意：路径使用完整路径） - Name 为你想要显示在 Launcher 中的名称 - Comment 为说明。 - Exec 为程序执行位置 - Icon 为图标所在路径 - 最后，打开 Dash，在顶部搜索框搜索 **pycharm**，此时你应该能搜到它，先单击试一下看能不能打开，如果可以打开，拖到该图标启动器上，下次就可以直接从启动器打开了 ## 资料 - 图文资料： - 图文资料： - 图文资料： ================================================ FILE: markdown-file/ubuntu-settings/Ubuntu-Extra-Packages.md ================================================ # Ubuntu 源设置 ## 介绍 - 简单地讲：修改资源源地址主要是为了加快下载速度，默认的资源源地址在是境外，速度肯定没有境内速度快。 - 了解源这东西： - 文章的重点是页面最下面，每个版本的源地址都是不一样的，所以要懂得替换对应的版本英文名称，各个版本的英文名称大家自己找下，然后进行修改。 ## 修改源 - 国内常用源配置方法： - 163 源： - 阿里源： - sohu： - 替换过程（更换之前最好备份一下 sources.list 配置文件）： - 我以 Ubuntu 14.04 为例，使用网易源： - 备份下：`sudo cp /etc/apt/sources.list /etc/apt/sources_20151128_back.list` - 用 gedit 编辑器打开配置文件：`sudo gedit /etc/apt/sources.list`，替换里面所有内容为下面这些内容： ``` ini deb http://mirrors.163.com/ubuntu/ trusty main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ trusty-security main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ trusty-updates main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ trusty-proposed main restricted universe multiverse deb http://mirrors.163.com/ubuntu/ trusty-backports main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty-security main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty-updates main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty-proposed main restricted universe multiverse deb-src http://mirrors.163.com/ubuntu/ trusty-backports main restricted universe multiverse ``` - 更换源之后，需要在终端中执行：`sudo apt-get update`，这是必须做的，不然你后面可能会遇到 apt-get 安装会提示：未发现软件包。 ================================================ FILE: markdown-file/ubuntu-settings/Ubuntu-Popular-Settings.md ================================================ # Ubuntu 常用的设置 右键桌面设置中有一个“开启工作区“这个类似虚拟桌面，可以有多个桌面，工作的时候很有用。 桌面右键设置唤醒和黑屏之后唤醒不需要输入密码，既然是平时的开发机，那就没啥多大隐私，而且是在自己家里， 设置密码太麻烦了。 改变鼠标图标大小，小了我看着不爽，下面三个文章是我找的，但是都不适合我： 我最终的方式是：安装 dconf-tools 安装后好，编辑这个文件，命令：gedit ~/ .Xresources 在打开的文件中添加这句话：Xcursor.size:48，其中48是文字大小，默认系统是24的大小，然后重启电脑即可。 查看隐藏文件和目录：按 Ctrl+H http://jingyan.baidu.com/article/49711c61415945fa441b7c89.html Ubuntu使用root账号登录图形界面，必须先给root设置密码，并解锁： 设置密码：sudo passwd root 解锁：sudo passwd -u root 锁住：sudo passwd -l root 解锁之后，修改这个配置文件，命令：vi /etc/lightdm/lightdm.conf，最后添加一行：greeter-show-manual-login=true （这一行表示可以输入用户名的方式登录账号），重启电脑，登录界面就有一个可以输入用户名的输入框，直接输入root，再输入密码。 不输入密码执行sudo命令方法介绍： http://www.nenew.net/nopasswd-exec-sudo-sudoers.html http://blog.xuite.net/chingwei/blog/38359401……A2%BC(需要穿越) ================================================ FILE: markdown-file/ubuntu-settings/Ubuntu-UI.md ================================================ ## Ubuntu 常见桌面环境方案 - [GNOME](https://www.gnome.org/) - [KDE](https://www.kde.org/) - [Unity8](https://ubports.com/zh_CN/blog/1/post/unity8-on-the-desktop-95) - MATE - Cinnamon - Lxde - Xfce ## Ubuntu 18.04 桌面环境方案 - 使用 GNOME ## Ubuntu 16.04 桌面环境方案 - 使用 Unity ------------------------------------------------------------ ## GUI 工具包 - [GTK](https://www.gtk.org/) - [Qt](https://www.qt.io/) ------------------------------------------------------------ ## 常见桌面环境方案 与 GUI 工具包关系 - GNOME、LXDE、Xfce 使用 GTK 工具包 - KDE、Unity8 使用 Qt 工具包 ## 资料 - [自由之选：七大顶尖 Linux 桌面环境比拼](https://linux.cn/article-6021-1.html) - [自由奔放的 Linux （3）—— Gnome 与 KDE](http://blog.sciencenet.cn/blog-530833-540604.html) - [自由奔放的 Linux （2） ——Ubuntu 与 Fedora](http://blog.sciencenet.cn/home.php?mod=space&uid=530833&do=blog&id=540366) ================================================ FILE: markdown-file/ubuntu-settings/ubuntu-settings-toc.md ================================================ - [Ubuntu 网络相关设置问题](Network-Settings.md) - [Ubuntu 源设置](Ubuntu-Extra-Packages.md) - [Ubuntu 给 Dash 添加程序图标](Ubuntu-Create-Desktop.md) - [Ubuntu 常用设置](Ubuntu-Popular-Settings.md) - [Ubuntu 常见桌面环境方案](Ubuntu-UI.md) ================================================ FILE: markdown-file/wrk-Install-And-Settings.md ================================================ # wrk 安装和配置 ## wrk 说明 - wrk 相对于 ab 来说最大的优点是它支持多线程，可以有更大的并发量 ## 安装 - CentOS 7.4 - 官网说明： ``` # 安装工具包的时候差不多有 90 个左右的子工具 sudo yum groupinstall 'Development Tools' sudo yum install -y openssl-devel git git clone --depth=1 https://github.com/wg/wrk.git wrk cd wrk make # move the executable to somewhere in your PATH sudo cp wrk /usr/local/bin ``` - 查看帮助：`wrk --help` ## 使用 - 启用 10 个线程，每个线程发起 100 个连接，持续 30 秒：`wrk -t10 -c100 -d30s http://www.baidu.com` - 最终报告： ``` Running 30s test @ http://www.baidu.com 5 threads and 5 connections Thread Stats Avg Stdev Max +/- Stdev Latency 44.59ms 17.41ms 331.91ms 95.66% Req/Sec 23.11 5.77 30.00 57.04% 3439 requests in 30.03s, 50.47MB read Socket errors: connect 0, read 10, write 0, timeout 0 Requests/sec: 114.52 Transfer/sec: 1.68MB ``` #### 使用 lua 脚本（发送一个 post 请求） - 创建：`vim /opt/post-wrk.lua` ``` wrk.method = "POST" wrk.body = "hms_user_id=222222&routing_key=ad.sys_user.add" wrk.headers["Content-Type"] = "application/x-www-form-urlencoded" ``` - 测试：`wrk -t10 -c100 -d15s --script=/opt/post-wrk.lua --latency http://127.0.0.1:9090/websocket/api/send-by-user-id` ## 其他说明 - wrk 使用的是 HTTP/1.1，缺省开启的是长连接 - 要测试短连接：`wrk -H "Connection: Close" -c 100 -d 10 http://domain/path` ## 资料 - -