一次由于MTU设置不当导致的网络访问超时
现象 Server A 调用本机的接口，能正常返回。调用Server B的接口，总是超时。被调用接口是能正常执行的，而且有执行日志记录。 Server C 调用Server B的接口也能正常返回。 分析 根据以上，基本可以排除是Server B接口服务的问题导致超时。很有可能 Server A 与 Server B之间的网络有问题。抓包分析如下： Server A 调 ...
首页 » 问题排查
Java 进程异常退出问题排查
Java 进程异常退出问题排查 现象 收到报警邮件，提示 tn_25 上的服务不可用了。登录到 tn_25 服务器，发现 Java 进程已经不在了。 追查 在 /var/log/messages 文件中找到了以下信息： Sep 28 14:09:38 localhost kernel: Out of memory: Kill process 133003 (java) score 232 or sacrifice child Sep 28 14:09:38 l ...
在2016的phpcon大会上的分享PPT下载
这是在2016年，在phpcon大会上分享的PPT。感谢 锅巴和板子，组织这么好的活动。虽然，大会第一天下起了雨，但是人还是爆满。居然还有来自日本的同学。倍感意外。 以下是PPT几张关键的PPT截图和PPT下载地址： PHP问题排查实践 解决问题的思路 gearman导致cpu100问题解决方法 案例详细分析：《php进程导致服务器cpu ...
crond中使用flock命令的坑
现象 需要定期去执行一个PHP脚本，首先想到的是通过crond命令来实现这个功能。但是，在crond的执行过程中发现一个诡异的事情。在crond中的配置如下。 */1 * * * * root /usr/bin/flock -xn /tmp/test.lock -c '/usr/bin/php /home/hailong/test.php > /tmp/test.tt 2>&1' 脚本只会在第一次成功执行，之后就 ...
PHP返回内容过长时被nginx截断的解决办法
背景 周日把博客的版本升级到最新，顺便又从新部署了nginx和PHP的环境。使用了PHP7。从新部署环境后发现原先发布博客文章时，编辑框不能正常显示。如图： 分析 查看了html源代码，发现html源代码被截断了。因此，导致网页内容显示不全。 之后的整个分析过程绕了一大圈，即是tcpdump，又是用tcpflow进行网络包分析。最 ...
Gearmand异步处理就安全了吗？不！
前言 之前使用Gearman的时候，遇到过一个卡顿的问题。今天微博上又有人问我是否遇到过此类问题。这个问题，当时是伯诚老师解决的。我把他的文章搬过来。希望能给遇到此类问题的人一点参考。 问题 使用Gearman作为异步消息处理中间件是却没有想象中的顺利。我们多次发现Gearmand进程会将PHP的请求Hold住，不做任何响应， ...
[坑]打rpm包时，注意%post和%postun的执行顺序
问题 掉进坑里面了。最近完成了阿里PHP5.5.25的rpm打包。今天在升级其中一个扩展的时候发现，只要升级成功之后，扩展在配置文件中相关配置项就会被注释掉。最终定位到是spec文件中%postun段写的有问题。 spec文件中%postun段的代码示例如下： %postun conf_path="/php-fpm/lib/php.ini" sed -i 's/^\[tclip\]/;\[tclip ...
线上PHP问题排查思路与实践
前言 前几天，在一淘网，腾讯网媒和微博商业技术联合组织的技术分享大会上，我分享了《在线PHP问题排查思路与实践》。此博文除了对PPT提供下载外，还会对ppt做简单的注释说明。主题分为三部分，常见问题，解决思路和案例分析。 常见问题 不同用户看到的错误可能不一样。一般用户看到的错误都是表层的现象。如，裸奔的错 ...
tcpdump 和 wireshark组合拳，揪出有问题的机器
现象 mysqlnd的超时时间设置为2s后，出现了一个诡异的现象。在php的error log中出现了一些错误信息。如下： [20-Dec-2014 21:20:17] WARNING: [pool www] child 31401 said into stderr: "NOTICE: PHP message: PHP Warning: PDO::__construct(): MySQL server has gone away in ./abstract.class.php on line 26" 第 ...
使用tcpdump排查mysql数据库tps飙升的问题
现象 上线后习惯性的观察数据库的变化。发现数据库的tps有很大的飙升。不过幸好在双十一的时候在数据库方面做了一些完善，虽然主库的tps有飙升，但是总体load还不是很高。但是问题既然出现了，还是要解决的。 排查过程 确定是insert update 还是 delete操作导致tps高？ 既然是tps高，那就说明数据库修改的操作多了。到 ...
*** glibc detected ***
现象： 今天线上一台服务器的php打算升级到php5.5，导入流量后，在php的error log中出现了一些 glibc delected错误。 如： *** glibc detected *** ./test: double free or corruption (fasttop): 0x00000000049cc010 *** 原因： 重复free 示例： #include"stdio.h" #include "stdlib.h" #include ...
/usr/bin/yum: /usr/bin/python: bad interpreter: No such file or directory
问题： 当你执行yum 命令时提示如下错误： /usr/bin/yum: /usr/bin/python: bad interpreter: No such file or directory 解决方法： 上面的提示说明yum脚本没有找到python命令。 只要找到python命令的路径，然后建立个软链接即可。 如: sudo ln -s /usr/bin/python2.4 /usr/bin/python ps： yum命令是用python脚本写的 ...