MySQL 自增ID 和 UUID 做主键的初步性能研究

这几天在纠结数据表主键的设计问题,考虑使用自增ID还是UUID来做主键,数据库后端为MySQL。
首先在互联网上搜索,得到实测 Mysql UUID 性能这篇文章,他的结论是:

当数据表的引擎为MyISAM 时,自增 ID 无疑是效率最高的, UUID 效率略低,但不会低到无法接受。一旦数据引擎为 InnodB 时,效率下降非常严重,已经达到令人发指的地步。由于 InnodB 主键采用 聚集索引 ,会对插入的记录进行物理排序,而 UUID本身基本上是无序的,所以造成了巨大的 I/O 开销。所以如果使用 innodB 千万不要使用 UUID 。

结论经过我后来的测试验证基本正确,但是对这篇文章中间的测试方法不敢苟同。

其测试过程中重大错误:针对自增id的两个表的插入操作没有写入varchar字段,考虑到varchar插入的性能消耗,这一点是绝对不能够忽略的!

建立四张测试用表:

uuidtest_inno(uuid,text),
idtest_inno(id,text),
uuidtest_myisam(uuid,text),
idtest_myisam(id,text)

建立四个存储过程,测试数据量插入100 000行:

DROP PROCEDURE IF EXISTS p_uuid_inno//
CREATE PROCEDURE p_uuid_inno()
BEGIN
DECLARE i INT;
SET i=0;
WHILE i

清空这四个表:

TRUNCATE inttest_inno//
TRUNCATE uuidtest_inno//
TRUNCATE inttest_myisam//
TRUNCATE uuidtest_myisam//

执行存储过程:

call p_int_myisam()//
call p_uuid_myisam()//
call p_int_inno()//
call p_uuid_inno()//

发现执行时间巨长无比。无奈,将测试数据量缩减到1000次插入。
myisam的时间都是0.2s左右,innodb为55s左右。

考虑数据库优化,放弃ACID支持,
设置 innodb_flush_log_at_trx_commit = 2
得到:

mysql> call p_int_myisam();
Query OK, 1 row affected (2.02 sec)

mysql> call p_uuid_myisam();
Query OK, 1 row affected (2.63 sec)

mysql> call p_int_inno();
Query OK, 1 row affected (9.71 sec)

mysql> call p_uuid_inno();
Query OK, 1 row affected (13.88 sec)

再设置 innodb_flush_method = O_DIRECT
得到:

mysql> call p_int_myisam();
Query OK, 1 row affected (2.06 sec)

mysql> call p_uuid_myisam();
Query OK, 1 row affected (2.56 sec)

mysql> call p_int_inno();
Query OK, 1 row affected (7.59 sec)

mysql> call p_uuid_inno();
Query OK, 1 row affected (10.88 sec)

再设置 innodb_log_buffer_size = 8M(之前的设置是3M)
得到:

mysql> call p_int_myisam();
Query OK, 1 row affected (1.96 sec)

mysql> call p_uuid_myisam();
Query OK, 1 row affected (2.63 sec)

mysql> call p_int_inno();
Query OK, 1 row affected (5.28 sec)

mysql> call p_uuid_inno();
Query OK, 1 row affected (9.59 sec)

可以看到对innodb来说插入速度低于myisam,这与选择uuid还是自增ID做主键没有太大的关系,uuid的确要比自增ID慢但是不至于说是数量级上的慢。

站点迁移完成

今天完成了从旧站点fishinbox到新站点staryland.com的迁移工作。旧的fishinbox.tk站点依然存在,只是不会继续维护了。

新的站点依然使用cloudflare的CDN服务,国内访问速度不是很乐观,但是好在方便省心,激进的优化设置也许会有兼容性问题,不过就目前来看,在本站上运行状况良好。

此次迁移也标志着我正式开始记录日志了,思绪或者经验总是要与人分享的,记录下来宜人宜己。本站内容主要集中在编程(C++,C#,Java,PHP),数据库应用(SQL)等方面上,但日后会更加丰富。

CET大学英语测试无须保护盾查询

前两天写了个php版本的CET成绩查询工具,已经开源到GitHub

https://github.com/fishinbox/CET-Result-Checkout

总体思想是 HTTP_REFER欺骗,目前HTTP_REFER欺骗主要有2种形式,一种是利用本地浏览器插件或者是封包截取工具修改Refer标头,另外一种是通过中转服务器伪造Refer标头来请求信息。

有能力使用本地插件的同学应当不用我多说,把Refer标头修改为:

http://cet.99sushe.com 就可以通过http://cet.99sushe.com/s 页面查询成绩了,post域内容为id,即准考证号,name,即gbk编码的姓名前两个字。

github托管的是99宿舍和学信网两个查询方式,页面很干净,没有广告和其他乱七八糟的东西。

希望测试以下的可以见http://phptest2.sinaapp.com/,不过请大家手下留情,SAE的云豆小弟不多,不要刷爆了。

MediaWiki File Cache

由于前几日新开的Wiki站服务器压力有点小大,于是琢磨着开启缓存。本来站点使用了CloudFlare的CDN,但可惜命中率低下,服务器压力并不能缓解。于是只能退而求其次,使用文件缓存。当然MediaWiki的文件缓存功能和很多主流php应用一样,都是针对非注册用户的。
MediaWiki由于众所皆知的原因,并没有提供强大地后台管理页面,对Wiki站的配置主要集中在对LocalSettings.php这个文件的修改了。
MediaWiki 对File Cache主要由以下参数控制:

主要选项


$wgUseFileCache = true; /* default: false */
$wgFileCacheDirectory = "$IP/cache";
$wgShowIPinHeader = false;

其中$wgShowIPinHeader = false;选项为必须项,但是自2009年一月27日版本r46374起,该操作由系统自动完成,所以具体还要看你的Wiki版本是多少。
$wgFileCacheDirectory = “$IP/cache”;其中$IP意为指Install Path,即安装路径,是不能够通过LocalSettings.php设置的。$IP/后面接着的字符串即为你所指定的缓存文件夹。一般使用cache或者filecache。
$wgUseFileCache = true;该选项设置是否使用文件缓存功能,默认值是false,即不开启。

可选选项


$wgUseGzip = true;

该选项设置缓存文件为gzip压缩过的,当Client请求AcceptEncoding包含gzip时,即会返回*.html.gz的内容给服务器。
但是注意!在使用该参数之前,请确保您的MediaWiki并没有开启gzip,否则将会返回给用户2次gzip过后的内容,导致浏览器不能正常解析。本站Wiki通过修改index.php以及load.php的代码,为全Wiki站启用了gzip压缩,而第一次设置的时候没有考虑到这一点,还同时启用了$wgUseGzip导致浏览页面一片乱码,最终找到问题,并且此篇文章写成前也在官方Wiki站找到了相关说明:File Cache Compression
必须说,文件缓存还是很管用的,我的Wiki站服务器很差劲,不开缓存基本上需要20s才能完成一次渲染,而开启缓存之后,页面载入时间降到了2-3s,对于纯浏览用户来说,这是个巨大地提高。

SQL data character set configuration

Days ago I posted an article containing Greek characters which didn’t go as expected, but I failed to look further in this issue. I totally didn’t realize that it has some thing to do with my database character set configuration.

But today, a friend post a comment on my page and it’s so sad that the comment became multiple question marks “????…”. And this is when I realized that there was something wrong and by Googling I gained the knowledge that it may has something to do with my American free web space provider, who provided SQL database but in latin character set as default, which leads to the whole following things.

It’s tough to change the character set field by filed but finally I made it, and this web site is supposed to be compatible with all UTF-8 characters.

Enable the Gzip Compression

Have been struggling on how to turn on the gzip compression. I mean the Super cache plugin enabled compression but not always works. So I searched the Internet to find solutions, and got nothing.

Until then, someone mentioned it can be enabled by modifying the .htaccess and here follows the code,

 SetOutputFilter DEFLATE
AddOutputFilterByType DEFLATE text/html text/css image/gif image/jpeg image/png application/x-javascript 

It works! Thank god!

And good night the world.