分类目录归档：数据库

2016
12-21

全文搜索：分词不在需要，按句子索引即可

摘要：一般来说的全文搜索服务，大体是基于字和关键词的，基于语句的全文搜索服务是一个有意思的课题。以文字为最小节点，以语句为分枝，建立语义树，提供基于语义树的全文检索服务。通过对语句进行语义特征编码，并结合数据库，来实现基于语义树的全文索引和搜索服务。1引言搜索引擎是信息时代的基础服务之一，搜索引擎服务的核心为全文检索。常用的全文检索，一般以关键词的检索为主，对于不同的语言需要不同的... 继续阅读 >
2016
12-15

如何写出高性能SQL语句 HOT

1、首先要搞明白什么叫执行计划？执行计划是数据库根据SQL语句和相关表的统计信息作出的一个查询方案，这个方案是由查询优化器自动分析产生的，比如一条SQL语句如果用来从一个10万条记录的表中查1条记录，那查询优化器会选择“索引查找”方式，如果该表进行了归档，当前只剩下5000条记录了，那查询优化器就会改变方案，采用“全表扫描”方式。可见，执行计划并不是固定的，它是“个性化的”。产生一个正确的“执行计划”有两... 继续阅读 >
2016
11-30

MySQL 的 20+ 条最佳实践

数据库操作是当今Web应用程序中的主要瓶颈。不仅是DBA（数据库管理员）需要为各种性能问题操心，程序员为做出准确的结构化表，优化查询性能和编写更优代码，也要费尽心思。在本文中，我列出了一些针对程序员的MySQL优化技术。在我们开始学习之前，我补充一点：你可以在EnvatoMarket上找到大量的MySQL脚本和实用程序。1.优化查询的查询缓存大部分MySQL服务器都有查询缓存功能。这是提高性能的最有效... 继续阅读 >
2016
11-23

利用SQLite数据库文件实现任意代码执行

前言近期，我们对贝尔金WeMo智能家居设备的安全性进行了分析。在研究过程中，我们开发出了一种新型的SQL注入技术，这项技术针对的是SQLite数据库。实验表明，我们可以利用这项SQLite注入技术在SQLite数据库中实现任意代码执行。这篇文章将会告诉大家如何去创建一个SQLite数据库，并且利用纯粹的SQL查询语句来执行一个ashShell脚本。我们认为，对于渗透测试人员和漏洞研究社区而言，这项技术的适用性是非常广泛的。... 继续阅读 >
2016
11-21

大众点评订单系统分库分表实践

背景原大众点评的订单单表早就已经突破两百G，由于查询维度较多，即使加了两个从库，优化索引，仍然存在很多查询不理想的情况。去年大量抢购活动的开展，使数据库达到瓶颈，应用只能通过限速、异步队列等对其进行保护；业务需求层出不穷，原有的订单模型很难满足业务需求，但是基于原订单表的DDL又非常吃力，无法达到业务要求。随着这些问题越来越突出，订单数据库的切分就愈发急迫了。这次切分，我们的目标是未来十年内不需要... 继续阅读 >
2016
11-08

MySQL简单主从方案暴露问题

1、概述从本篇文章开始我们将向读者介绍mysql的各种服务集群的搭建方式。大致的讨论思路是从最简的MySQL主从方案开始介绍，通过这种方案的不足延伸出更复杂的集群方案，并介绍后者是如何针对这些不足进行改进的。2、MySQL最简单主从方案及工作原理我们讲解的版本还是依据目前在生产环境上使用最多的version5.6进行，其中一些特性在Version5.7和最新的Version8.0中有所改进，但这不影响读者通过文章去理解构建MySQL集群的技... 继续阅读 >
2016
11-03

MySQL性能调优

对于全栈而言，数据库技能不可或缺，关系型数据库或者nosql，内存型数据库或者偏磁盘存储的数据库，对象存储的数据库或者图数据库……林林总总,但是第一必备技能还应该是MySQL。从LAMP的兴起，到Mariadb的出现，甚至PG的到来，熟练的MySQL技能都是大有用武之地的。MySQL数据库技术的方方面面也是很多，这里只涉及必备的性能调优，推崇从下向上的性能调优，主要包括运行环境，配置参数，SQL性能，和系统架构设计调优。运行环境调... 继续阅读 >
2016
11-03

memcached与redis实现的对比

memcached和redis，作为近些年最常用的缓存服务器，相信大家对它们再熟悉不过了。前两年还在学校时，我曾经读过它们的主要源码，如今写篇笔记从个人角度简单对比一下它们的实现方式，权当做复习，有理解错误之处，欢迎指正。文中使用的架构类的图片大多来自于网络，有部分图与最新实现有出入，文中已经指出。一.综述读一个软件的源码，首先要弄懂软件是用作干什么的，那memcached和redis是干啥的？众所周知，数据一般会放在数... 继续阅读 >
2016
10-20

详解MySQL数据库优化 HOT

一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的，它是随着用户量的增加，基础架构才逐渐完善。这篇博文主要谈MySQL数据库发展周期中所面临的问题及优化方案，暂且抛开前端应用不说，大致分为以下五个阶段： 1、数据库表设计项目立项后，开发部根据产品部需求开发项目，开发工程师工作其中一部分就是对表结构设计。对于数据库来说，这点很重要，如果设计不当，会直接影响访问速度和用户体验。影响的因... 继续阅读 >
2016
10-18

Swift 3.0 操作 MySQL 数据库详解

如果你阅读过本主其他的Swift文章，你会发现我们是Swift服务器端开发的忠实拥护者。今天我们将继续研究这个主题，使用Vapor封装的MySQLwrapper来操作MySQL数据库。说明：这并不是一篇介绍MySQL或SQL的文章，如果你对数据库还不熟悉，网上有大量的教程可供学习。本篇我们将焦聚在Linux上使用Swift3.0来操作MySQL数据库。开始在这篇教程中，我们采用Ubuntu16.04系统和MySQL5.7。MySQL5.7引入了一... 继续阅读 >
2016
10-08

SQL Server Management Studio 2016 最让人兴奋的10大新功能

介绍这篇文章列出了SQLServerManagementStudio2016已经取得的一些令人兴奋的改进。我相信，大多数新功能可以帮助我们提升工作速度，更方便地使用SSMS。1.颜色主题随着SSMS2016的到来，现在你可以选择自己喜欢的颜色主题，类似于VisualStudio中的相似功能。你可以在两种可用的颜色主题中二选一——Blue或Lignt，Blue是默认的主题。Tools–Options–Environment–Genera... 继续阅读 >
2016
09-29

对mysql语句的性能分析与优化

1.使用explain，查看查询计划2.使用showprocesslist查看查询过程（处于哪个状态），完整命令如下mysql-uroot-p-e‘showprocesslist\G’|grepstate:|sort|uniq-c|sort-rn此种方法和方法3类似，应该说方法3更好用。3.使用showprofile。默认是禁止的，需要使用setprofiling=1开启。执行一些查询后，键入showprofiles可以看到前面执行语句的查询时间以很高的精度显示了出来。然后使用showprofileforqueryn... 继续阅读 >
2016
09-26

MySQL 语句大全：创建、授权、查询、修改

一、用户创建、权限、删除1、连接MySql操作连接：mysql-h主机地址-u用户名－p用户密码（注:u与root可以不用加空格，其它也一样）断开：exit（回车）打开cmd,输入mysql-h127.0.0.1-uroot-p然后输入密码。就可以连接到本地的MySql数据库了。2、创建用户:命令:CREATEUSER'username'@'host'IDENTIFIEDBY'password';说明:username-你将创建的用户名,host-指定该用户在哪个主机上可以登陆,如果是... 继续阅读 >
2016
09-21

Couchbase 介绍 - 更好的 Cache 系统

在移动互联网时代，我们面对的是更多的客户端，更低的请求延迟，这当然需要对数据做大量的Cache以提高读写速度。术语节点：指集群里的一台服务器。现有Cache系统的特点目前业界使用得最多的Cache系统主要是memcached和redis。这两个Cache系统都有都有很大的用户群，可以说是比较成熟的解决方案，也是很多系统当然的选择。不过，在使用memcached和redis过程中，还是碰到了不少的问题和局限：Cluster支持... 继续阅读 >
2016
09-21

几款主流 NoSql 数据库的对比

最近小组准备启动一个node开源项目，从前端亲和力、大数据下的IO性能、可扩展性几点入手挑选了NoSql数据库，但具体使用哪一款产品还需要做一次选型。我们最终把选项范围缩窄在 HBase、Redis、MongoDB、Couchbase、LevelDB五款较主流的数据库产品中，本文将主要对它们进行分析对比。鉴于缺乏项目中的实战经验沉淀，本文内容和观点主要还是从各平台资料搜罗汇总，也不会有太多深入或底层原理探讨。本文所引用的资料来... 继续阅读 >
2016
09-07

MySQL两千万数据优化&迁移 HOT

最近有一张2000W条记录的数据表需要优化和迁移。2000W数据对于MySQL来说很尴尬，因为合理的创建索引速度还是挺快的，再怎么优化速度也得不到多大提升。不过这些数据有大量的冗余字段和错误信息，极不方便做统计和分析。所以我需要创建一张新表，把旧表中的数据一条一条取出来优化后放回新表；一.清除冗余数据，优化字段结构2000W数据中，能作为查询条件的字段我们是预知的。所以将这部分数据单独创建新的字段，对于有规则的数... 继续阅读 >
2016
08-25

MySQL 中处理 Null 时要注意两个陷阱 HOT

摘要：作为MySQL数据库管理员，我们经常要与Null做斗争。但是在这其中，你需要注意一下两大陷阱。MySQL数据库是一个基于结构化数据的开源数据库。SQL语句是MySQL数据库中核心语言。不过在MySQL数据库中执行SQL语句，需要小心两个陷阱。陷阱一：空值不一定为空空值是一个比较特殊的字段。在MySQL数据库中，在不同的情形下，空值往往代表不同的含义。这是MySQL数据库的一种特性。如在普通的字段中(字符型的数据)，空值就是表示空... 继续阅读 >
2016
08-25

MySQL避免索引列使用 OR 条件

这个亏已经吃过很多次了，在开发以前的sql代码里面，许多以or作为where条件的查询，甚至更新。这里举例来说明使用or的弊端，以及改进办法。selectf_crm_idfromd_dbname1.t_tbname1wheref_xxx_id=926067and(f_mobile='1234567891'orf_phone='1234567891')limit1从查询语句很容易看出，f_mobile和f_phone两个字段都有可能存电话号码，一般思路都是用or去一条sql解决，但表数据量一大简直是灾难：t_tbanme... 继续阅读 >
2016
08-25

理解MySQL——索引与优化

写在前面：索引对查询的速度有着至关重要的影响，理解索引也是进行数据库性能调优的起点。考虑如下情况，假设数据库中一个表有10^6条记录，DBMS的页面大小为4K，并存储100条记录。如果没有索引，查询将对整个表进行扫描，最坏的情况下，如果所有数据页都不在内存，需要读取10^4个页面，如果这10^4个页面在磁盘上随机分布，需要进行10^4次I/O，假设磁盘每次I/O时间为10ms(忽略数据传输时间)，则总共需要100s(但实际上要好很多很多)... 继续阅读 >
2016
07-15

59条令人捧腹但真实的程序员编程语录

我收集了很多关于软件开发者的编程语录。这些语录和软件开发维护、调试、软件bug、软件设计和文档、代码质量、测试和管理等相关。下面这59条编程语录虽然令人捧腹但也揭示了真相。只有真正的软件开发人员才能理解这些编程语录的价值。下面，就让我们开始吧……软件开发人员和程序员语录1.Agoodprogrammerissomeonewhoalwayslooksbothwaysbeforecrossingaone-waystreet.(DougLinder)好的程序员即使在过单行道时... 继续阅读 >
2016
07-08

table id问题导致主从复制失败

0、导读主从复制环境中，IO、SQL线程都很正常，也没设置过滤规则，但数据就是无法复制到slave上，什么原因？1、问题描述事实上，这个案例发生已经有一阵子了，一直拖到现在我才整理。发现一个主从环境中，slave上的io_thread、sql_thread状态均正常，relaylog也正常接收来自master的event，但slave上却无法正常应用这些event，个别表数据没有复制过来。而且slave上的binlog也没有记录这些表上的操作。2、原因分析接到现... 继续阅读 >