分类目录归档：全部列表

2015
03-06

关于大型网站技术演进的思考（十二）--网站静态化处理—web前端优化—中（12）

Web前端很多优化原则都是从如何提升网络通讯效率的角度提出的，但是这些原则使用的时候还是有很多陷阱在里面，如果我们不能深入理解这些优化原则背后所隐藏的技术原理，很有可能掉进这些陷阱里，最终没有达到最佳的预期效果，今天我在这里分析下浏览器和服务端通讯的一些细节问题，希望通过分析这些细节问题，能给大家一个启迪，能更好的理解这些优化原则背后的隐秘，最终能更好的运用这些原则。网站的通讯技术是构建在... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（十一）：网站静态化处理——动静分离策略

前文里我讲到了网站静态化的关键点是动静分离，动静分离是让动态网站里的动态网页根据一定规则把不变的资源和经常变的资源区分开来，动静资源做好了拆分以后，我们就可以根据静态资源的特点将其做缓存操作，这就是网站静态化处理的核心思路。由此可见，网站静态化处理的核心就是动静分离和缓存两大方面，上篇我简单讲述了动静整合的基础知识，本篇将会讲述两大核心之一的动静分离策略，只有把动静分离策略做好了，缓存才能发挥出... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（十）：网站静态化处理——动静整合方案

上篇文章我简要的介绍了下网站静态化的演进过程，有朋友可能认为这些知识有点过于稀松平常了，而且网站静态化的技术基点也不是那么高深和难以理解，因此它和时下日新月异的web前端技术相比，就显得不伦不类了。其实当我打算写本系列的之前我个人觉得web前端有一个点是很多人都知道重要，但是有常常低估它作用的，那就是web前端和web服务端如何融合的这个点上，这个点再加上我们要做出一个规模庞大，高并发，快速响应的网站时候它... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（九）：网站静态化处理总述

在存储瓶颈的开篇我提到像hao123这样的导航网站只要它部署的web服务器数量足够，它可以承载超大规模的并发访问量，如果是一个动态的网站，特别是使用到了数据库的网站是很难做到通过增加web服务器数量的方式来有效的增加网站并发访问能力的。但是现实情况是像淘宝、京东这样的大型动态网站在承担高并发的情况下任然能保证快速的响应，这其中有什么样的技术手段可以达到动态网站支撑高并发的场景了，这也许是每个做web开发的朋友都... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（八）：存储的瓶颈（8）

在开始本篇主要内容前，我们一起看看下面的几张截图，首先是第一张图，如下图所示：这是一家电商网站的首页，当我们第一次打开这个首页，网站会弹出一个强制性的对话框，让用户选择货物配送的地址，如果是淘宝和京东的话，那么这个选择配货地址的选项是在商品里，如下图是淘宝的选择配送地点：下图是京东选择配货地点：那么图一跟京东和淘宝有什么区别呢？图一的电商强制用户选择地区后，那么我们在查询这个商品时候会因为地... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（七）：存储的瓶颈（7）

本文开篇提个问题给大家，关系数据库的瓶颈有哪些？我想有些朋友看到这个问题肯定会说出自己平时开发中碰到了一个跟数据库有关的什么什么问题，然后如何解决的等等，这样的答案没问题，但是却没有代表性，如果出现了一个新的存储瓶颈问题，你在那个场景的处理经验可以套用在这个新问题上吗？这个真的很难说。其实不管什么样的问题场景最后解决它都要落实到数据库的话，那么这个问题场景一定是击中了数据库的某个痛点，那么我前面... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（六）：存储的瓶颈（6）

在讲数据库水平拆分时候，我列出了水平拆分数据库需要解决的两个难题，它们分别是主键的设计问题和单表查询的问题，主键问题前文已经做了比较详细的讲述了，但是第二个问题我没有讲述，今天我将会讲讲如何解决数据表被水平拆分后的单表查询问题。要解决数据表被水平拆分后的单表查询问题，我们首先要回到问题的源头，我们为什么需要将数据库的表进行水平拆分。下面我们来推导下我们最终下定决心做水平拆分表的演进过程，具体如下... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（五）：存储的瓶颈（5）

上文里我遗留了两个问题，一个问题是数据库做了水平拆分以后，如果我们对主键的设计采取一种均匀分布的策略，那么它对于被水平拆分出的表后续的查询操作将有何种影响，第二个问题就是水平拆分的扩容问题。这两个问题在深入下去，本系列就越来越技术化了，可能最终很多朋友读完后还是没有找到解决实际问题的启迪，而且我觉得这些问题都是像BAT这样巨型互联网公司才会认真思考的，因此本篇我打算换个角度来阐述本文的后续内容。这里... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（四）：存储的瓶颈（4）

如果数据库需要进行水平拆分，这其实是一件很开心的事情，因为它代表公司的业务正在迅猛的增长，对于开发人员而言那就是有不尽的项目可以做，虽然会感觉很忙，但是人过的充实，心里也踏实。数据库水平拆分简单说来就是先将原数据库里的一张表在做垂直拆分出来放置在单独的数据库和单独的表里后更进一步的把本来是一个整体的表进一步拆分成多张表，每一张表都用独立的数据库进行存储。当表被水平拆分后，原数据表成为了一个逻... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（三）：存储的瓶颈（3）

存储的瓶颈写到现在就要进入到深水区了，如果我们所做的网站已经到了做数据库垂直拆分和水平拆分的阶段，那么此时我们所面临的技术难度的挑战也会大大增强。这里我们先回顾下数据库的垂直拆分和水平拆分的定义：垂直拆分：把一个数据库中不同业务单元的数据分到不同的数据库里。水平拆分：是根据一定的规则把同一业务单元的数据拆分到多个数据库里。垂直拆分是一个粗粒度的拆分数据，它主要是将原来在一个数据库下的表... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（二）：存储的瓶颈（2）

上篇里我讲到某些网站在高并发下会报出503错误，503错误的含义是指网站服务端暂时无法提供服务的含义，503还表达了网站服务端现在有问题但是以后可能会提供正常的服务，对http协议熟悉的人都知道，5开头的响应码表达了服务端出现了问题，在我们开发测试时候最为常见的是500错误，500代表的含义是服务端程序出现了错误导致网站无法正常提供服务，500通常是服务端异常和错误所致，如果生产系统里发现了500错误，那么只能说明网站存... 继续阅读 >
2015
03-06

关于大型网站技术演进的思考（一）：存储的瓶颈（1）

前不久公司请来了位互联网界的技术大牛跟我们做了一次大型网站架构的培训，两天12个小时信息量非常大，知识的广度和难度也非常大，培训完后我很难完整理出全部听到的知识，今天我换了个思路是回味这次培训，这个思路就是通过本人目前的经验和技术水平来思考下大型网站技术演进的过程。首先我们要思考一个问题，什么样的网站才是大型网站，从网站的技术指标角度考虑这个问题人们很容易犯一个毛病就是认为网站的访问量是衡量的指标... 继续阅读 >
2015
03-06

编程技术缓存写法(三)

上次我们说了多级缓存，本章详细介绍下内存缓存该如何设计。一：分析设计假设有个项目有一定并发量，要用到多级缓存，如下：在实际设计一个内存缓存前，我们需要考虑的问题：1：内存与Redis的数据置换，尽可能在内存中提高数据命中率，减少下一级的压力。2：内存容量的限制，需要控制缓存数量。3：热点数据更新不同，需要可配置单个key过期时间。4：良好的缓存过期删除策略。5：缓存数据结构的复杂度尽可能的低。关于... 继续阅读 >
2015
03-06

编程技术缓存写法(二)

上次主要讨论缓存读写这块各种代码实现。本篇是就上次的问题接着来，继续看那些年我们各种缓存用法。一：缓存预热上次有同学问过。在第一次加载时，我们的缓存都为空，怎么进行预热。单机Web情况下，一般我们使用RunTimeCache。相对于这种情况下：1：我们可以在启动事件里面刷新voidApplication_Start(objectsender,EventArgse){//刷新}2：单写个刷新缓存页面，上线后手动刷新下、或发布时自动调用刷新、或干脆由... 继续阅读 >
2015
03-06

编程技术缓存写法(一)

介绍本篇主要说下楼主平常项目中缓存使用经验和遇到过的问题。目录一:基本写法二：缓存雪崩1：全局锁，实例锁2：字符串锁三：缓存穿透四：再谈缓存雪崩五：总结一：基本写法为了方便演示，我们用Runtime.Cache做缓存容器，并定义个简单操作类。如下：publicclassCacheHelper{publicstaticobjectGet(stringcacheKey){returnHttpRuntime.Cache[cacheKey];}publicsta... 继续阅读 >
2015
03-06

C程序运行时内存结构分析 推荐

实验知识静态变量存储在静态存储区，局部变量存储在动态存储区（栈），代码存放在代码区寄存器，EBP指向栈底，ESP指向栈顶，EIP指向正在执行指令的下一条指令，三个寄存器中保存的都是地址，32位系统，地址为4个字节即dword所有写在函数定义里面的语句都编译成指令（驱动CPU）实验代码#include<stdio.h>intfun(inta,intb);intm=10;intmain(){inti=4;intj=5;m=fun(i,j);}intfun(inta... 继续阅读 >
2015
03-06

元宵节专为程序员设计的灯谜 HOT

元宵节专为程序员设计的灯谜，有兴趣的可以试试。1.深夜造访（打一网络安全术语）2.连胜六场又赢了（打一知名操作系统）3.小米大合唱（打一著名互联网厂商）4.月老难扯二人姻缘（打一网络技术）5.悟空出了五指山（打一技术用语）6.E（打一开发语言）7.话又说回来了（打一网络完全术语）8.禽流感（打一常见PC/服务器故障）9.不达目的誓不罢休（打一著名网络解决方案提供商）10.梦中交谈（打一热门技术）11.... 继续阅读 >
2015
03-06

创业前需要知道的5个编程谬论 HOT

我是一名黑客。在我还就膝盖那么高的时候就开始用一台古老的Commodore64写代码了。直到今天，也没有什么比戴上耳机，破解东西更让我着魔的了。所以在我创建我的第一家企业时，我就已经知道了很多有关于编程的事情。是不是谬论，且听我下面一一道来：1.代码很重要我在很多地方工作过，发现成功之中隐藏着这样一种普遍现象：早期的代码看上去像是一群程序猿喝醉之后写的。这听上去似乎有悖常理，那是因为你得竭尽全力让企业成... 继续阅读 >
2015
03-05

不要让同事修补自己的BUG 推荐

在软件行业，经常看到有的公司管理让一个人修补另一个人代码里的BUG。有时候有人写了一段代码，扔出来不管了，然后公司管理让其他工程师来修复它。我想告诉你们，这种方法会很失败。首先，让一个人修复另一个人的BUG，是不尊重工程师个人技术的表现。久而久之会降低工程师的工作积极性，以至于失去有价值的员工。代码是人用心写出来的作品，就像艺术家的作品一样，它的质量牵挂着一个人的人格和尊严。如果一个人A写了代码，自己... 继续阅读 >
2015
03-05

爱上Java和JVM的10大理由 推荐

Java和JVM已经存在了很长一段时间了，基于这个事实，一些程序员开始将很多事情视为理所当然。今天我们就来说一说“Java之所以能够成为并将继续是软件项目领先平台”的十大理由。1.高性能JVMJava最初的开发目的“一次编写到处运行”，并由虚拟机提供运行平台。没有JVM，Java就必须遵循Ruby和Python的步伐——在痛苦中进一步提高其便携性。随着物联网的出现，一个强大的虚拟机变得越来越重要。2.核心API最让人喜欢的就是Java核... 继续阅读 >
2015
03-05

PHP魔术方法和魔术常量介绍及使用 推荐

有些东西如果不是经常使用，很容易忘记，比如魔术方法和魔术常量。魔术方法(Magicmethods)PHP中把以两个下划线__开头的方法称为魔术方法，这些方法在PHP中充当了举足轻重的作用。魔术方法包括：__construct()，类的构造函数__destruct()，类的析构函数__call()，在对象中调用一个不可访问方法时调用__callStatic()，用静态方式中调用一个不可访问方法时调用__get()，获得一个类的成员变量时调用__set(... 继续阅读 >
2015
03-05

MySQL性能优化指南 推荐

本文的主要目标是介绍如何优化MySQL数据库，通过定期分析表和检查表、定期优化表以及一些常用SQL语句的优化手段，可以帮助你学会在MySQL开发中编写更为高效的SQL。1、定期分析表和检查表分析表的语法如下：ANALYZE[LOCAL|NO_WRITE_TO_BINLOG]TABLEtb1_name[,tbl_name]...以上语句用于分析和存储表的关键字分布，分析的结果将可以使得系统得到准确的统计信息，使得SQL能够生成正确的执行计划。如果用户感觉实际执行计划并... 继续阅读 >
2015
03-05

大数据量下MySQL插入方法的性能比较 推荐

不管是日常业务数据处理中，还是数据库的导入导出，都可能遇到需要处理大量数据的插入。插入的方式和数据库引擎都会对插入速度造成影响，这篇文章旨在从理论和实践上对各种方法进行分析和比较，方便以后应用中插入方法的选择。插入分析MySQL中插入一个记录需要的时间由下列因素组成，其中的数字表示大约比例：连接：（3）发送查询给服务器：（2）分析查询：（2）插入记录：（1x记录大小）插入索引：（1x索引... 继续阅读 >
2015
03-04

JavaScript性能优化小知识总结 推荐

JavaScript的性能问题不容小觑，这就需要我们开发人员在编写JavaScript程序时多注意一些细节，本文非常详细的介绍了一下JavaScript性能优化方面的知识点，绝对是干货。前言一直在学习javascript，也有看过《犀利开发Jquery内核详解与实践》，对这本书的评价只有两个字犀利，可能是对javascript理解的还不够透彻异或是自己太笨，更多的是自己不擅于思考懒得思考以至于里面说的一些精髓都没有太深入的理解。鉴于想让自己有一个提... 继续阅读 >