豆瓣数据库原理

news/2024/6/29 11:10:41 标签: 数据库, mysql, 存储, join, 音乐, python
http://blog.phpchina.com/blog_view.php?aid=231

 

Linux + Nginx + mysql + python 平台。

每天有1000万小组话题,1600万组照片,200G结构化数据,800G文本,10T图片,2T日志,6T音乐,2T各种备份数据。

针对这些数据,我们需要考虑。

1、  可靠性。(持久性,一致性)

2、  可用性。

3、  伸缩性。

4、  性能。

5、  成本。

将这些数据再进行分类,可以分为结构化数据(关系,广播等),小文件(图片,文章,音乐等),大文件(备份,日志等)。

一、结构化数据。

(一)、特点。

1、结构固定。

2、可按条件查询

3、记录小而且多。

4、数据之间有关联。

5、可以批量查询。

(二)管理。采用mysql管理。

1、结构化存储

2、多索引。

3、支持事务等。

(三)mysql实践一。

1、使用InnoDB引擎。

2、使用基本查询,外部join。(将join放在逻辑层去处理,这样大大提高了mysql查询的效率。)

3、通过memcache降低服务器端压力。

4、分库,分表(垂直分表)。

5、分离文本字段。

(四)mysql实践二

1、Master(RW)  ßà  Master(备份)  à  Slave(容错)

2、双SCSI硬盘做Raid0

3、半自动Fail Over

4、多实例混合部署。

二、小文件处理。

(一)、特点

1、访问方式:get set delete

2、高可用。Fail-Over

3、大空间:10K-5M 增长快。

4、用户数据,很重要。

5、基本无修改,一致性要求低。

6、随机访问,高并发,大量IO操作。

(二)单机存储

1、reiserfs。

2、本地,远程,WEBDAV,NFS

3、目录结构。

4、用rsync备份即可。

(三)多级存储

1、MogileFS

2、瓶颈是 Tracker(Mysql)

3、数据迁移比较慢。

(四)BeansDB

1、Hash存储,不需要中心节点。

2、数据库存储,TokyoCabimet.

3、每个区间对应多个节点。

4、复制:客户端写多次。

5、依次读取,直到有数据。

6、Hash Tree ,快速同步。


http://www.niftyadmin.cn/n/1605155.html

相关文章

支付宝拿技术开刀把扫码无情地革掉

随着互联网和数据的积累、计算机算力的跃升和算法的优化,人工智能正在让生活变得更加便捷。二维码扫码支付横空出世没多久,我们刚刚习惯扔掉现金的后现代生活,支付宝却突然宣布刷脸支付将全面接管扫码支付。 又一次,支付宝拿自己…

百度与东软教育签署战略合作协议“东软百度人工智能学院”正式揭牌

智能时代正在加速到来,而人工智能人才作为支撑AI发展的第一资源显得尤为重要。11月28日,百度与东软教育科技集团在京签署战略合作协议,并为合作设立的“东软百度人工智能学院”举行成立及授牌仪式。辽宁省教育厅党组成员、副厅长花蕾&#xf…

未来刷脸支付就是一个必不可少的浪潮

刷脸就是潮流,时代的产物扫码付款谁都拥有,那刷脸支付体验过吗,那代表未来设备升级就是一个必不可少的浪潮,还在犹豫的你准备加入这年代巨浪吗,AI刷脸支付功能定位就是安全认证、便捷省时、环保省资源、高效率、降低人…

百度深耕边缘计算 基于Apache Flink首创边缘流式计算框架

百度在边缘计算领域有了新的突破。11月29日,备受Flink开发者和使用者关注的盛会——Flink Forward Asia 2019火热开幕,展示Flink社区的最新动态和发展计划,以及国内外一线大厂围绕Flink生态的生产实践经验。百度智能云资深研发工程师、IoT 实…

力扣 -- 931. 下降路径最小和

题目链接:931. 下降路径最小和 - 力扣(LeetCode) 下面是用动态规划的思想解决这道题的过程,相信各位小伙伴都能看懂并且掌握这道经典的动规题目滴。 参考代码: class Solution { public:int minFallingPathSum(vect…

刷脸无感支付将颠覆我们对传统支付的认知

未来刷脸支付将成为门店标配,迎来全面爆发将是大势所趋。在即将到来新零售时代,刷脸支付将推动为零售行业的发展和转型,为众多新兴消费模式提供广阔的成长空间。同时,2019年5G技术的商用,也在推动着刷脸支付技术的成熟…

SAP:SaaS不会成为企业核心应用平台

http://www.wangchao.net.cn/bbsdetail_1922677.html SAP全球运营总裁兼CEO比尔麦克德莫特(Bill McDermott)近日表示,软件即服务(SaaS)永远不可能成为大企业的核心业务运作平台。麦克德莫特称,企业需要软件…

你还在担心用户的真实号码被泄露?号码隐私保护服务PNS来了

奥地利著名作家茨威格的小说《一个陌生女人的来信》,告诉我们一件事,只要你不使用真实姓名,对方很难发现你是谁。而这要在互联网时代,即使你的名字从“苏大强”到“朝阳刘亦菲”再到“第一王者”,一个电话号码可能就暴…