手机浏览器扫描二维码访问
自己必须拿出完全体来对付这帮同样有梦想的年轻人!
宁子默自信地笑笑,乘着抿一口咖啡的时间在脑子里将峰语搜索的关键技术汇集成册。
把杯子从嘴边拿开的时候,宁子默脑子里有关峰语搜索关键技术的封印,
已然打开!
“说到搜索,人们往往会简单地认为搜索只是抓取爬虫从网络上抓取的结果。但实际上,搜索并没有人们想象的那么简单。”
宁子默将杯子轻轻地放在桌上,笑着扫了三人一眼,细细地解释到:
“我们谈到大数据搜索,其核心一定是体量极大的数据量。这种体量的数据存储、索引和检索,已经不单单是数据库结构能去实现并解决的。
大数据量的数据存储和搜索一定要有对应的文件存储检索系统,它必定是一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。
我们【bing】除了在搜索和爬虫上用心外,最核心的部分还是背后那套围绕在bfs(bingfilesystem)文件系统的核心技术体。这套系统的设计目标,与许多传统的分布式文件系统有很多相同之处。比如,性能、可伸缩性、可靠性以及可用性。
但bfs的还是以应用负载情况和技术环境的分析为基础着重考虑,不管现在还是将来,bfs和早期的分布式文件系统的设想都有明显的不同。所以我们重新审视了传统文件系统在设计上的折衷选择,衍生出了完全不同的设计思路。
首先,组件失效被认为是常态而不是意外。bfs需要管理成百上千存储机器,同时被相当数量的用户终端机访问。bfs组件的数量和质量导致在事实上,任何给定时间内都有可能发生某些组件无法工作,某些组件无法从它们目前的失效状态中恢复。
当我们遇到过各种各样的问题,比如应用程序bug、操作系统的bug、人为失误,甚至还有硬盘、内存、连接器、网络以及电源失效等造成的问题。所以,持续的监控、错误侦测、灾难冗余以及自动恢复的机制必须集成在gfs中。
其次,以通常的标准衡量,我们的文件非常巨大。数gb文件都可能非常普遍。每个文件通常都包含许多应用程序对象,比如web文档。
当我们未来需要处理快速增长并由数亿个对象构成的、数以tb的数据集时,采用管理数亿个kb大小的小文件的方式是非常不明智的,尽管有些文件系统支持这样的管理方式。因此,设计的假设条件和参数,比如io操作和block的尺寸都需要重新考虑。
第三,绝大部分文件的修改是采用在文件尾部追加数据,而不是覆盖原有数据的方式。对文件的随机写入操作在实际中几乎不存在。一旦写完之后,对文件的操作就只有读,而且通常是按顺序读。
大量的数据符合这些特性,比如:数据分析程序扫描的超大的数据集;正在运行的应用程序生成的连续的数据流;存档的数据;由一台机器生成、另外一台机器处理的中间数据,这些中间数据的处理可能是同时进行的、也可能是后续才处理的。
对于这种针对海量文件的访问模式,客户端对数据块缓存是没有意义的,数据的追加操作是性能优化和原子性保证的主要考量因素。
第四,应用程序和文件系统api的协同设计提高了整个系统的灵活性。比如,我们放松了对bfs一致性模型的要求,这样就减轻了文件系统对应用程序的苛刻要求,大大简化了bfs的设计。
bfs还引入了原子性的记录追加操作,从而保证多个客户端能够同时进行追加操作,不需要额外的同步操作来保证数据的一致性。”
端起咖啡又喝了一口,宁子默已经习惯了身边这四人目瞪狗呆的状态。
放下杯子,宁子默再也懒得去解释那些技术细节,但还是提点到:
“bfs一早就规划了四大核心技术体,其中涵盖了第一个部分的分布式基础设施,包含的模块有文件系统(file),分布式锁服务(chubby)和数据化序列协议(protocolbuffer)。
而第二部分是分布式大规模数据处理模块,其中包含分布式运算程序的编程框架和对应的数据查询语言。他们或许和sql和类似,但实际上它应该被称之为dsl(domain-specificlanguage)。
第三部分则是分布式数据库技术,它包含的模块就有分布式数据存储系统(bigtable)和数据库分区系统(sharding)。
最后一部分当然包含数据中心优化技术,这些技术中包括综合考虑的数据中心高温化,还有电池与服务器相应整合技术等。”
撇了撇嘴,宁子默皱着眉头说,“搜索引擎是一个全盘技术的考虑,但我仅仅只举了一个很简单的例子,并且其应用范围还只是在网页搜索结果当中,并没有提及一整个生态的整体考虑。
但我所说技术方面的内容,远比我现在讲给你们听的内容要复杂的多。每一个单项里都会包含大量工作人员相应的工作成果,确实不是短期内可以去实现的。
但好在我们【bing】团队的目标明确啊。”
“梦想还是要有的,万一实现了呢?”宁子默撇着嘴挑了挑眉毛。
这个轻挑的动作,在kaltix三人组的眼里却郑重如斯。
办公室里鸦雀无声,除了必要的眨眼,好半天都没有一个人有多余的动作。
后来我们会怎样 穿成了豪门真千金的对照组 高冷总裁不存在的恋爱 《终于情深》 念于墨上那年 京港蝶眠 [综英美] 斯塔克小姐翻车了 天亮说晚安 日初月星 圣女的屠龙悖论[西幻] 假如爱有时差(骨科兄妹乱) 沧源天青 我们,只是朋友。 给你一点甜 重生之写手人生 用心感受 哥哥教我 爱卿,龙榻爬不得 [重生]学霸也挂科 对照组女配不干了[快穿]
来阅文旗下网站阅读我的更多作品吧!如果您喜欢渣男家的未婚妻重生了,别忘记分享给朋友...
一个全能的公司系统,制造出让人惊叹的顶尖科技,梦幻般的建筑,奇迹的创造,仙界一般的风景和让人噩梦般的恐怖屋,一个个不可思议的成就,成为最神奇的制造商,如果您喜欢神奇城市制造商,别忘记分享给朋友...
关于凤唳九天,王爷别乱来凤凰身为一名现代的合格雇佣兵,竟然穿越到了古代一个懦弱无能的王妃身上?要不是看在小王爷这般俊美合胃口,她早就收拾包袱溜了!俊美王爷,接招吧!...
我人品怎么了?他凌厉的眸睨着她没怎么啊陆总人品超级唔!一言不合,呼吸被夺他松开她还一脸不悦的追问你说谁超级污呢?陆云寒!你够了!他擦擦嘴角,傲娇言道...
穿越回明朝洪武年,成了大明嫡长孙朱雄英。但他被蒙在鼓里,还有些迷茫。站在历史的十字路口,决定为未来谋划。选谁好呢。储君太子朱标。大明王爷朱棣。还是性格软弱,却爱搞事的朱允炆。想走科举,却是商户,那就待在家里等大官上门吧。他在应天街头,立下宏志,要轻松的奋斗在明朝洪武年。等他离成功不远,要步入朝堂时,干爷爷摊牌了不装了,其实咱是朱元璋。这才发现,奋斗了那么久,自己才是大明最牛的金大腿。如果您喜欢不装了,其实我是朱重八,别忘记分享给朋友...
高冷毒舌医学大佬VS眼泪过敏小哭包裴教授xs十八线女明星(甜文!)嘘,你听过流眼泪就会休克的人吗?十亿万分之一的倒霉鬼冉西语就是这样的人,偏偏她眼泪极浅,容易哭!小哭包遇上说话做事极狠的大佬,原以为会被欺负,谁知道第一次见裴南州,他是主治医生,冉西语是病人,学姐来向她耀武扬威。结果,被他直接丢出医院。第二次见面,他是医科大的裴教授,她是被抓去体验课程的十八线小艺人。上课之时,渣男对她百般刁难。他把渣男喊起来问三分二十秒的时候,我讲了什么内容?渣男您讲了人脑结构?他不,我讲了猪脑。渣男后来。她裴教授,我这个人极容易哭,你做事别太狠!他嗯?你在教我做事?今天,这一枚结婚钻戒你要是敢摘下来,我就给你戴十枚。如果您喜欢裴教授的小哭包甜又软,别忘记分享给朋友...