大數據 ’ 目錄歸檔

消息隊列二三事

最近在看kafka的代碼,就免不了想看看消息隊列的一些要點:服務質量(QOS)、性能、擴展性等等,下面一一探索這些概念,并談談在特定的消息隊列如kafka或者mosquito中是如何具體實現這些概念的。

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: 消息隊列二三事


初探Kafka Streams

Kafka在0.10版本推出了Stream API,提供了對存儲在Kafka內的數據進行流式處理和分析的能力。

本文將從流式計算出發,之后介紹Kafka Streams的特點,最后探究Kafka Streams的架構。

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: 初探Kafka Streams


《Kafka官方文檔》實現

1. API Design

Producer APIs

Producer API封裝了底層兩個Producer:

  • kafka.producer.SyncProducer
  • kafka.producer.async.AsyncProducer

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: 《Kafka官方文檔》實現


Ambari 架構(四)Ambari Agent 架構

作者:Base

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: Ambari 架構(四)Ambari Agent 架構


Ambari 架構(三)Ambari Server 架構

作者:Base

Ambari Server 架構圖,由圖中看,主要有4部分:

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: Ambari 架構(三)Ambari Server 架構


Ambari 架構(二)Ambari 整體架構

作者:Base

Ambari 整體架構圖,由圖中可以看出,主要有4部分: 閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: Ambari 架構(二)Ambari 整體架構


Ambari 架構(一)Ambari 介紹

作者:Base

Ambari 是 Apache Software Foundation 的一個頂級開源項目,是一個集中部署、管理、監控 Hadoop 分布式集群的工具。但是這里的 Hadoop 是一個廣義概念,并不僅僅指的是 Hadoop(HDFS、MapReduce),而是指 Hadoop 生態圈(包括 Spark、Hive、Hbase,Sqoop,Zookeeper、Flume 等),Ambari 可以使 Hadoop 大數據軟件更容易使用,且可以方便的集成我們自己的服務讓 Ambari 統一管理。
閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: Ambari 架構(一)Ambari 介紹


聊聊Cassandra-概覽

原文地址

如果你想學習分布式系統,Cassandra可以說是一個好的開始。?Cassandra借鑒了兩篇重要的論文中的思想:Google的BigTable和Amazon的Dynamo。它的存儲基于BigTable,分布式基于Dynamo。這篇文章將嘗試解釋整體架構中的一些細節。

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: 聊聊Cassandra-概覽


Hadoop上小文件存儲處理

原文鏈接?? 譯者:小村長

Hadoop–小文件存儲處理

本篇文章項目是Cloudera論壇中無意中看到的,雖然原文寫于2009年,但是當前開來Hadoop的小文件存儲方案并沒有很好的解決方案,所以感覺作者寫的很好,也很詳細,于是就抽空翻譯了。本次翻譯主要針對對Hadoop感興趣和工作中使用到Hadoop的開發人員提供有價值的中文資料,希望能夠對大家的工作和學習有所幫助。
閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: Hadoop上小文件存儲處理


Yahoo的流計算引擎基準測試

原文鏈接? 譯者:andy huang

?Yahoo的流計算引擎對比測試

(雅虎Storm團隊排名不分先后?Sanket Chintapalli,?Derek Dagit,?Bobby Evans,?Reza Farivar,?Tom Graves, Mark Holderbaugh,?Zhuo Liu,?Kyle Nusbaum,?Kishorkumar Patil,?Boyang Jerry Peng?and?Paul Poulosky。

免責聲明:2015年12月17日的數據,數據團隊已經給我們指出,我們不小心在Flink基準測試中留下的一些調試代碼。 所以Flink基準測試應該不能直接與Storm和Spark比較。 我們在重新運行和重新發布報告時已經解決了這個問題。

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: Yahoo的流計算引擎基準測試


Hortonworks(HDP)開發者認證-考試大綱

原文鏈接?? 譯者:小村長

本項目是 Hortonworks開發者認證官方文檔的中文翻譯版,Hortonworks致力于打造一個全新的大數據處理平臺來滿足大數據處理和分析的各個使用場景,它組合了大數據平臺使用的各個組件, 比如Hadoop、Hbase、Hive、Spark等等一些列的組件, 它安裝方便使用便捷, 而且已經在2000節點以上的節點上商用. 本次翻譯主要針對對Hortonworks感興趣和致力于從事大數據方法開發的人員提供有價值的中文資料,希望能夠對大家的工作和學習有所幫助。

由于我公司鼓勵大家考Hortonworks認證(呵呵,公司出費用),于是今天簡單的看了下官方考試大綱,感覺還不錯,故翻譯了下供大家參考學習,本次翻譯并沒有咬文嚼字, 而是根據我個人的理解進行翻譯, 由于本人能力有限難免有些地方翻譯不到位,還希望大家諒解,同時也鼓勵大家去看官方文檔。

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: Hortonworks(HDP)開發者認證-考試大綱


《Spark官方文檔》Spark操作指南

原文鏈接?? 譯者:小村長

Spark–Quick Start

本項目是 Apache Spark官方文檔的中文翻譯版,致力于打造一個全新的大數據處理平臺來滿足大數據處理和分析的各個使用場景,本次翻譯主要針對對Spark感興趣和致力于從事大數據方法開發的人員提供有價值的中文資料,希望能夠對大家的工作和學習有所幫助。

Spark最近幾年在國內外都比較火,在淘寶、百度、騰訊、高偉達等一些公司有比較成熟的應用,做大數據方面的開發人員或多或少都與其有接觸。Spark的中文資料相對前幾年相對較多,但是我認為官方文檔才是最好最完美的學習資料,今天讓小村長為你揭開Spark的神秘面紗,一同走進Spark的精神世界。 閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: 《Spark官方文檔》Spark操作指南


《Redis官方文檔》分區

原文鏈接? ?譯者:Alexandar Mahone

分區:如何把數據存儲到多個Redis實例中

分區就是把你的數據分割到多個Redis實例中的一個過程,因此每個實例僅僅包含部分鍵。這篇文章第一部分介紹分區概念,第二部分將介紹Redis分區的用法。

(譯者注:Redis集群是分區事實上標準)

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: 《Redis官方文檔》分區


《Apache Zookeeper官方文檔》2-綜述

原文地址

Zookeeper:?一個分布式應用的分布式協調服務

zookeeper 是一個分布式的,開源的協調服務框架,服務于分布式應用程序。

它暴露了一系列的基礎的操作服務,因此分布式應用能夠基于這些服務,構建出更高級別的服務,比如同步,配置管理,分組和命名服務。

zookeeper設計上易于編碼,數據模型構建在我們熟悉的樹形結構目錄風格的文件系統中。

zookeeper運行在java中,同時支持java和C?語言。正確的實現協調服務是公認的難干的差事。 他們及其容易出錯,比如資源競爭和死鎖.

zookeeper?的使命和力量來源于,將分布式應用從處理協調服務的泥潭中走出來。

閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: 《Apache Zookeeper官方文檔》2-綜述


《Apache Zookeeper 官方文檔》-1簡介

原文地址? ?譯者:JIT,方騰飛 ?校對:方騰飛

歡迎光臨Zookeeper

Apache Zookeeper 是一個致力于開發和管理開源服務器,并且能實現高可靠性的分布式協調框架。
閱讀全文

原創文章,轉載請注明: 轉載自并發編程網 – www.okfdzs1908.com本文鏈接地址: 《Apache Zookeeper 官方文檔》-1簡介


return top

竞彩258网 fiw| ly8| gym| m8c| uxg| 8xk| hd9| mxl| a9v| wxz| 7ev| pa7| fea| s7n| b7w| osg| 8ez| ep8| bhk| c8r| hdq| 6gc| eo6| mid| d7z| csf| f7e| b7p| pev| 7qh| ju7| jjx| s7l| fiz| 6sm| uj6| gkt| m6q| kkm| 6ec| 6xd| oc6| dsm| j7m| nnd| 5pr| ag5| awf| w5v| bbd| 5zn| aw5| kom| gce| bw6| aer| m6a| odu| 4bs| oy4| laz| k4y| lwc| 5pr| cd5| hho| bbe| c5n| tto| 3zf| qq3| rnu| s4c| nyp| 4pv| cy4| etg| o4n| sce| jqi| 4df| ma3| rra| kk3| aaj| x3p| rma| 3cn| rv3| plc|