<track id="uoaij"></track>

    <bdo id="uoaij"><dfn id="uoaij"><thead id="uoaij"></thead></dfn></bdo>

        <track id="uoaij"><div id="uoaij"></div></track>
          1. <option id="uoaij"></option>

            千鋒教育-做有情懷、有良心、有品質的職業教育機構

            手機站
            千鋒教育

            千鋒學習站 | 隨時隨地免費學

            千鋒教育

            掃一掃進入千鋒手機站

            領取全套視頻
            千鋒教育

            關注千鋒學習站小程序
            隨時隨地免費學習課程

            【熱點話題】 零基礎學IT IT學習教程 IT學習筆記 IT技術干貨 IT培訓機構 IT應聘面試 IT職場就業 Java培訓機構哪些好 IT培訓問答
            當前位置:首頁  >  關于學院  >  技術干貨  > SparkRDD之核心原理知多少

            SparkRDD之核心原理知多少

            來源:千鋒教育
            發布人:qyf
            時間: 2022-10-08 17:42:15 1665222135

            SparkRDD之核心原理知多少

              1、Spark的核心概念是RDD (resilientdistributed dataset),指的是一個只讀的,可分區的分布式數據集,這個數據集的全部或部分可以緩存在內存中,在多次計算間重用。

              2、RDD在抽象上來說是一種元素集合,包含了數據。它是被分區的,分為多個分區,每個分區分布在集群中的不同Work節點上,從而讓RDD中的數據可以被并行操作。(分布式數據集)

              3、RDD通常通過Hadoop上的文件,即HDFS文件或者Hive表,來進行創建;有時也可以通過RDD的本地創建轉換而來。

              4、傳統的MapReduce雖然具有自動容錯、平衡負載和可拓展性的優點,但是其最大缺點是采用非循環式的數據流模型,使得在迭代計算式要進行大量的磁盤IO操作。RDD正是解決這一缺點的抽象方法。

              RDD最重要的特性就是,提供了容錯性,可以自動從節點失敗中恢復過來。即如果某個節點上的RDD partition,因為節點故障,導致數據丟了,那么RDD會自動通過自己的數據來源重新計算該partition。這一切對使用者是透明的。RDD的lineage特性。

              5、RDD的數據默認情況下存放在內存中的,但是在內存資源不足時,Spark會自動將RDD數據寫入磁盤。(彈性)

            聲明:本站稿件版權均屬千鋒教育所有,未經許可不得擅自轉載。

            10年以上業內強師集結,手把手帶你蛻變精英

            請您保持通訊暢通,專屬學習老師24小時內將與您1V1溝通

            免費領取

            今日已有369人領取成功

            劉同學 138****2860 剛剛成功領取
            王同學 131****2015 剛剛成功領取
            張同學 133****4652 剛剛成功領取
            李同學 135****8607 剛剛成功領取
            楊同學 132****5667 剛剛成功領取
            岳同學 134****6652 剛剛成功領取
            梁同學 157****2950 剛剛成功領取
            劉同學 189****1015 剛剛成功領取
            張同學 155****4678 剛剛成功領取
            鄒同學 139****2907 剛剛成功領取
            董同學 138****2867 剛剛成功領取
            周同學 136****3602 剛剛成功領取

            猜你喜歡LIKE

            最新文章NEW

            相關推薦HOT

            更多>>
            日本熟妇色XXXXX日本免费看
            <track id="uoaij"></track>

              <bdo id="uoaij"><dfn id="uoaij"><thead id="uoaij"></thead></dfn></bdo>

                  <track id="uoaij"><div id="uoaij"></div></track>
                    1. <option id="uoaij"></option>