摘要：云計(jì)算與大數(shù)據(jù)編程技術(shù)提供了彈性、按需付費(fèi)的資源解決方案，使高校能夠靈活配置計(jì)算資源，支持各類教學(xué)活動(dòng)和科研項(xiàng)目。然而，云計(jì)算與大數(shù)據(jù)編程技術(shù)的資源利用效率與成本控制問題逐漸暴露，數(shù)據(jù)安全與隱私保護(hù)問題也日益突出，影響了數(shù)據(jù)分析結(jié)果的可靠性和計(jì)算效率。因此，本文深入分析了高校應(yīng)用云計(jì)算與大數(shù)據(jù)編程技術(shù)中面臨的挑戰(zhàn)及其解決方案。高校應(yīng)持續(xù)關(guān)注這些技術(shù)的發(fā)展動(dòng)態(tài)，及時(shí)調(diào)整和優(yōu)化相關(guān)策略，緊隨前沿技術(shù)發(fā)展步伐，支持教學(xué)和科研活動(dòng)的持續(xù)創(chuàng)新與發(fā)展。
關(guān)鍵詞：云計(jì)算；大數(shù)據(jù)編程；挑戰(zhàn)；解決方案
doi：10.3969/J.ISSN.1672-7274.2025.01.025
中圖分類號：TP 393.09 文獻(xiàn)標(biāo)志碼：A 文章編碼：1672-7274（2025）01-00-03
Challenges and Solutions Faced by University Application Cloud Computing and Big Data Programming Technology
JIANG Ning
（Shandong Vocational University of Foreign Affairs， Rushan 264504， China）
Abstract： Cloud computing and big data programming technology provide flexible and pay as you go resource solutions， enabling universities to flexibly allocate computing resources and support various teaching activities and research projects. However， the resource utilization efficiency and cost control issues of cloud computing and big data programming technology are gradually exposed， and data security and privacy protection issues are becoming increasingly prominent， affecting the reliability and computational efficiency of data analysis results. Therefore， the article delves into the challenges and solutions faced by universities in applying cloud computing and big data programming technology. Universities should continue to pay attention to the development trends of these technologies， adjust and optimize relevant strategies in a timely manner， stay at the forefront of technology， and support the continuous innovation and development of teaching and research activities.
Keywords： cloud computing; big data programming; challenge; solution
云計(jì)算（Cloud Computing）是一種基于互聯(lián)網(wǎng)的計(jì)算模式，其通過網(wǎng)絡(luò)將計(jì)算資源、存儲資源、應(yīng)用軟件和其他IT基礎(chǔ)設(shè)施以服務(wù)的形式提供給用戶。大數(shù)據(jù)編程技術(shù)指的是一系列用于處理、存儲和分析大量數(shù)據(jù)（通常是指海量數(shù)據(jù)）的編程方法和工具。精細(xì)化的資源管理與成本優(yōu)化能夠提高資源的使用效率，有效控制運(yùn)營成本，為高校的財(cái)務(wù)管理提供保障。構(gòu)建全面的安全防護(hù)體系則有助于保護(hù)數(shù)據(jù)隱私，確保高校教學(xué)和科研數(shù)據(jù)的安全性。數(shù)據(jù)清洗與預(yù)處理、優(yōu)化算法與并行處理技術(shù)的應(yīng)用，能夠提高數(shù)據(jù)分析的準(zhǔn)確性和處理效率，支持高校更高質(zhì)量的科研成果和教學(xué)實(shí)踐。
1 高校應(yīng)用云計(jì)算與大數(shù)據(jù)編程技術(shù)面
臨的挑戰(zhàn)
1.1 云計(jì)算技術(shù)應(yīng)用面臨的挑戰(zhàn)
1.1.1 資源利用效率與成本控制
高校通常依賴云計(jì)算平臺來支持各類教學(xué)與科研活動(dòng)，然而，云計(jì)算資源的分配面臨不平衡的挑戰(zhàn)，導(dǎo)致資源利用效率低下。高校的云計(jì)算資源在實(shí)際使用過程中經(jīng)常被配置得過多或者過少，如一些課程或?qū)嶒?yàn)需要的資源量在規(guī)劃階段可能未能準(zhǔn)確預(yù)測，導(dǎo)致資源配置過多但實(shí)際利用率低；而另一些高負(fù)荷的應(yīng)用，如大規(guī)模的數(shù)據(jù)處理任務(wù)等，則可能面臨資源不足的問題[1]。這種資源配置不均的現(xiàn)象影響了教學(xué)和研究的效率，使云計(jì)算資源的成本難以得到有效控制。隨著學(xué)校信息化建設(shè)的深入，學(xué)生數(shù)量和教學(xué)需求的增長，如何精確掌握資源需求并合理分配，成為高校在云計(jì)算環(huán)境中面臨的一大難題。另外，云計(jì)算服務(wù)的成本控制也越來越復(fù)雜。由于云服務(wù)商提供的計(jì)費(fèi)模式往往基于使用量，成本控制需要對資源使用情況進(jìn)行精細(xì)化管理。盲目增加的計(jì)算資源和存儲空間將不可避免地引發(fā)成本的大幅上漲，不僅會(huì)給高校財(cái)務(wù)帶來壓力，也可能限制其進(jìn)一步發(fā)展的空間。
1.1.2 安全與隱私保護(hù)
高校在使用云計(jì)算服務(wù)時(shí)，需要處理大量的敏感數(shù)據(jù)，包括學(xué)生的個(gè)人信息、學(xué)術(shù)研究數(shù)據(jù)以及教學(xué)資料。這些數(shù)據(jù)在傳輸、存儲和處理過程中，都面臨著嚴(yán)重的安全隱患。數(shù)據(jù)的傳輸過程可能會(huì)被惡意攻擊者截獲，存儲的數(shù)據(jù)則有可能遭遇未授權(quán)訪問或泄露，尤其是在數(shù)據(jù)處理過程中，云計(jì)算服務(wù)商的管理和技術(shù)能力直接影響到數(shù)據(jù)的安全性[2]。然而，由于云計(jì)算服務(wù)的開放性和共享性，確保每一層的數(shù)據(jù)安全和隱私保護(hù)措施都到位是一項(xiàng)極具挑戰(zhàn)性的任務(wù)。高校計(jì)算機(jī)教師不僅需要面對這些潛在的安全威脅，還需要遵循相關(guān)的法律法規(guī)和政策要求，確保學(xué)生和教師的個(gè)人信息得到妥善保護(hù)。
1.2 大數(shù)據(jù)編程技術(shù)應(yīng)用面臨的挑戰(zhàn)
1.2.1 數(shù)據(jù)質(zhì)量參差不齊
在數(shù)據(jù)質(zhì)量方面，高校在進(jìn)行大數(shù)據(jù)分析時(shí)，經(jīng)常會(huì)遇到數(shù)據(jù)源廣泛且格式多樣的問題。由于數(shù)據(jù)采集的途徑和方式不同，數(shù)據(jù)往往存在各種質(zhì)量問題，如缺失、重復(fù)、錯(cuò)誤以及不一致等。這些問題不僅影響數(shù)據(jù)的整體質(zhì)量，也直接影響數(shù)據(jù)分析結(jié)果的準(zhǔn)確性和可靠性[3]。數(shù)據(jù)缺失可能導(dǎo)致部分分析結(jié)果的不完整，而重復(fù)數(shù)據(jù)則可能導(dǎo)致資源的浪費(fèi)和結(jié)果的偏差。數(shù)據(jù)格式的不統(tǒng)一和標(biāo)準(zhǔn)的不一致使數(shù)據(jù)整合和分析變得復(fù)雜，增加了數(shù)據(jù)預(yù)處理的難度。
1.2.2 處理性能與效率瓶頸
在數(shù)據(jù)處理過程中，尤其是在面對大規(guī)模的數(shù)據(jù)集時(shí)，計(jì)算資源的消耗和處理速度往往成為限制因素。處理性能的瓶頸可能來源于多個(gè)方面，包括數(shù)據(jù)存儲和檢索的效率、數(shù)據(jù)處理算法的復(fù)雜性，以及計(jì)算資源的配置等。對于高校計(jì)算機(jī)教師來說，這些性能瓶頸不僅影響了教學(xué)和研究的效率，還可能限制了創(chuàng)新和探索的空間[4]。尤其是在進(jìn)行復(fù)雜的數(shù)據(jù)分析和建模時(shí)，處理速度慢和效率低可能導(dǎo)致數(shù)據(jù)處理過程的延遲，影響實(shí)驗(yàn)和研究結(jié)果的及時(shí)性和準(zhǔn)確性。
2 高校面對云計(jì)算與大數(shù)據(jù)編程技術(shù)應(yīng)用
挑戰(zhàn)的解決方案
2.1 面對云計(jì)算技術(shù)問題的解決方案
2.1.1 精細(xì)化資源管理與成本優(yōu)化
采用基于人工智能的預(yù)測分析工具可以對未來的資源需求進(jìn)行預(yù)測，實(shí)現(xiàn)預(yù)見性資源管理。云成本分析工具的應(yīng)用是成本優(yōu)化的重要手段。通過數(shù)據(jù)驅(qū)動(dòng)的決策，高校在保證資源滿足需求的情況下，優(yōu)化成本結(jié)構(gòu)，降低不必要的開支[5]。利用容器化技術(shù)可以實(shí)現(xiàn)應(yīng)用的靈活部署和彈性伸縮，減少固定資源配置的成本。以阿里云視頻云的GRTN（Global Realtime Transport Network）低延時(shí)網(wǎng)實(shí)現(xiàn)邊緣傳輸（見圖1）為例，其匯聚了阿里云在音視頻通信領(lǐng)域的深厚技術(shù)積累與創(chuàng)新能力，巧妙融合了層級網(wǎng)與對等網(wǎng)的雙重優(yōu)勢，構(gòu)建起一個(gè)高效、靈活的混合網(wǎng)絡(luò)架構(gòu)，縮短了媒體傳輸?shù)逆溌烽L度，從根本上降低了數(shù)據(jù)傳輸?shù)难舆t。全鏈路深度集成了基于UDP的低延時(shí)RTC協(xié)議，確保了數(shù)據(jù)傳輸?shù)母咝c實(shí)時(shí)性。通過深度定制的動(dòng)態(tài)路由策略、精細(xì)化的傳輸控制機(jī)制，以及前沿的邊緣計(jì)算技術(shù)，GRTN能夠在全球范圍內(nèi)實(shí)現(xiàn)資源的優(yōu)化配置與負(fù)載均衡，為用戶提供前所未有的流暢體驗(yàn)。視頻云云考古機(jī)制作為GRTN的重要應(yīng)用，更是將這一低延時(shí)傳輸技術(shù)的優(yōu)勢發(fā)揮到了極致，能夠無縫接入視頻云的直播、點(diǎn)播及RTC等多元化業(yè)務(wù)場景，助力客戶輕松實(shí)現(xiàn)業(yè)務(wù)的全球化擴(kuò)展與實(shí)時(shí)交互，讓每一次視頻體驗(yàn)都跨越距離，觸手可及。
2.1.2 構(gòu)建全面的安全防護(hù)體系
對數(shù)據(jù)進(jìn)行加密處理可以有效防止數(shù)據(jù)在傳輸過程中被截獲或在存儲過程中被非法訪問。現(xiàn)代加密算法，如AES（高級加密標(biāo)準(zhǔn)）和RSA（Rivest-Shamir-Adleman）算法能夠?yàn)閿?shù)據(jù)提供強(qiáng)有力的保護(hù)[6]。實(shí)施嚴(yán)格的訪問控制和身份認(rèn)證機(jī)制也是構(gòu)建安全防護(hù)體系的核心，包括多因素身份認(rèn)證（MFA）、細(xì)粒度的訪問控制策略等，確保只有經(jīng)過授權(quán)的用戶才能訪問特定的數(shù)據(jù)和資源。設(shè)置基于角色的訪問控制（RBAC）可以根據(jù)用戶的角色和職責(zé)來限制訪問權(quán)限，減少內(nèi)部數(shù)據(jù)泄露的風(fēng)險(xiǎn)。定期進(jìn)行安全審計(jì)和漏洞掃描是保障云計(jì)算環(huán)境安全的重要措施。不斷檢測系統(tǒng)中的潛在安全威脅和漏洞，及時(shí)修復(fù)安全漏洞，可以有效防止黑客攻擊和數(shù)據(jù)泄露事件的發(fā)生。
2.2 面對大數(shù)據(jù)編程技術(shù)問題的解決方案
2.2.1 數(shù)據(jù)清洗與預(yù)處理
高校在進(jìn)行大數(shù)據(jù)分析時(shí)，數(shù)據(jù)來源廣泛且格式多樣，容易出現(xiàn)各種問題。來自不同系統(tǒng)的學(xué)生成績數(shù)據(jù)可能格式不一致，且有些記錄可能丟失或重復(fù)。為了提高數(shù)據(jù)質(zhì)量，必須對數(shù)據(jù)進(jìn)行標(biāo)準(zhǔn)化處理，即將數(shù)據(jù)轉(zhuǎn)化為統(tǒng)一的格式，并處理缺失值和異常值。大數(shù)據(jù)編程內(nèi)容如圖2所示[7]。具體方法包括填充缺失值、刪除重復(fù)記錄、糾正錯(cuò)誤數(shù)據(jù)等。這些操作可以通過使用數(shù)據(jù)清洗工具，如Open Refine或Python的Pandas庫自動(dòng)化執(zhí)行，減少人工干預(yù)，提高效率。數(shù)據(jù)預(yù)處理不僅包括數(shù)據(jù)清洗，還涉及數(shù)據(jù)轉(zhuǎn)換和特征工程。
2.2.2 優(yōu)化算法與并行處理
優(yōu)化算法主要指在算法設(shè)計(jì)和實(shí)現(xiàn)過程中，通過改進(jìn)算法結(jié)構(gòu)和降低時(shí)間復(fù)雜度提升處理效率。大數(shù)據(jù)處理優(yōu)化效果如表1所示。在處理大規(guī)模數(shù)據(jù)集時(shí)，傳統(tǒng)線性搜索算法可能效率低下，而利用二分搜索算法能夠提高數(shù)據(jù)檢索速度[8]。并行處理通過將大數(shù)據(jù)任務(wù)拆分為多個(gè)小任務(wù)并在多個(gè)處理單元上同時(shí)執(zhí)行，能夠提升數(shù)據(jù)處理速度。使用分布式計(jì)算框架如Hadoop和Spark等，將數(shù)據(jù)處理任務(wù)分布在多個(gè)計(jì)算節(jié)點(diǎn)上并行執(zhí)行數(shù)據(jù)處理任務(wù)，能夠大幅度提升處理效率。Spark的內(nèi)存計(jì)算能力相比于傳統(tǒng)基于磁盤的Hadoop MapReduce具有更高的處理速度，尤其適用于需要迭代計(jì)算的場景，如機(jī)器學(xué)習(xí)算法的訓(xùn)練。
3 結(jié)束語
通過上述分析可知，高校應(yīng)用云計(jì)算技術(shù)面臨的主要挑戰(zhàn)有資源利用效率與成本控制挑戰(zhàn)、安全與隱私保護(hù)挑戰(zhàn)、資源配置的不均衡挑戰(zhàn)、成本控制的復(fù)雜性挑戰(zhàn)，因而高校必須在資源管理中進(jìn)行動(dòng)態(tài)調(diào)整和精細(xì)化管理，優(yōu)化資源利用率并控制成本，而數(shù)據(jù)安全和隱私保護(hù)問題需要通過多層次的安全防護(hù)措施來應(yīng)對，包括數(shù)據(jù)加密、訪問控制和安全審計(jì)等手段。高校應(yīng)用大數(shù)據(jù)編程技術(shù)面臨著數(shù)據(jù)質(zhì)量參差不齊和處理性能瓶頸問題，因而必須在數(shù)據(jù)預(yù)處理階段進(jìn)行充分的數(shù)據(jù)清洗，并采用優(yōu)化算法和并行處理技術(shù)來提高處理效率。
參考文獻(xiàn)
[1] 嚴(yán)競雄．基于云平臺和大數(shù)據(jù)技術(shù)的C語言編程實(shí)驗(yàn)教學(xué)平臺設(shè)計(jì)與實(shí)現(xiàn)[J]．電腦編程技巧與維護(hù)，2023（5）：72-76．
[2] 何況，賈曉鳳，甄成，等．基于復(fù)雜地質(zhì)環(huán)境條件下的TBM施工數(shù)據(jù)挖掘與云計(jì)算綜合管理平臺搭建[J]．安全與環(huán)境工程，2023，30（4）：46-55．
[3] 徐強(qiáng)，王仕佐．基于改進(jìn)Apriori算法的大數(shù)據(jù)AR挖掘仿真[J]．計(jì)算機(jī)仿真，2023，40（7）：509-513．
[4] 黃思云，齊金平．云計(jì)算環(huán)境下基于XML的異構(gòu)數(shù)據(jù)共享研究[J]．信息與電腦，2022，34（19）：16-19．
[5] 羅小剛，周亮．淺談基于計(jì)算機(jī)軟件工程的數(shù)據(jù)庫編程技術(shù)[J]．中國新通信，2023，25（14）：36-38．
[6] 胡巖，于洪金，劉眾望，等．基于云計(jì)算的機(jī)器人三維定位方法研究[J]．機(jī)電工程技術(shù)，2023，52（6）：1-5，147．
[7] 余少鋒，鐘建栩，朱磊，等．基于云計(jì)算的電力系統(tǒng)入侵檢測仿真與研究[J]．自動(dòng)化儀表，2022，43（7）：12-16．
[8] 劉雨蒙，趙怡婧，王碧聰，等．結(jié)構(gòu)化數(shù)據(jù)庫查詢語言智能合成技術(shù)研究進(jìn)展[J]．計(jì)算機(jī)科學(xué)，2024，51（7）：40-48．
作者簡介：姜 寧（1986—），男，漢族，山東乳山人，助教，本科，研究方向?yàn)橛?jì)算機(jī)應(yīng)用技術(shù)。
