logo821.gif (10572 bytes) 首頁          新增資料與公告

   

最新消息  :

數字分析 - 中國於非洲農業報導之破解

索馬利亞的乾旱影響和解決方案建議

在非洲商業邊緣爭奪空間-本土企業與中資企業之間日益激烈的競爭

 

 

數據分析與知識產業

首頁
上一層
BSE LAB 介紹
非洲產業研究中心
生醫研究之統計方法
授課資料
人文關懷
無官御史台
武漢肺炎與產業
智能生物產業
活動公告區

 

 
農業和營養物大數據
 

中興大學 生物系統工程研究室 陳加忠

 
 

資料來源:

http://ebrary.ifpri.org/utils/getfile/collection/p15738coll2/id/133095/filename/133298.pdf and is© CAB International 2019

為什麼農業和營養物需要大數據?

地球為人類提供了足夠的資源來養活不斷增長的人口,但仍有 8.15 億人長期處於飢餓之中。儘管人類健康總體上有所改善,但當前的糧食系統面臨著許多挑戰,包括營養物不足、微量營養物營養不良和肥胖率上升(FAO2018 )

收集的全球糧食系統數據量巨大,聯合國 (UN) 的可持續發展目標 (SDG)(尤其是可持續發展目標 23 17)鼓勵共享有關農業和營養物的資訊和數據。

儘管呼籲採取行動,但從農民到政府的許多利益關係者缺乏可操作的數據驅動洞察力,也缺乏對數據如何轉化為行動的清晰理解。關於農業、營養物和糧食系統之間的聯繫,尤其是整個價值鏈中複雜的系統性問題,仍然存在許多知識空白。開始縮小這些差距的數據的力量在很大程度上仍未得到利用。

食品系統團體看到了農業大數據的巨大潛力,可以幫助農民擺脫貧困(Patel2013 ),並確保父母可以為孩子提供營養物豐富、多樣化的食物( Lung'aho 2018 )。在美國,風險投資家在 2016 年在“ agtech ”(農業數字技術)上花費了 30 億美元,其中 46% 的投資者專注於大數據和分析(Walker 等,2016 )。大數據計劃例如 CGIAR 的農業大數據平台,已經提供了數以千計的數據集和出版物(Pineda2018 )。為了建立一個全球數據生態系統,就農業改善營養物的方式產生強有力的見解和建議,團體必須確保大數據的好處是造福所有人,而不僅僅是造福少數人。 

什麼是大數據?

大數據是媒體炒作的趨勢,還是它確實有能力擾亂農業系統以造福於營養物?與農業、營養物和可持續發展中的許多術語一樣,例如糧食安全Gibson2012 )糧食系統(例如 Edgar Brown2013 )大數據缺乏普遍認可的定義( BhadaniJothimani 2016 )

適用於大多數學科的大數據的首要特徵是 3V:數量、速度和多樣性,第四個 V為準確性,也適用於農業和營養物。

數量:收集了多少數據。數量取決於隨時間變化的數量,這會影響下一個組件( BhadaniJothimani 2016 )

速度:收集數據的速度。在農業和營養物領域,大數據的一個經常被提及的好處是近即時分析和決策的機會。例如,預警系統提供有關農業生產、天氣模式、營養物狀況和其他因素的即時數據,並向政策制定者發送有關新出現的人道主義危機的警報。

多樣性:收集什麼類型的數據。各種數據是使大數據特別適用於農業和營養物的一個組成部分。隨著數字數據收集、互聯網和智慧手機的出現,大數據已經改變了數據的樣子。除了電子表格中的作物產量或發育遲緩率數字,數據還包括地圖和 GPS 坐標、照片(例如飲食習慣)、文本(營養物資訊)、關係(例如農業-營養物利益關係者的映射) ) 等等 ( Sonka , 2014)

重要的是要考慮到大數據在更大的數據生態系統中發揮一定的作用。數據生態系統包括所有大小和類型的數據集。除非以一定的規模進行分析,否則數據可能不會成為大數據。數據集的重要性和影響可能與數據集大小無關。

農業和營養物領域的大數據是什麼樣的?

數據從多種來源以多種方式收集,這就是為什麼大數據應用可以在整個食品系統中以多種方式應用的原因。如前所述,為了使數據,必須有大量的、快速收集的、採用多種形式的數據。農業和營養物領域有許多數據集滿足這些標準,如表 1 所示

雖然大數據可以來自工業界、學術界和政府,但也可以由農場設備、手機和社交媒體的用戶生成。當人們使用一個時,他們輸入的資訊和他們在使用app時的行為就會變成大數據,供其他人解釋和使用。隨著手機和智慧手機數量的增加,產生的數據也在增加。儘管很難找到用戶生成的營養物大數據示例,但 MyFitnessPal和其他飲食跟踪器等app可能會在未來提供示例

農民面臨的兩個最大挑戰是來自外部壓力的風險和缺乏安全網。預警系統和保險幫助農民克服這些風險,尤其是在氣候變化時代。大數據的使用,允許使用數據類型的組合,比以往任何時候都更好的預警系統和保險計劃。飢荒早期預警系統網絡 (FEWS NET) 等舉措可以極大地改善最脆弱地區決策的循證分析。 FEWS NET 成立於 1985 年,利用大量來自衛星和研究的數據,它可以發布糧食不安全預測的報告和地圖,以及危機警報和有關天氣、市場和營養物的具體數據,使政府能夠及時幫助公民(FEWS NET2018 .如果收集有關政府如何使用早期預警系統以及受影響人民的生活如何得到改善的研究,則可以更好地評估 FEWS NET 的影響。

大數據還可以通過大數據類型的組合幫助保險和獲得信貸。印度公司Satsure使用機器學習和大數據分析技術分析衛星數據、市場數據和天氣數據,以確保因氣候衝擊而遭受農作物損失的印度農民迅速獲得賠償。 Satsure是一家相對較新的公司,即將對其計劃進行評估(e-Agriculture2017 )

 從數據到決策

所有類型的大數據都必須經過一系列步驟,結合其他類型的數據,以及各種利益關係者,才能做出數據驅動的決策。圖 1 顯示了這一潛在途徑。

來自上述來源的大數據將有助於建立證據基礎。數據必須由已開發工具的公司或個人進行分析,分析後將為某些場景和app提供幾個選項。大數據還可用於建立軟體來預測和快速確定問題發生的位置,並告訴用戶解決問題的最佳方法。為了編寫該軟體,需要大量數據來支持這些建議( Lokers等,2016 )。只有在這一步之後,決策者才具備做出決策的知識。他們自己的道德立場、利益和對潛在權衡的解釋將反過來影響最終結果。

1DIKW 層次結構,從大數據到社會挑戰的決策(改編自Lokers等,2016 )

農業和營養物大數據面臨的挑戰

為了讓農業和營養物領域的大數據幫助利益關係者做出最佳決策,必須克服若干挑戰。

技術挑戰

根據定義,大數據是非常龐大和複雜的數據,通常需要高端、廣泛(且成本高昂)的技術進行管理和分析。食品系統研究越來越跨學科,這使得數據管理成為比其他領域更複雜的挑戰。每個學科都有不同的目標、數據格式、模式、詞彙、標準和粒度(granularities)Lokers2015)。

隨著越來越多的農業和營養物數據被收集,大數據的 3V:數量、速度和多樣性將呈指數級增長。為了充分利用數據,需要大量投資來在平台和數據庫中存儲和保存數據。目前,相關利益關係者在數據管理技術上花費的時間、精力和金錢最少( Shekhar等,2017 )

數據以不同的方式、不同的格式、使用不同的技術和不同的語言收集。為了使大數據最有效,不同的數據應該能夠相互疊加,每一層都有助於進一步為解決方案或決策提供資訊。這種分層被稱為數據整合,數據需要可互操作才能進行數據整合。如果數據源是可互操作的,如 XMLAPI 或文本文件( Kadadi等,2014),數據整合可能相當容易,但如果它們不是,或者語義和詞彙不匹配,數據整合可能會很困難,昂貴,或不可能。

體制挑戰

可以說,高數據品質取代了任何其他分析或整合問題,因為劣質數據的成本可能比沒有數據的成本更大( Cai and Zhu2015)。高數據品質對於建立對數據共享的信任也十分重要(AllemangTeegarden 2016)。品質保證標准在農業和營養物數據收集或管理中並不常見。然而,也很難知道好到什麼程度才夠好?該領域正在取得進展( Grassini等,2015Lu 等,2015 )

對於幾乎所有利益關係者來說,機構數據管理都是事後才想到的。它通常不會整合到研究設計中,也不會為了共享或重用而收集。資金不用於品質保證、策劃和可持續性。根據研究項目的不同,數據的數量、速度和種類可能會使追溯數據管理變得困難(Smith 等,2017Adrian 等,2018 Roett 2018)。

文化挑戰

商業、科學和管理的標準操作程序是封閉數據,即不開放或不共享的數據(ODI2015)。如果要最佳化使用大數據,組織需要共享或開放他們的數據。然而,這個過程可能要求他們改變他們的商業模式、他們僱用的人、他們的商業關係和他們的機構文化。這樣的過程是緩慢的,並且可能對規避風險的組織或那些沒有財務或人力進行變革的組織構成威脅。大學的研究人員特別不願意開放和共享數據,因為害怕別人竊取他們的結果。然而,他們願意重用其他人發表的數據(Digital Science2017)。其他文化因素包括阻礙數據共享的官僚主義和其他社會結構、在國家或地區之間可能高度可變的規範和結構。

道德挑戰

處理農業和營養物數據的法律框架中通常不存在數據所有權。更常見的是,由於對所收集數據的專有利益,數據由收集它們的個人或組織(或資助其收集的人)擁有,而不是由數據所涉及的人所有。這可能導致隱私和安全問題,以及數字鴻溝的出現,這代表著大數據正在幫助強大的實體,而不是改善弱勢群體的生計。大多數小農在沒有中介的情況下無法理解、解釋和使用數據分析。

隨著智慧手機、曳引機上的 GPS、可穿戴技術或設備以及個人身份資訊的增加,這些道德挑戰對於克服十分重要(de Beer2016 Kshetri 2014)。

在製造曳引機和重型農業工具的公司的營運作業中可以看到這種道德挑戰的一個例子。其中一家製造商John Deer在美國利用眾包和遙感技術在精準農業方面取得了巨大進步。該公司跟踪每個農場的農業機械並將其匯總以改進預測並提供建議,通常是為了推廣自己的產品。然而,由於John Deere還擁有其機器生成的數據,農民無法看到發送給John Deere的數據,除非他們將其買回。一些農民認為,如果 John Deere 使用這些數據做出商業決策,他們應該擁有數據並獲得補償(Woodard等,2017 )。在 Farm Industry News 進行的一項調查中,農民表示希望控制他們的數據,並擔心他們的數據可能會被如何使用(Farm Industry News2016 )

將大數據用於農業和營養物的經驗教訓和解決方案

最近的研究和當前的舉措正在利用大數據的潛力來幫助解決農業和營養物方面的大問題(Kshetri 2014 ),儘管還沒有足夠的時間來看到真正的、持續的好處。然而,大數據的發展勢頭正迫使廣泛的利益關係者相互學習,以開發創新和新穎的解決方案來應對上述挑戰。

物聯網 ( IoT )

物聯網 ( IoT ) 具有連接農業和營養物數據的巨大潛力,提供有關如何在食品價值鏈中保留營養物的見解。物聯網目的在使用無線感測器、射頻識別 (RFID) 和其他基於 Web 的功能將移動電話、曳引機、原位感測器和可穿戴設備等對象互連,並解決數據整合挑戰。從農業生產的角度來看,物聯網將提供工具,通過更智慧地了解農業條件、降雨、病蟲害威脅和最佳管理作業,更好地監控農業生產。它為高科技、遠程控制的農場物流和加工奠定了基礎,例如用於除草和精確施肥的機器人。然後物聯網將通過遠程監控運輸過程中的環境條件將生產與物流聯繫起來,對食品品質和可追溯性產生積極影響。隨後物聯網可以通過可穿戴設備、組學數據、手機app和醫療保健提供者記錄的營養物數據,將物聯網鏈的結果與個性化健康相結合,記錄生產和營養物狀況之間的聯繫(Sundmaeker等,2016 )。數據必須是可互操作的,才能成功開發物聯網。

開放數據

數據應推動農業和營養物領域的所有重要決策,無論大小(見圖 14.1)。開放數據是任何人都可以存取、使用或共享的數據(ODI2018 ),並且可能是大數據在農業和營養物方面產生影響的最有效方式。除了快速有效的決策之外,開放數據還可以推動每個人都可以從中受益的創新,並可以通過透明度促進組織和部門的變革( Carolan等,2015 )。農業和營養物是高度跨學科的,開放數據將使利益關係者能夠更輕鬆地存取和使用以前無法存取的學科的數據。開放數據背後的研究和支持很強大( AllemangTeegarden 2016 ),但在開放數據如何明確克服發展挑戰的明確示例方面存在知識差距。

為了保持開放數據的高品質,需要標準。這些提供了有關如何收集、管理和整合數據的指南,並包括常見的語義和本體 Pesce等,2018 )。一種這樣的標準

在研究人員、政府和其他利益關係者中越來越廣為人知和接受。可找到代表著可以找到和整理數據;可存取是指數據通常是機器可讀的代碼,或易於由電腦處理,例如通過 XML CSV互操作性允許對數據進行操作並與來自其他地方的數據進行匯總,以產生實用的結果;可重用代表著數據集應該是公開許可的(Wilkinson et al., 2016)。許可提供了有關如何重用數據的指南。大多數開放數據集使用知識共享許可系統(Creative Commons2018)。

使用 FAIR 原則的團體正在不斷壯大,其中包括捐助者、大學和政府,包括歐盟委員會 (EC) (DTL, 2016)。歐共體制定了地平線 2020 公平數據管理指南EC2016 ),要求其地平線 2020 項目中的所有數據,包括糧食安全數據,默認開放並遵守公平原則。

大數據和開放數據的協作平台

組織已經了解到,創新的速度取決於協作和相互支持。幾項新舉措正在幫助食品系統團體圍繞大數據挑戰和解決方案進行協作和召集。

農業大數據平台是 CGIAR 2017 年發起的一項倡議。該平台目的在克服大數據管理和資訊轉化為行動的挑戰。其願景是:組織現有數據;改進 15 CGIAR 中心的數據管理、數據生成和存取;召集 CGIAR 成員及其合作夥伴使用大數據解決農業和營養物問題;並激勵其他人也這樣做。該平台目的在到 2022 年實現這一願景(CGIAR2018)。迄今為止,已提供 2000 個數據集和 50,000 份出版物(Pineda2018 )

全球農業和營養物開放數據 (GODAN) 倡議是一個由來自所有部門的 850 多個(截至 2018 11 月)合作夥伴組織組成的全球網絡,他們倡導開放數據並共同努力克服挑戰,尤其是與糧食安全有關的挑戰. GODAN 鼓勵所有合作夥伴開放關鍵數據集,並製定可持續數據共享的政策。 GODAN 合作夥伴網絡包括來自食品系統各個階段的組織,他們有機會合作並了解他們的數據如何幫助團體中的其他人。 GODAN 的主要目標是在合作夥伴之間建立信任和負責任的開放數據管理(GODAN2018)。

利益關係者可以做些什麼來讓大數據為農業和營養物服務?

所有利益關係者

大數據在與數據生態系統中的其他數據集進行分析和分層時,可以幫助農業和營養物領域的利益關係者在整個糧食系統中做出更好的決策。儘管特定利益關係者可以採取一些行動來使大數據為農業和營養物服務,但有些行動是普遍的。

合作

就像上面的物聯網示例一樣,所有部門的利益關係者都需要協作、共享數據並共同製定策略以實現共同目標。大數據要讓每個人都能獲得可持續的利益,關鍵是合作與協作。

負責任的數據使用

關於為什麼數據所有權和責任在農業和營養物領域的大數據和開放數據中很重要,存在大量研究( Kshetri2014Bronson Knezevic 2016 Carbonell2016)。如果要以負責任的方式發布和使用數據以防止權力失衡、賦予弱勢團體權力並促進可持續農業和營養物(Ferris Rahman2016 ),則必須圍繞明確的隱私、安全和所有權原則制定政策起草並持續更新(de Beer2016 )。必須對數據主體進行有關如何使用有關他們的數據以及如何獲得補償的教育;弱勢群體,尤其是小農的權利,必須得到保護。

儘管開發團體可能廣泛支持這些原則,但在實際應用中遵守這些原則的例子還很少。 “Good Open Data Policy”ODI2017)等資源有助於確保遵循負責任的數據使用原則。

政策

大數據管理、技術和決策過程相對較新,政策是確保不同部門、地區和學科對問題有共同理解、就潛在解決方案進行合作並產生共同標準的最佳方式。諸如編寫良好(開放)數據政策ODI2016 )之類的資源可用於所有部門的政策支持。具體部門的政策建議和進展如下。

政府

世界上大多數政府都設有收集和組織大量數據的農業部、食品部和衛生部。政府通常是他們收集的數據的管理者(Smith Jellema 2016 ),可以擁有並託管數據。世界各地政府收集的大部分數據可能不被視為大數據,尤其是在發展中國家。然而,政府有責任解釋大數據並對其採取行動以造福於其公民。

政府可以通過不斷清理、整理和更新政府數據以及在適當時在網絡上發布開放數據來促進其部門之間的資訊流動並確保高品質的數據。他們可以: ( i ) 加強國家技術基礎設施,以便其他利益關係者可以隨時輕鬆可靠地存取開放數據; (ii) 建設利益攸關方使用大(和開放)數據源的能力; (iii) 為希望基於開放數據為農業和營養物部門建立資訊服務的利益攸關方提供財政支持來源; (iv) 鼓勵業務發展以維持正在開發的資訊服務; (v) 鼓勵其他利益關係者(例如私營部門、國際組織、非政府組織、研究人員)發布他們自己的數據源(GODAN2018 )

一些政府正在大數據和開放數據方面取得進展。例如,2017 年,肯亞農業部與其他 9 位非洲部長簽署了《Nairobi宣言》,公開承諾共同致力於農業和營養物領域的開放數據以及數據驅動的決策(GODAN2017 )。

研究機構和大學

研究機構和大學產生大數據,但從歷史上看,研究人員被驅使在同行評審的期刊上發表文章,而不是發布高品質的數據集。這種心態正在開始轉變,研究人員越來越有興趣發表數據集,只要它們被歸因並獲得引用。這種興趣背後的主要驅動力是大學鼓勵數據集出版,因為他們開始考慮其對出版數量的貢獻以及增加新捐助資金的可能性(Digital Science2017)。

數據所有權是大學和研究人員之間爭論的焦點。大學認為,如果研究是在他們的校園內進行的(無論資金支持如何),他們就擁有數據。研究人員不同意並認為他們自己擁有數據。大學必須通過與教職員工和研究人員合作制定所有權政策來明確定義數據所有權。他們還應該為數據最佳作業和管理建立基礎設施、支持和資源(Adrian 等,2018 )

捐助者

捐助者每年花費數十億美元用於農業和營養物研究,這些資金來自大學、其他政府、非政府組織和工業界,所有這些都產生了大量數據。很少有捐助者資助其初始投資產生的高品質數據的管理和維護(Smith 等,2017 )。反過來,大學和研究機構也遵循其項目資助者的數據政策。然而,捐助者最近才意識到,儘管他們可能有數據管理政策(例如開放數據或開放存取),但受贈者通常沒有資源或知識來完全遵守這些政策。

捐助者可以通過合規性和激勵措施的結合來最好地支持他們的受助者。他們可以定期監控合規性並就預算分配提出明確的期望,以確保良好的數據管理(Smith 等,2017 )

行業

食品系統中的每個步驟(投入、生產、收穫、運輸、儲存、加工、零售、消費和廢物)都有行業數據收集者和用戶。

學術研究的出版商,如 Elsevier Springer Nature (Springer Nature, 2016),也是行業利益關係者,因為它們提供了可導致知識和決策的科學資訊的主要吞吐量。出版商可以決定他們自己的開放數據和開放獲取政策,以及研究人員必須遵守的定價標準。

大數據的業務模型定義明確,但大數據和開放數據的定義較少。先正達等公司已經找到了發佈公開數據以提高透明度和責任制的方法。先正達的良好增長計劃概述了農業可持續性的六項承諾,並公佈了其中大部分內容的數據,包括作物生產力、小農推廣、土壤維護作業、生物多樣性作業和工作場所安全。先正達發現,在促進其社會責任議程方面,開放數據比保持數據封閉更有價值( AllemangTeegarden2016 )。農業綜合企業可能面臨著圍繞數據倫理政策解決的最大挑戰,以確保農民不會因為他們的數據而被剝削(Carbonell 2016 )。需要更多的研究和努力來為食品系統中的大開放數據開發可持續的商業模式。

除了商業模式之外,行業還可以採用將數據視為原材料的觀點來確定公司的價值。數據價值鏈視角可以幫助公司使用和重用數據,以最大限度地利用分析和工具來解決開發問題和擴大解決方案(Dunhill2014 ) IBM 數據價值鏈背後的研究是紮實的,但尚未應用於情境環境。

展望未來

隨著國際社會努力實現可持續發展目標,大數據將推動許多與農業和營養物聯繫以及重塑全球糧食系統相關的努力。高品質數據的收集是不夠的。如此龐大的資訊井必須轉化為非技術受眾(包括決策者和民間社會)易於獲取的知識。通過精心構建開放的大數據系統,包括明確的定義、所有權和使用規則以及透明度和責任制,我們可以確保大數據的好處傳遞給社會中最脆弱的群體。