
點擊上方藍字關注我吧!
李震教授“智慧農業在果園蟲害監測中的應用探索”直播回放 當在手機APP上按下指令,果園內的水肥、農藥噴頭就會自動噴撒。管理人員可以根據土壤監測儀收集的數據進行研判并遠程調整水肥配比,甚至可以解決水果產業“大小年”問題……這些場景已經在智慧果園實現了。那其實說到智慧果園,我們很多小伙伴應該有印象,在去年的520,首個“空天地一體化智慧果園項目”在茂名亮相中國荔枝產業大會,開啟了果園新模式,并且獲得了多方的關注。 在果園生產管理上,果農們最大的煩惱想必就是如何保證作物不受到病蟲害的威脅,作物的健康關系到作物品質,與經濟效益直接掛鉤,因此做好病蟲害監測尤為重要和迫切。 本次是“AI?農業智匯云講堂”第三十一期,報告主題是“智慧農業在果園蟲害監測中的應用探索”。 本期,我們非常榮幸的請到了華南農業大學電子工程學院、人工智能學院副院長李震教授。
柑橘果園主要蟲害介紹
橘小實蠅害蟲與蟲害 橘小實蠅可危害40多科250多種果樹、蔬菜類果實,具有適應性強、繁殖傳播快、危害范圍廣等特點。 重災果園水果的受害率可達80%~100%,嚴重影響水果的品質和產量。 該蟲原發于我國臺灣和日本琉球群島一帶,后傳至20多個國家和地區。 我國廣東、廣西、福建、云南、四川、湖南等省區也有傳入。
傳統的橘小實蠅測報方法 ①橘小實蠅是華南地區危害最嚴重的害蟲; ②傳統的測報方法(捕蟲瓶、黃板等)費時費力,無法實現大范圍實時監測; ③需要便捷、高效、準確的新型測報技術與裝備。
柑橘木虱害蟲與蟲害 黃龍病脅迫葉片 黃龍病脅迫果實 黃龍病脅迫果樹 柑橘黃龍病是發生在柑橘上一種的毀性病害。嚴重影響產量和品質,甚至造成柑橘樹枯死。柑橘黃龍病不可治,但可以從各個方面對其進行有效控制,使果農的損失降至最低。 柑橘木虱是柑橘黃龍病的傳播媒介,木虱成蟲大多在感染病害的嫩樹梢上產卵,孵化出若蟲后開始吸取嫩梢的汁液,從而產生大量的帶菌成蟲,這些帶菌成蟲再飛到新植株上傳播柑橘黃龍病。
國外檢測方法
橘小實蠅智能精準測報技術與裝備
技術要點 ①基于嵌入式機器視覺和人工智能技術,輔以紅外傳感檢測技術,對果園橘小實蠅蟲害進行現場精準測報; ②利用農業物聯網技術,實現橘小實蠅測報信息的線上共享,實現對果園蟲害進行遠程監測。
在線監測網絡設計橘小實蠅智能精準監測物聯網架構
節點間具有信息交互的能力
專利保護的新型捕蟲器 一種新型捕蟲器,發明專利號:ZL 201310023659.4
蟲口檢測與計數模塊
蟲口檢測與計數模塊結構圖
功能:
(1) 統計進入捕蟲器的橘小實蠅數量;
(2) 喚醒為節電而進入睡眠的其他電路。
蟲口檢測與技術模塊 PCB板圓形設計,與捕蟲器外殼形狀配套 裝配在捕蟲器上的蟲口檢測與技術模塊
實蠅檢測策略示意圖
紅外對管安裝于捕蟲器進蟲通道,發射管和接收管對射安裝,當實蠅從進蟲通道進入捕蟲器時,傳感器被遮擋,觸發檢測。實際測試發現,存在實蠅沿進蟲通道走出捕蟲器的情況,因此每通道安裝兩對紅外對管A、B。當實蠅從捕蟲器外進入區域A時,如下圖箭頭①路徑所示,先觸發紅外對管A后觸發紅外對管B,此時記錄為實蠅進入捕蟲器;當實蠅從捕蟲器區域A往外走,如下圖箭頭②路徑所示,先觸發紅外對管B后觸發光紅外對管A,此時記錄為實蠅走出捕蟲器。

橘小實蠅檢測通路部分電路圖
模塊輸出結果
基于機器視覺的柑橘果實蠅檢測與識別算法 01 圖像配準
在YCbCr 色彩空間進行圖像目標和背景分割;
三種實蠅腰腹部之間的黃色盾形區在實蠅身體的黃色區域面積最大,因此可以用作圖像配準的長軸搜索區。
原圖像 分割后區域 區域二值化 盾形區
02 圖像配準——結果
長軸搜索區 長軸 圖像旋轉 配準結果
①準確率100%;
②處理360*360像素分辨率圖像的平均耗時0.4s;
③無法自動獲得各種光照條件下的分割閾值。
03 實蠅背部條紋帶分割與定位
HSV空間濾值
橘小實蠅在監測區內運動軌跡跟蹤
Camshit算法和卡爾曼濾波器用于監測區橘小實蠅的運動軌跡跟蹤。
運動軌跡跟蹤算法
工業攝像頭拍攝的6幀連續圖像
田間監測子系統設計
子系統結構圖
選用新型的ARM+DSP雙核處理器;
攝像頭驅動:完成YUYV格式攝像頭在DM3730上的驅動,可以獲取到相應的圖像信息,目前攝像頭的分辨率為640*480;
雙核協調:由ARM端通過Linux系統的V4L2接口來驅動攝像頭,獲取攝像頭數據,然后通過遠程調用DSP端程序時的形參傳入,使得DSP端可以訪問到攝像頭數據;
確定函數:將EMCV函數全部找出整理成表,并且找到需要開辟內存空間的函數,為以后的代碼優化起到參考作用。
橘小實蠅識別效果
協調模塊由32位微處理器,TF存儲卡,433MHz無線通信模塊,RS485轉換模塊,TFT LCD顯示器驅動模塊和LDO穩壓器組成。
協調模塊的功能是協調監測系統各部分工作。
系統實物
第一代田間監測節點
第二代田間監測節點
第三代田間監測節點,加裝了攝像機保護裝置
監測節點監視器界面 果園信息監控平臺
柑橘木虱智能精準測報技術與裝備
設計目標
技術路線
柑橘木虱圖像采集
柑橘木虱標注
JOIN US 樣本擴增
基于YOLOv4-Tiny的目標檢測與識別模型
YOLOv4-Tiny目標檢測模型結構精簡,具有較快的推理速度,適用于嵌入式硬件平臺。
基于K-means++算法計算錨框
使用k-means++算法計算錨點框,解決柑橘木虱長寬比較大,導致k-means算法容易陷入局部最優解的問題,提升識別準確率。


基于Mosaic算法實現數據增強
01
方法:
隨機選擇裁剪比例 x 和 y, 0.2< x, y <0.8。
讀取四張圖片,分別對四張圖片進行裁剪和拼接,最終獲得一張新圖片(系統自動完成)。
02
優點:
新圖片傳入到神經網絡中學習,相當于傳入四張圖片進行學習,提高學習效率,豐富待測目標的背景
Cross mini-batch Normalization(CmBN)
CmBN結合多個先前的迭代結果來對當前batch中統計值進行估計,提升網絡學習的效率。
柑橘木虱識別效果
該算法對現場拍攝的圖像中柑橘木虱的平均識別率為95.53%,在典型商用嵌入式平臺運行時,檢測速度為310FPS,模型大小為24.5MB,適合部署于嵌入式邊緣計算平臺。
系統部署
在商業化監測節點部署算法
自主研發專用的監測節點
前景與展望
01 柑橘果園病蟲害發生情況日益嚴重,目前普遍缺乏有效的測報手段;
02 果農為確保產量,不斷提升化肥農藥施用量,導致環境污染日益嚴重;
03 現有的果園蟲害智能化在線高效測報技術均處于研發階段,尚未大范圍推廣應用;
04 需要科研、管理、推廣部門和果農協作,促進技術成果的轉化應用。
李震教授“智慧農業在果園蟲害監測中的應用探索”直播 ——觀眾提問集中回答
李教授,目前果園除了殺蟲燈等設備,還有哪些裝備適用于果園?一般果園科學防治需要投入多少?
這個問題感覺還是比較專業,實際上除了殺蟲燈用的比較多?,F在農業從智慧農業這個角度來講,還有一些吸入式的蟲害捕捉器,現在已經有小范圍的應用了;還有放一些誘惑劑的,如荷爾蒙、光等,利用蟲子的趨光性等特性。 當蟲子過來之后,下面有一個風扇在轉,產生一個吸力,將飛蟲吸進去之后,在里面進行識別。如果是益蟲,打開旁邊的翻蓋,將其排出,幫助果園生產;如果是害蟲,下面再有一個機構,將害蟲吸入,里面進行電擊殺,或者直接關住,一段時間它自己死掉了。這個也有一些小范圍的應用。
請問李教授,現在柑橘還有哪些主要病害?怎么防治?黃龍病怎么辦?
柑橘的病蟲害其實是很多的,剛剛主要介紹了兩個,橘小實蠅和柑橘木虱。柑橘木虱是導致柑橘黃龍病的主要傳播媒介,除了這些以外,還有潛葉蛾、紅蜘蛛等。昨天去果園調研的時候,果農提出了如何更有效防治紅蜘蛛的需求。 關于黃龍病,華農很多專家都提出了可防可控,但是目前還不可治。希望果農統防統治,及時噴灑相關農藥。當然也希望大家考慮我們的系統,給大家噴灑農藥過程中提供一些依據,不是盲目地噴了。以前是比較盲目,按照時間間隔噴灑農藥,帶來了環境污染等問題。這套系統我們也需要完善一些,如果能夠推廣應用,果農就能了解,我這個果園已經發生木虱了,就開始噴藥,由按時噴藥變成按需噴藥,這就是防控的一個新手段。 當然也有很多專家在防控黃龍病上提出了很多好的方法,也建議大家和其他專家多聯系交流。
李教授,今天您主要是以柑橘果園為案例的,如果推廣應用到其他的作物果園。是否會有一些通用型的設備或者技術是會適用的呢?
我第一個講的是橘小實蠅的監測裝備,雖然它名字里有一個橘,但是其危害范圍是很廣的,250個科,除了柑橘外,還有楊桃、草莓、西瓜、黃瓜、玫瑰花等。 這套系統我們研究的時候是布置在柑橘園,實際上這么多作物都可以部署這套系統。我們的系統本身具有一定的擴展性的。 第二個從技術來說,像人工智能也有在不同作物方面的應用。你要根據害蟲的特性,因為很多AI的應用在于如何找到合適的傳感器,是聲學的、光學的還是視覺的。找到之后,根據特定害蟲的遷飛、趨向、趨光的特性,嘗試捕捉之后再分析它,代替人去了解情況。這是現階段可探索的形勢。
李教授,我了解到其實廣東四會其實之前是砂糖橘之鄉,現在很多砂糖橘都已經是在廣西去種植生產,難到是說那邊的條件更合適還是有其他原因呢?
這也是做柑橘的人一直在思考的問題,實際上需要從土壤、氣候條件來說,四會這邊的基本條件肯定是適合沙糖橘的。產業受到打擊的一個主要原因就是柑橘黃龍病,對四會砂糖橘的影響還是比較嚴重的,現在也是逐漸恢復。 因為很多搞栽培管理、信息化的專家們都在齊心協力,希望讓廣東整體的柑橘產業,包括砂糖橘,能夠恢復起來。包括省里對這方面也有一些投入。換句話說大家要有信心,黃龍病是可防可控的,可能暫時治還沒有很好的方法。如果恢復種植柑橘類的水果應該還是很有希望的。因為廣西有一些做法,保證了黃龍病的發病沒有那么嚴重,我們廣東也可以借鑒一些比較好的方法,因為他們有些方法確實可以復制。
李教授,果樹蟲害智能識別技術如何在產業化中得到低成本應用?不同果樹的通用性如何評價?
這也是我們在不斷努力的方向,有些觀眾看了我剛才的介紹之后,大家的第一印象都覺得這兩項技術都會帶來成本的提升。 一方面我們都盡可能降低使用成本,特別現在配合5G(4G也可以),因為計算是使用邊緣計算,算力在田間,必然每個節點都要有一定的算力,因為節點是一個多點部署的東西,單價肯定會高。如果配合5G,把整個的邊緣計算都變成云計算,田間部分就不再負責計算部分的了,所有的算力都上升到云上,這樣可以降低在田間部署的節點的成本,這個降低還是很可觀的。這樣有利于推廣大范圍的部署。 第二個這是一個經濟性的問題,就是說我部署系統之后,如果帶來的經濟效益和收益比投入要高,這個系統就有部署的價值和意義,雖然價格不一定馬上下降很快,但是帶來的好處,比如化肥農藥減少了,或者黃龍病沒有那么嚴重了,這就是實實在在的好處,這些方面的收益,比系統付出的要多,投入產出比高。這就是推廣的原動力。 這需要兩方面思考問題與實行。
李教授您好,使用YOLO檢測蟲害在實際應用中也要在4cm~10cm的范圍內拍攝嗎?有沒有辦法實現較遠距離,對更大范圍進行監測?
剛才PPT最后也講到兩個方法,一個是基于商用平臺,就像上一位聽眾問的問題,商用平臺做的時候要從成本考慮,攝像頭的分辨率和自動調焦的能力會受限于成本,所以這方面商用平臺還是比較弱的。因為最開始我們還是和商業模式合作的,導致我們設計算法的時候,距離和監測范圍是受到了一定的影響,受制于參數。同時大家也可以看到柑橘木虱很小,和一個芝麻粒那么大,大家可以想象一下,如果要大范圍監測,就需要用很高清的攝像頭。這時候,一個攝像頭的成本就很高了。 我們設計這個系統的初衷,也考慮過將單個的成本降下來,在果園大范圍部署,比如一棵或幾棵樹就部署一個,可能每個攝像頭的分辨率都不是那么強;還是說我部署幾個比較高端的、分辨率比較好的攝像頭。最終,我們討論的結果是,因為木虱不是每棵樹都有,如果是一個廣角拍攝,有可能這一帶都沒有,這樣很可能漏檢;如果分布比較多,三五棵樹就布一個,成本就比較低,但范圍布置了,可能監測距離沒有那么遠,但是某棵樹一發生就知道。這樣從監測效果來說會更好一些。 這個問題,實際上是找平衡的問題,我們也一直在思考。
目前的病蟲害圖像數據很難采集,如果真的要實現更多種類病蟲害的自動監測,是不是還需要犧牲很多產量來制造病蟲害呢?
實際上這就是我剛才講的,包括自己的果園為了拍木虱的圖片也是做了一些犧牲。 像我們華南農業大學有一個好處,有專門研究病蟲害的團隊。拍木虱和橘小實蠅的時候也是和相關團隊合作,由他們提供相關的樣本。所以在實驗室階段,也不能說犧牲大量的產量,畢竟也是和人家合作。 當然在推廣應用中,我們希望系統布下去壓根兒就沒有東西拍,那是最理想的階段。也不一定說要犧牲很多東西。實際部署的時候肯定能拍到,因為我們去了很多果園發現,即使按照指導意見足量噴藥也有蟲害??隙ㄕf可以監測到的,也不一定說為了讓系統有效果,果園就疏于管理,不是這個意思。該怎么管就怎么管,我們只是一個輔助手段,讓果農管的更好。
李教授,蟲害的圖像獲取,如何避免自然光照的影響?
這個問題就很專業了,因為剛才受時間的限制,就沒有講。捕蟲器的蓋子是由7個部件組成的,里面已經考慮到光的影響,我們把攝像頭布在了捕蟲器的內部以降低光的影響。同時在專利設計上設計了一個光窗,可以調整進光量。通過兩個板的重疊度調整進光量,目的就是實現白天的進光量適合拍攝。但是這需要人工根據不同場景進行調整,至少在這個時間段內進光量是適合拍攝的,以避免光的影響。早期我們也發現了這個問題,機器視覺受光的影響還是非常明顯的,后來做了改進,做了這個裝置。
請問要在自然場景下基于圖像自動監測病蟲害目前還有哪些難點?
要說難點還是比較多的。 第一個就是剛剛說的橘小實蠅的監測。從技術點來說,一些遷飛性的昆蟲都會飛入瓶子里。如果這個系統就是要監測橘小實蠅的話,這時候就需要配合比較復雜的算法和局限; 第二個就是成本考慮。畢竟圖像采集設備的成本現在還是比較高的,同時還有很多問題不太好解決。像我們正在嘗試解決的戶外的自動對焦,我們把橘小實蠅捕捉到瓶子里,這個對焦比較好解決;但是如果在開放式的空間中,我怎么做自動對焦、自動發現,這是需要解決的問題。一些階段性成果還不太方便和大家分享,因為還不成熟。 第三個是算法本身。處理的時間、準確度等方面也需要不斷完善。
李教授,蟲害的識別通過監測點設備識別技術較為成熟,目前是怎樣通過點監測實現面的監測預警,做到未雨綢繆?
因為多個點其實已經可以反映整個果園的情況了。按照防治要求,不是果園大面積發生了才做防治,很多時候我們要知道的信息就是是否發生。像橘小實蠅是遷飛性的,一旦果園的某個點或多個點都能夠檢測到橘小實蠅,說明整個果園肯定就有了,這個時候就要做防治了。 包括柑橘木虱也是,一棵樹或者幾棵樹都發現了,實際上能夠代表整個果園有防治的需求,不能存在僥幸心理“這個點有另外一些點沒有”。因為這是代表性的點。就好比國內如果出現一例新冠,整個國家都要重視,不能說“這個地方有,其他地方沒有”。不能存在僥幸心理。
如果有問題想繼續與李震教授交流,歡迎在評論區下方留言或者發送郵件交流。 李震教授郵箱: 23306782@qq.com
END