使用生成對抗模型創建基于田間的玉米穗數據方法TasselGAN簡介
基于田間的植物表型分析是在植物的整個生長周期和自然生長環境中研究所需植物性狀的過程。對所需性狀的觀察會使用多種傳感器（如相機等）來進行，并且需要處理的數據量可能會非常大。多種成像技術和機器學習算法的出現，已使基于圖像的高通量表型分析算法得以發展。然而，不受控的環境變量給此類方法帶來了巨大的挑戰。
根據國際植物表型組織進行的植物表型調查，結果顯示對田間高通量表型系統的需求有所增加，且對這類系統感興趣的主要是那些關于小麥和玉米的研究。玉米作為一種高產作物，為了研究如何提高產量及產量相關性狀，人們已進行了大量的表型鑒定。穗（玉米的雄花）結構是玉米植株的重要特征之一，在授粉過程中發揮著重要的作用。但是，可用于高通量機器學習表型分析的數據集仍存在局限性，不是基于實驗室環境就是缺少細節化的玉米穗信息。由于機器學習算法的優良性能依賴于一個全面的訓練數據集，因此上述的數據集局限性是一個值得思考的問題。
為了解決訓練數據有限的問題，一些數據增強技術和其他方法（如弱監督和基于主動學習的算法）已得到了使用。對于增加圖像數據，目前常用的方法是采用傳統數據增強技術（如幾何變換、改變顏色和亮度等），然而這些方法可能只能夠使得訓練數據樣本產生很有限的變化。另外，使用生成式模型學習訓練數據的分布，能夠創建與訓練數據相似卻又前所未見的新樣本。
2020年8月，印度理工學院計算機與電子工程學院的 Snehal Shete 等在Plant Phenomics發表了題為TasselGAN: An Application of the Generative Adversarial Model for Creating Field-Based Maize Tassel Data的研究論文。該文章中，論文作者對生成式方法尤其是生成式對抗網絡(GAN)模型(Figure 1)的演變和評價進行了研究，指出生成式網絡目前已被用在許多高級的主動學習方法中。
目前，已有一些研究使用了弱監督或者基于主動學習的方法，還進行了合成植物數據的工作，例如：在無人機拍攝的圖像中使用弱監督方法對高粱頂端進行檢測和計數；或者使用基于條件GAN的方法，以葉片數量為條件生成擬南芥數據樣本等等。
為了進一步研究合成植物數據，并將其擴展到田間條件下更復雜的表型任務，該論文提出了TasselGAN，一種基于田間的玉米穗數據集生成方法。使用該方法生成的數據集由以天空為背景的玉米穗圖像組成，每張圖像中包含一個玉米穗。前景玉米穗和背景天空數據分別由各自的深度卷積生成式對抗網絡(DC-GAN)變體(Figure 3)進行訓練(Figure 2, Figure 5)并生成(Figure 7)，之后合并在一起形成輸出圖像(Figure 6(d))。同時，可用于分割生成數據中的玉米穗的蒙版(Figure 6(b))也會被創建。此外，該論文還提供了所生成數據的定量(Figure 17)和視覺質量(Figure 15, Figure 16, Table 1)評估結果。
Figure 1: Basic block diagram of the generative adversarial network (GAN).
Figure 2: Maize tassel training dataset samples.
Figure 3: Modified generator architecture for maize tassel generation.
Figure 4: Training data for sky patch generation.
Figure 5: Steps for synthetic generation of field-based maize tassel data.
Figure 6: Generation results.
Figure 7: Experimental set-up of real vs. generated image identification.
Figure 8: Examples from image similarity experiment.
Figure 9: Width vs. height scatter plot showing training and generated tassel data.