Chlorophyll content for millet leaf using hyperspectral imaging and an attention-convolutional neural network / Estimativa do teor de clorofila para folhas de milheto usando imagens hiperespectrais e uma rede neural atenção-convolucional

Chlorophyll is a major factor affecting photosynthesis; and consequently, crop growth and yield. In this study, we devised a chlorophyll-content detection model for millet leaves in different stages of growth based on hyperspectral data. The hyperspectral images of millet leaves were obtained under a wavelength range of 380-1000 nm using a hyperspectral imager. Threshold segmentation was performed with near-infrared (NIR) reflectance and normalized difference vegetation index (NDVI) to intelligently acquire the regions of interest (ROI). Furthermore, raw spectral data were preprocessed using multivariate scatter correction (MSC). A correlation coefficient-successive projections algorithm (CC-SPA) was used to extract the characteristic wavelengths, and the characteristic parameters were extracted based on the spectral and image information. A partial least squares regression (PLSR) prediction model was established based on the single characteristic parameter and multi-characteristic parameter fusion. The determination coefficient (Rv 2) and the root-mean-square error (RMSEv) of the validation set for the multi-characteristic parameter fusion model were reported to be 0.813 and 1.766, respectively, which are higher than those obtained by the single characteristic parameter model. Based on the multi-characteristic parameter fusion, an attention-convolutional neural network (attention-CNN) (Rv 2 = 0.839, RMSEv = 1.451, RPD = 2.355) was established, which is more effective than the PLSR (Rv 2 = 0.813, RMSEv = 1.766, RPD = 2.167) and least squares support vector machine (LS-SVM) models (Rv 2 = 0.806, RMSEv = 1.576, RPD = 2.061). These results indicated that the combination of hyperspectral imaging and attention-CNN is beneficial to the application of nutrient element monitoring of crops.(AU)

A clorofila é um fator importante que afeta a fotossíntese e, consequentemente, o crescimento e o rendimento das culturas. Neste estudo, um modelo de detecção de conteúdo de clorofila é construído para folhas de milheto em diferentes estágios de crescimento, com base em dados hiperespectrais. As imagens hiperespectrais dos diferentes estágios de crescimento das folhas de milheto foram obtidas para 380-1000 nm, utilizando um gerador de imagens hiperespectrais. Uma segmentação de limiar foi realizada com refletância no infravermelho próximo (NIR) e índice de vegetação com diferença normalizada (NDVI) para adquirir de forma inteligente as regiões de interesse (ROI). Além disso, os dados espectrais brutos foram pré-processados usando o método de correção de dispersão multivariada (MSC). Um algoritmo de projeção de coeficiente de correlação sucessivo (CC-SPA) foi utilizado para extrair os comprimentos de onda característicos, e os parâmetros característicos foram extraídos com base nas informações espectrais e de imagem. O modelo de previsão de regressão parcial dos mínimos quadrados (PLSR) foi estabelecido com base nos parâmetros de característica única e na fusão de parâmetros de característica múltipla. O coeficiente de determinação (Rv2) e o erro quadrático médio da raiz (RMSEv) do conjunto de validação para o modelo de fusão de parâmetros com várias características foram obtidos como 0,813 e 1,766, sendo melhores do que os do modelo de parâmetro de característica única. Com base na fusão de parâmetros com várias características, foi estabelecida uma rede neural atenção-convolucional (atenção-CNN) (Rv2 = 0,839, RMSEv = 1,451, RPD = 2,355) mais eficaz que o PLSR (Rv2 = 0,813, RMSEv = 1,766, RPD = 2,167) e mínimos quadrados que suportam modelos de máquina de vetores (LS-SVM) (Rv2 = 0,806, RMSEv = 1,576, RPD = 2,061)....(AU)

Chlorophyll content for millet leaf using hyperspectral imaging and an attention-convolutional neural network / Estimativa do teor de clorofila para folhas de milheto usando imagens hiperespectrais e uma rede neural atenção-convolucional

ABSTRACT: Chlorophyll is a major factor affecting photosynthesis; and consequently, crop growth and yield. In this study, we devised a chlorophyll-content detection model for millet leaves in different stages of growth based on hyperspectral data. The hyperspectral images of millet leaves were obtained under a wavelength range of 380-1000 nm using a hyperspectral imager. Threshold segmentation was performed with near-infrared (NIR) reflectance and normalized difference vegetation index (NDVI) to intelligently acquire the regions of interest (ROI). Furthermore, raw spectral data were preprocessed using multivariate scatter correction (MSC). A correlation coefficient-successive projections algorithm (CC-SPA) was used to extract the characteristic wavelengths, and the characteristic parameters were extracted based on the spectral and image information. A partial least squares regression (PLSR) prediction model was established based on the single characteristic parameter and multi-characteristic parameter fusion. The determination coefficient (Rv 2) and the root-mean-square error (RMSEv) of the validation set for the multi-characteristic parameter fusion model were reported to be 0.813 and 1.766, respectively, which are higher than those obtained by the single characteristic parameter model. Based on the multi-characteristic parameter fusion, an attention-convolutional neural network (attention-CNN) (Rv 2 = 0.839, RMSEv = 1.451, RPD = 2.355) was established, which is more effective than the PLSR (Rv 2 = 0.813, RMSEv = 1.766, RPD = 2.167) and least squares support vector machine (LS-SVM) models (Rv 2 = 0.806, RMSEv = 1.576, RPD = 2.061). These results indicated that the combination of hyperspectral imaging and attention-CNN is beneficial to the application of nutrient element monitoring of crops.

RESUMO: A clorofila é um fator importante que afeta a fotossíntese e, consequentemente, o crescimento e o rendimento das culturas. Neste estudo, um modelo de detecção de conteúdo de clorofila é construído para folhas de milheto em diferentes estágios de crescimento, com base em dados hiperespectrais. As imagens hiperespectrais dos diferentes estágios de crescimento das folhas de milheto foram obtidas para 380-1000 nm, utilizando um gerador de imagens hiperespectrais. Uma segmentação de limiar foi realizada com refletância no infravermelho próximo (NIR) e índice de vegetação com diferença normalizada (NDVI) para adquirir de forma inteligente as regiões de interesse (ROI). Além disso, os dados espectrais brutos foram pré-processados usando o método de correção de dispersão multivariada (MSC). Um algoritmo de projeção de coeficiente de correlação sucessivo (CC-SPA) foi utilizado para extrair os comprimentos de onda característicos, e os parâmetros característicos foram extraídos com base nas informações espectrais e de imagem. O modelo de previsão de regressão parcial dos mínimos quadrados (PLSR) foi estabelecido com base nos parâmetros de característica única e na fusão de parâmetros de característica múltipla. O coeficiente de determinação (Rv2) e o erro quadrático médio da raiz (RMSEv) do conjunto de validação para o modelo de fusão de parâmetros com várias características foram obtidos como 0,813 e 1,766, sendo melhores do que os do modelo de parâmetro de característica única. Com base na fusão de parâmetros com várias características, foi estabelecida uma rede neural atenção-convolucional (atenção-CNN) (Rv2 = 0,839, RMSEv = 1,451, RPD = 2,355) mais eficaz que o PLSR (Rv2 = 0,813, RMSEv = 1,766, RPD = 2,167) e mínimos quadrados que suportam modelos de máquina de vetores (LS-SVM) (Rv2 = 0,806, RMSEv = 1,576, RPD = 2,061). Estes resultados indicam que o modelo atenção-CNN atinge uma previsão efetiva do teor de clorofila nas folhas de milheto usando os dados hiperespectrais. Além disso, esta pesquisa demonstra que a combinação de imagens hiperespectrais e a atenção-CNN se mostra benéfica para a aplicação do monitoramento dos elementos nutricionais das culturas.