new_train = np.asarray(new_train)
# CLEANED IMAGES
for i in range(8):
plt.subplot(2,4,i+1)
plt.imshow(new_train[i])
将标签转换为数字
标签是字符串,这些很难处理。因此,我们将这些标签转换为二元分类。
分类可以由 12 个数字组成的数组表示,这些数字将遵循以下条件:
如果未检测到物种,则为 0。
1 如果检测到该物种。
示例:如果检测到 Blackgrass,则数组将为 = [1,0,0,0,0,0,0,0,0,0,0,0]
labels = preprocessing.LabelEncoder()
labels.fit(traininglabels[0])
print('Classes'+str(labels.classes_))
encodedlabels = labels.transform(traininglabels[0])
clearalllabels = np_utils.to_categorical(encodedlabels)
classes = clearalllabels.shape[1]
print(str(classes))
traininglabels[0].value_counts().plot(kind='pie')
定义我们的模型并拆分数据集
在这一步中,我们将拆分训练数据集进行验证。我们正在使用 scikit-learn 中的 train_test_split() 函数。这里我们拆分数据集,保持 test_size=0.1。这意味着总数据的 10% 用作测试数据,其余 90% 用作训练数据。检查以下代码以拆分数据集。new_train = new_train/255
x_train,x_test,y_train,y_test = train_test_split(new_train,clearalllabels,test_size=0.1,random_state=seed,stratify=clearalllabels)
防止过拟合
过拟合是机器学习中的一个问题,我们的模型在训练数据上表现非常好,但在测试数据上表现不佳。在深度神经网络过度拟合的深度学习中,过度拟合的问题很严重。过度拟合的问题严重影响了我们的最终结果。为了摆脱它,我们需要减少它。在这个问题中,我们使用 ImageDataGenerator() 函数随机改变图像的特征并提供数据的随机性。、为了避免过拟合,我们需要一个函数。此函数随机改变图像特性。检查以下代码以了解如何减少过度拟合generator = ImageDataGenerator(rotation_range = 180,zoom_range = 0.1,width_shift_range = 0.1,height_shift_range = 0.1,horizontal_flip = True,vertical_flip = True)
generator.fit(x_train)
定义卷积神经网络
我们的数据集由图像组成,因此我们不能使用线性回归、逻辑回归、决策树等机器学习算法。我们需要一个用于图像的深度神经网络。在这个问题中,我们将使用卷积神经网络。该神经网络将图像作为输入,并将提供最终输出作为物种值。我们随机使用了 4 个卷积层和 3 个全连接层。此外,我们使用了多个函数,如 Sequential()、Conv2D()、Batch Normalization、Max Pooling、Dropout 和 Flatting。
我们使用卷积神经网络进行训练。
该模型有 4 个卷积层。
该模型有 3 个全连接层。
np.random.seed(seed)
model = Sequential()
model.add(Conv2D(filters=64, kernel_size=(5, 5), input_shape=(scale, scale, 3), activation='relu'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(filters=64, kernel_size=(5, 5), activation='relu'))
model.add(MaxPooling2D((2, 2)))
model.add(BatchNormalization(axis=3))
model.add(Dropout(0.1))
model.add(Conv2D(filters=128, kernel_size=(5, 5), activation='relu'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(filters=128, kernel_size=(5, 5), activation='relu'))
model.add(MaxPooling2D((2, 2)))
model.add(BatchNormalization(axis=3))
model.add(Dropout(0.1))
model.add(Conv2D(filters=256, kernel_size=(5, 5), activation='relu'))
model.add(BatchNormalization(axis=3))
model.add(Conv2D(filters=256, kernel_size=(5, 5), activation='relu'))
model.add(MaxPooling2D((2, 2)))
model.add(BatchNormalization(axis=3))
model.add(Dropout(0.1))
model.add(Flatten())
model.add(Dense(256, activation='relu'))
model.add(BatchNormalization())
model.add(Dropout(0.5))
model.add(Dense(256, activation='relu'))
model.add(BatchNormalization())
model.add(Dropout(0.5))
model.add(Dense(classes, activation='softmax'))
model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])
model.summary()