• 问答
  • 技术
  • 实践
  • 资源
开挂!将 FiftyOne 数据集加载到 PyTorch Lightning Flash 上训练任务,也太高效了
技术讨论

作者丨Eric Hofesmann

译者 | Sambodhi

编辑 | 极市平台

本文最初发表于 Towards Data Science 博客,经原作者 Eric Hofesmann 授权,InfoQ 中文站翻译并分享。

导读:本文将对 PyTorch Lightning Flash 与数据集可视化和模型分析工具 FiftyOne 之间的集成进行了深入研究,经本文中几个简单的代码块,便可高效执行端到端的工作流,加载数据集、训练模型、以及可视化分析预测......

最近几年,开源工具在满足端到端平台的许多需求方面取得了很大进步。从模型架构开发到数据集管护(Dataset curation),再到模型训练和部署,它们都可以扮演一个不可思议的角色。有了充分的挖掘,你就能发现一个开源的工具,可以支持大量的数据和模型生命周期。工具间的紧密集成是实现近乎无缝工作流的最好方法。本文将对 PyTorch Lightning Flash 与数据集可视化和模型分析工具 FiftyOne 之间的集成进行了深入研究。

Lightning Flash 是一个在 PyTorch Lighting 基础上构建的新框架,它提供了快速原型、基线、微调和深度学习解决业务和科学问题的任务集合。尽管 Flash 很容易上手,但是不管你有多少深度学习经验,你都可以通过 Lightning 和 PyTorch 修改已有的任务来寻找适合你的抽象层次。为更快地推进,Flash 的代码是 可扩展的,内建支持任何硬件的分布式训练和推理。

Flash 可以让你的第一个模型变得非常简单,但是要继续改进,你需要知道你的模型的性能和改进方法。FiftyOne 是一个开源工具,由 Voxel51 开发,用来建立高质量数据集和计算机视觉模型。它提供了优化数据集分析管道的构件,允许你亲自操作数据,包括可视化复杂的标签、评估模型、探索感兴趣的场景、确定失败模式、查找注释错误、管护训练数据集等。有了 Flash+ FiftyOne,你就可以加载资料集,训练模型,然后分析下列所有计算机视觉任务的结果:

  • 图像分类

  • 图像目标检测

  • 图像语义分割

  • 视频分类

  • 嵌入式可视化

概述

Flash 和 FiftyOne 之间的紧密集成允许你执行端到端的工作流,加载数据集,训练它的模型,以及可视化 / 分析它的预测,所有这些都只需要几个简单的代码块。

将 FiftyOne 数据集加载到 Flash

尽管使用 FiftyOne 开发数据集一直都很容易,但是与 PyTorch Lightning Flash 集成后,你就可以将这些数据加载到 Flash 中,直接完成训练任务。

from flash.image import ImageClassificationData
import fiftyone as fo
train_dataset = fo.Dataset.from_dir(
"/path/to/train",
fo.types.ImageClassificationDirectoryTree,
label_field="ground_truth",
)
val_dataset = fo.Dataset.from_dir(
"/path/to/val",
fo.types.ImageClassificationDirectoryTree,
label_field="ground_truth",
)
datamodule = ImageClassificationData.from_fiftyone(
train_dataset=train_dataset,
val_dataset=val_dataset,
label_field="ground_truth",
)

训练 Flash 任务

Flash 提供了你需要的工具,你可以用尽可能少的代码抓取任务的模型,然后从数据上进行微调,最重要的是,不需要成为该领域的专家。

import flash
from flash.core.data.utils import download_data
from flash.image import ImageClassificationData, ImageClassifier
# 1. Download the data
download_data("https://pl-flash-data.s3.amazonaws.com/hymenoptera_data.zip", 'data/')
# 2. Load the data
datamodule = ImageClassificationData.from_folders(
train_folder="data/hymenoptera_data/train/",
val_folder="data/hymenoptera_data/val/",
test_folder="data/hymenoptera_data/test/",
)
# 3. Build the model
model = ImageClassifier(num_classes=datamodule.num_classes, backbone="resnet18")
# 4. Create the trainer. Run once on data
trainer = flash.Trainer(max_epochs=1)
# 5. Finetune the model
trainer.finetune(model, datamodule=datamodule, strategy="freeze")
# 6. Save it!
trainer.save_checkpoint("image_classification_model.pt")

使用 FiftyOne 可视化 Flash 预测

随着现代数据集的复杂性和规模的增加,图像和视频数据的可视化一直是一个挑战。FiftyOne 的设计目的是提供对数据集和标签的用户友好的视图 (包括注释和模型预测),现在 Flash 模型可以通过一行额外的代码访问这些数据集和标签。

from flash import Trainer
from flash.core.classification import FiftyOneLabels
from flash.core.integrations.fiftyone import visualize
from flash.video import VideoClassificationData, VideoClassifier
classifier = VideoClassifier.load_from_checkpoint(...)
# Option 1: Generate predictions using a Trainer and datamodule
datamodule = VideoClassificationData.from_folders(
predict_folder="/path/to/folder",
...
)
trainer = Trainer()
classifier.serializer = FiftyOneLabels(return_filepath=True)
predictions = trainer.predict(classifier, datamodule=datamodule)
session = visualize(predictions) # Launch FiftyOne
# Option 2: Generate predictions from model using filepaths
filepaths = ["list", "of", "filepaths"]
predictions = classifier.predict(filepaths)
classifier.serializer = FiftyOneLabels()
session = visualize(predictions, filepaths=filepaths) # Launch FiftyOne

用 FiftyOne 进行可视化 Flash 视频分类预测

示例工作流

安装

要跟上本文的示例,你需要安装相关的软件包。首先,你需要安装 PyTorch Lightning Flash 和 FiftyOne:

pip install fiftyone lightning-flash

对于嵌入可视化工作流,你还需要安装降维软件包 umap-learn:

pip install umap-learn

通用工作流

使用这些工具的大多数模型开发工作流遵循相同的通用结构:

  • 将数据集加载到 FiftyOne。

  • 从数据集创建 Flash数据模块。

  • 对任务进行微调。

  • 从模型生成预测。

  • 向数据集中添加预测结果并 将其可视化

图像目标检测

本节展示了使用 PyTorch Lightning Flash 和 FiftyOne 之间的这种集成,以训练和评估一个图像目标检测模型的具体示例。

from itertools import chain
import fiftyone as fo
import fiftyone.zoo as foz
from flash import Trainer
from flash.image import ObjectDetectionData, ObjectDetector
from flash.image.detection.serialization import FiftyOneDetectionLabels
# 1. Load your FiftyOne dataset
# Here we use views into one dataset, but you can also create a
# different dataset for each split
dataset = foz.load_zoo_dataset("quickstart", max_samples=40)
train_dataset = dataset.shuffle(seed=51)[:20]
test_dataset = dataset.shuffle(seed=51)[20:25]
val_dataset = dataset.shuffle(seed=51)[25:30]
predict_dataset = dataset.shuffle(seed=51)[30:40]
# 2. Load the Datamodule
datamodule = ObjectDetectionData.from_fiftyone(
train_dataset = train_dataset,
test_dataset = test_dataset,
val_dataset = val_dataset,
predict_dataset = predict_dataset,
label_field = "ground_truth",
batch_size=4,
num_workers=4,
)
# 3. Build the model
model = ObjectDetector(
model="retinanet",
num_classes=datamodule.num_classes,
serializer=FiftyOneDetectionLabels(),
)
# 4. Create the trainer
trainer = Trainer(max_epochs=1, limit_train_batches=1, limit_val_batches=1)
# 5. Finetune the model
trainer.finetune(model, datamodule=datamodule)
# 6. Save it!
trainer.save_checkpoint("object_detection_model.pt")
# 7. Generate predictions
model = ObjectDetector.load_from_checkpoint(
"https://flash-weights.s3.amazonaws.com/object_detection_model.pt"
)
model.serializer = FiftyOneDetectionLabels()
predictions = trainer.predict(model, datamodule=datamodule)
predictions = list(chain.from_iterable(predictions)) # flatten batches
# 8. Add predictions to dataset and analyze
predict_dataset.set_values("flash_predictions", predictions)
session = fo.launch_app(view=predict_dataset)

在 FiftyOne 中可视化的 Flash 目标检测预测

在此之后,你可以将预测返回到数据集中,并且可以运行评估来 生成混淆矩阵、PR 曲线,以及 准确率和 mAP 等指标。尤其是,你可以 识别并查看个别的真/假正类/负类结果),让你了解你的模型在哪些方面表现良好,哪些方面表现不佳。基于常见失败模式改进模型是开发更好模型的更加可靠的方法。

FiftyOne 中的交互式混淆矩阵

嵌入式可视化

这个工作流的独特之处在于,它采用预训练模型,并使用它们来生成数据集中的每一张图片的嵌入向量。然后,你就可以 在低维空间中计算这些嵌入的可视化,以查找数据集群。这一功能可以为硬样本挖掘、数据注释、注释样本推荐等提供有价值的发现。

有了“交互图”的概念,你可以点击或圈出这些嵌入的区域,并自动更新你的会话,查看和 标记相应的示例。

其他任务

你可以在这里查看其他任务的类似工作流,例如 分类和分割。

总结

开源社区多年来的发展令人瞩目,特别是在机器学习领域。尽管单独的工具可以很好地解决一个特定的问题,但是它们之间的紧密结合形成了一个强大的工作流。PyTorch Lightning Flash 与 FiftyOne 之间的新集成为开发数据集、训练模型和分析结果提供了一种新的简便方法。

作者介绍:

Eric Hofesmann,Voxel51 机器学习工程师,密歇根大学(University of Michigan)计算机科学硕士。

原文链接:

https://towardsdatascience.com/open-source-tools-for-fast-computer-vision-model-building-b39755aab490

  • 0
  • 0
  • 158
收藏
暂无评论