Chapter 66
通过从 Hugging Face 下载数据集及相关图片生成图像数据集
通过从 Hugging Face 下载数据集及相关图片生成图像数据集
概述
该脚本通过下载所需图片，过滤掉下载失败的行，并将数据集保存为 CSV 文件，从而准备机器学习所需的数据集。
前提条件
运行此脚本前，请确保已安装以下库：Pandas、Datasets、requests、PIL 和 io。你还需要将第 2 行的 'Insert_Your_Dataset' 替换为你在 Hugging Face 上的数据集名称。
所需库：
import os
import pandas as pd
from datasets import load_dataset
import requests
from PIL import Image
from io import BytesIO功能说明
脚本执行以下步骤：
- 使用
load_dataset()函数从 Hugging Face 下载数据集。 - 使用
to_pandas()方法将 Hugging Face 数据集转换为 Pandas DataFrame，便于操作。 - 创建目录以保存数据集和图片。
- 遍历 DataFrame 中的每一行，使用自定义的
download_image()函数下载图片，过滤掉下载失败的行，并将成功的行添加到新的 DataFramefiltered_rows中。 - 使用过滤后的行创建新的 DataFrame，并将其保存为 CSV 文件。
- 打印提示信息，告知数据集和图片的保存位置。
自定义函数
download_image() 函数从 URL 下载图片并使用 Pillow 图像库（PIL）和 io 模块将其保存到本地。若图片成功下载，返回 True；否则返回 False。当请求失败时，函数会抛出带有错误信息的异常。
工作原理
download_image 函数接受两个参数：image_url，即要下载的图片 URL；save_path，即下载后图片的保存路径。
函数的工作流程如下：
首先，使用 requests.get 方法对 image_url 发起 GET 请求，获取图片数据。
response.raise_for_status() 用于检查请求是否成功。如果响应状态码表示错误（例如 404 - 未找到），则会抛出异常。这样确保只有在请求成功时才继续下载图片。
接着，将图片数据传递给 PIL（Python Imaging Library）模块的 Image.open 方法，创建一个 Image 对象。
image.save(save_path) 将图片保存到指定的 save_path，该路径应包含文件名和扩展名。
最后，函数返回 True，表示图片已成功下载并保存。如果过程中发生异常，函数会捕获异常，打印错误信息提示下载失败，并返回 False。
该函数适用于从 URL 下载图片并保存到本地，能够处理下载过程中的潜在错误，并反馈下载是否成功。
需要注意的是，requests 库用于发起 HTTP 请求，PIL 库用于处理图片，BytesIO 类用于将图片数据作为字节流处理。
总结
该脚本提供了一种便捷方式，通过下载所需图片，过滤下载失败的行，并将数据集保存为 CSV 文件，来准备机器学习所需的数据集。
示例脚本
import os
import pandas as pd
from datasets import load_dataset
import requests
from PIL import Image
from io import BytesIO
def download_image(image_url, save_path):
try:
response = requests.get(image_url)
response.raise_for_status() # Check if the request was successful
image = Image.open(BytesIO(response.content))
image.save(save_path)
return True
except Exception as e:
print(f"Failed to download {image_url}: {e}")
return False
# Download the dataset from Hugging Face
dataset = load_dataset('Insert_Your_Dataset')
# Convert the Hugging Face dataset to a Pandas DataFrame
df = dataset['train'].to_pandas()
# Create directories to save the dataset and images
dataset_dir = './data/DataSetName'
images_dir = os.path.join(dataset_dir, 'images')
os.makedirs(images_dir, exist_ok=True)
# Filter out rows where image download fails
filtered_rows = []
for idx, row in df.iterrows():
image_url = row['imageurl']
image_name = f"{row['product_code']}.jpg"
image_path = os.path.join(images_dir, image_name)
if download_image(image_url, image_path):
row['local_image_path'] = image_path
filtered_rows.append(row)
# Create a new DataFrame with the filtered rows
filtered_df = pd.DataFrame(filtered_rows)
# Save the updated dataset to disk
dataset_path = os.path.join(dataset_dir, 'Dataset.csv')
filtered_df.to_csv(dataset_path, index=False)
print(f"Dataset and images saved to {dataset_dir}")示例代码下载
示例数据集
免责声明：
本文件使用 AI 翻译服务 Co-op Translator 进行翻译。虽然我们力求准确，但请注意，自动翻译可能包含错误或不准确之处。原始文件的母语版本应被视为权威来源。对于重要信息，建议采用专业人工翻译。对于因使用本翻译而产生的任何误解或误释，我们不承担任何责任。