2.2 - Créer une ressource de données.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Créer une ressource de données de fichier URI\n",
    "Une ressource de données de fichier URI pointe vers un fichier spécifique. Azure Machine Learning stocke uniquement le chemin d’accès au fichier, ce qui signifie que vous pouvez pointer vers n’importe quel type de fichier. Lorsque vous utilisez la ressource de données, vous spécifiez la façon dont vous souhaitez lire les données, ce qui dépend du type de données auquel vous vous connectez.\n",
    "\n",
    "Les chemins d’accès pris en charge que vous pouvez utiliser lors de la création d’une ressource de données de fichier URI sont les suivants :\n",
    "\n",
    "Local : ./<path>\n",
    "Stockage Blob Azure : wasbs://<account_name>.blob.core.windows.net/<container_name>/<folder>/<file>\n",
    "Azure Data Lake Storage (Gen 2) : abfss://<file_system>@<account_name>.dfs.core.windows.net/<folder>/<file>\n",
    "Magasin de données : azureml://datastores/<datastore_name>/paths/<folder>/<file>"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from azure.ai.ml.entities import Data\n",
    "from azure.ai.ml.constants import AssetTypes\n",
    "\n",
    "my_path = '<supported-path>'\n",
    "\n",
    "my_data = Data(\n",
    "    path=my_path,\n",
    "    type=AssetTypes.URI_FILE,\n",
    "    description=\"<description>\",\n",
    "    name=\"<name>\",\n",
    "    version=\"<version>\"\n",
    ")\n",
    "\n",
    "ml_client.data.create_or_update(my_data)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Lorsque vous analysez la ressource de données de fichier URI en tant qu’entrée dans un travail Azure Machine Learning, vous devez d’abord lire les données avant de pouvoir les utiliser.\n",
    "\n",
    "Imaginez que vous créez un script Python que vous souhaitez exécuter en tant que travail et que vous définissez la valeur du paramètre d’entrée input_data comme étant la ressource de données de fichier URI (qui pointe vers un fichier CSV). Vous pouvez lire les données en incluant le code suivant dans votre script Python :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import argparse\n",
    "import pandas as pd\n",
    "\n",
    "parser = argparse.ArgumentParser()\n",
    "parser.add_argument(\"--input_data\", type=str)\n",
    "args = parser.parse_args()\n",
    "\n",
    "df = pd.read_csv(args.input_data)\n",
    "print(df.head(10))"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Si votre ressource de données de fichier URI pointe vers un autre type de fichier, vous devez utiliser le code Python approprié pour lire les données. Par exemple, si au lieu de fichiers CSV, vous utilisez des fichiers JSON, vous devriez plutôt utiliser pd.read_json()."
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Créer une ressource de données de dossier URI\n",
    "Une ressource de données de `dossier URI`pointe vers un dossier spécifique. Elle fonctionne de la même manière qu’une ressource de données de fichier URI et prend en charge les mêmes chemins.\n",
    "\n",
    "Pour créer une ressource de données de dossier URI avec le SDK Python, vous pouvez utiliser le code suivant"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from azure.ai.ml.entities import Data\n",
    "from azure.ai.ml.constants import AssetTypes\n",
    "\n",
    "my_path = '<supported-path>'\n",
    "\n",
    "my_data = Data(\n",
    "    path=my_path,\n",
    "    type=AssetTypes.URI_FOLDER,\n",
    "    description=\"<description>\",\n",
    "    name=\"<name>\",\n",
    "    version='<version>'\n",
    ")\n",
    "\n",
    "ml_client.data.create_or_update(my_data)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Lorsque vous analysez la ressource de données de dossier URI en tant qu’entrée dans un travail Azure Machine Learning, vous devez d’abord lire les données avant de pouvoir les utiliser.\n",
    "\n",
    "Imaginez que vous créez un script Python que vous souhaitez exécuter en tant que travail et que vous définissez la valeur du paramètre d’entrée input_data comme étant la ressource de données de dossier URI (qui pointe vers plusieurs fichiers CSV). Vous pouvez vouloir lire tous les fichiers CSV dans le dossier et les concaténer, ce que vous pouvez faire en incluant le code suivant dans votre script Python :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import argparse\n",
    "import glob\n",
    "import pandas as pd\n",
    "\n",
    "parser = argparse.ArgumentParser()\n",
    "parser.add_argument(\"--input_data\", type=str)\n",
    "args = parser.parse_args()\n",
    "\n",
    "data_path = args.input_data\n",
    "all_files = glob.glob(data_path + \"/*.csv\")\n",
    "df = pd.concat((pd.read_csv(f) for f in all_files), sort=False)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Créer une ressource de données MLTable\n",
    "Une ressource de `données MLTable`vous permet de pointer vers des données tabulaires. Lorsque vous créez une ressource de données MLTable, vous spécifiez la définition du schéma pour lire les données. Comme le schéma est déjà défini et stocké avec la ressource de données, vous n’avez pas besoin de spécifier comment lire les données lorsque vous l’utilisez.\n",
    "\n",
    "Par conséquent, utilisez une ressource de données MLTable lorsque le schéma de vos données est complexe ou change fréquemment. Au lieu de modifier la façon de lire les données dans chaque script qui utilise les données, il vous suffit de les modifier dans la ressource de données elle-même.\n",
    "\n",
    "Lorsque vous définissez le schéma durant la création d’une ressource de données MLTable, vous pouvez également choisir de spécifier uniquement un sous-ensemble des données.\n",
    "\n",
    "Pour certaines fonctionnalités d’Azure Machine Learning, comme le Machine Learning automatisé, vous devez utiliser une ressource de données MLTable, car Azure Machine Learning doit savoir comment lire les données.\n",
    "\n",
    "Pour définir le schéma, il est recommandé d’inclure un fichier MLTable dans le même dossier que les données que vous souhaitez lire. Le fichier MLTable inclut le chemin d’accès pointant vers les données que vous souhaitez lire et la façon de lire les données :\n",
    "```yaml\n",
    "type: mltable\n",
    "\n",
    "paths:\n",
    "  - pattern: ./*.txt\n",
    "transformations:\n",
    "  - read_delimited:\n",
    "      delimiter: ','\n",
    "      encoding: ascii\n",
    "      header: all_files_same_headers\n",
    "```"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "\n",
    "Pour créer une ressource de données MLTable avec le SDK Python, vous pouvez utiliser le code suivant :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "from azure.ai.ml.entities import Data\n",
    "from azure.ai.ml.constants import AssetTypes\n",
    "\n",
    "my_path = '<path-including-mltable-file>'\n",
    "\n",
    "my_data = Data(\n",
    "    path=my_path,\n",
    "    type=AssetTypes.MLTABLE,\n",
    "    description=\"<description>\",\n",
    "    name=\"<name>\",\n",
    "    version='<version>'\n",
    ")\n",
    "\n",
    "ml_client.data.create_or_update(my_data)"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Lorsque vous analysez une ressource de données MLTable en tant qu’entrée dans un script Python que vous souhaitez exécuter comme travail Azure Machine Learning, vous pouvez inclure le code suivant pour lire les données :"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "import argparse\n",
    "import mltable\n",
    "import pandas\n",
    "\n",
    "parser = argparse.ArgumentParser()\n",
    "parser.add_argument(\"--input_data\", type=str)\n",
    "args = parser.parse_args()\n",
    "\n",
    "tbl = mltable.load(args.input_data)\n",
    "df = tbl.to_pandas_dataframe()\n",
    "\n",
    "print(df.head(10))\n"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Une approche courante consiste à convertir les `données tabulaires en trame de données Pandas`. Cependant, vous pouvez également convertir les `données en trame de données Spark`si cela convient mieux à votre charge de travail."
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Exercice - Rendre les données disponibles\n",
    "\n",
    "À présent, vous avez la possibilité d’explorer comment utiliser des données.\n",
    "\n",
    "Dans cet exercice, vous allez :\n",
    "\n",
    "- Explorez les magasins de données par défaut.\n",
    "- Créez une banque de données.\n",
    "- Créez des ressources de données.\n",
    "\n",
    "Instructions\n",
    "Suivez ces instructions pour effectuer l’exercice :\n",
    "\n",
    "Consultez le référentiel d’exercices sur https://microsoftlearning.github.io/mslearn-azure-ml/.\n",
    "Faites l’exercice Rendre les données disponibles dans Azure Machine Learning.\n",
    "\n",
    "```python\n",
    " pip uninstall azure-ai-ml\n",
    " pip install azure-ai-ml\n",
    " pip install mltable\n",
    "```"
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "base",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}