Medium_Faker_Tutorial.ipynb

{
  "nbformat": 4,
  "nbformat_minor": 0,
  "metadata": {
    "colab": {
      "name": "Medium_Faker_Tutorial.ipynb",
      "provenance": []
    },
    "kernelspec": {
      "name": "python3",
      "display_name": "Python 3"
    },
    "language_info": {
      "name": "python"
    }
  },
  "cells": [
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "PSAHsGKQJ3W1"
      },
      "source": [
        "#Install Faker Library"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "id": "6P3dS4j_eWtL",
        "outputId": "6e2cc4a9-1005-49b9-caec-d4bef3c0ed3d"
      },
      "source": [
        "# See https://faker.readthedocs.io/en/stable/providers/faker.providers.company.html for examples\n",
        "!pip install Faker\n",
        "from faker import Faker"
      ],
      "execution_count": 1,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "Collecting Faker\n",
            "  Downloading Faker-8.11.0-py3-none-any.whl (1.2 MB)\n",
            "\u001b[?25l\r\u001b[K     |▎                               | 10 kB 21.7 MB/s eta 0:00:01\r\u001b[K     |▋                               | 20 kB 23.1 MB/s eta 0:00:01\r\u001b[K     |▉                               | 30 kB 27.1 MB/s eta 0:00:01\r\u001b[K     |█▏                              | 40 kB 27.1 MB/s eta 0:00:01\r\u001b[K     |█▍                              | 51 kB 27.4 MB/s eta 0:00:01\r\u001b[K     |█▊                              | 61 kB 25.6 MB/s eta 0:00:01\r\u001b[K     |██                              | 71 kB 22.3 MB/s eta 0:00:01\r\u001b[K     |██▎                             | 81 kB 22.8 MB/s eta 0:00:01\r\u001b[K     |██▌                             | 92 kB 22.9 MB/s eta 0:00:01\r\u001b[K     |██▉                             | 102 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███                             | 112 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███▍                            | 122 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███▋                            | 133 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████                            | 143 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████▏                           | 153 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████▌                           | 163 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████▊                           | 174 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████                           | 184 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████▎                          | 194 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████▋                          | 204 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████▉                          | 215 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████▏                         | 225 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████▍                         | 235 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████▊                         | 245 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████                         | 256 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████▎                        | 266 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████▌                        | 276 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████▉                        | 286 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████                        | 296 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████▍                       | 307 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████▋                       | 317 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████                       | 327 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████▎                      | 337 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████▌                      | 348 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████▉                      | 358 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████                      | 368 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████▍                     | 378 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████▋                     | 389 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████                     | 399 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████▏                    | 409 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████▌                    | 419 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████▊                    | 430 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████                    | 440 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████▎                   | 450 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████▋                   | 460 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████▉                   | 471 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████▏                  | 481 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████▍                  | 491 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████▊                  | 501 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████                  | 512 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████▎                 | 522 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████▌                 | 532 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████▉                 | 542 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████                 | 552 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████▍                | 563 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████▋                | 573 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████                | 583 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████▏               | 593 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████▌               | 604 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████▊               | 614 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████               | 624 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████▎              | 634 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████▋              | 645 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████              | 655 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████▏             | 665 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████▌             | 675 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████▊             | 686 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████             | 696 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████▎            | 706 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████▋            | 716 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████▉            | 727 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████▏           | 737 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████▍           | 747 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████▊           | 757 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████           | 768 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████▎          | 778 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████▌          | 788 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████▉          | 798 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████          | 808 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████▍         | 819 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████▋         | 829 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████         | 839 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████▏        | 849 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████▌        | 860 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████▊        | 870 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████████        | 880 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████████▎       | 890 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████████▋       | 901 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████████▉       | 911 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████████▏      | 921 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████████▍      | 931 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████████▊      | 942 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████████      | 952 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████████▎     | 962 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████████▋     | 972 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████████▉     | 983 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▏    | 993 kB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▍    | 1.0 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████████▊    | 1.0 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████████████    | 1.0 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▎   | 1.0 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▌   | 1.0 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████████████▉   | 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████   | 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████▍  | 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |█████████████████████████████▋  | 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████  | 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████▏ | 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████▌ | 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |██████████████████████████████▊ | 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████ | 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████▎| 1.1 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████▋| 1.2 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |███████████████████████████████▉| 1.2 MB 24.1 MB/s eta 0:00:01\r\u001b[K     |████████████████████████████████| 1.2 MB 24.1 MB/s \n",
            "\u001b[?25hRequirement already satisfied: text-unidecode==1.3 in /usr/local/lib/python3.7/dist-packages (from Faker) (1.3)\n",
            "Requirement already satisfied: python-dateutil>=2.4 in /usr/local/lib/python3.7/dist-packages (from Faker) (2.8.2)\n",
            "Requirement already satisfied: six>=1.5 in /usr/local/lib/python3.7/dist-packages (from python-dateutil>=2.4->Faker) (1.15.0)\n",
            "Installing collected packages: Faker\n",
            "Successfully installed Faker-8.11.0\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "JrYMxBkMJzvK"
      },
      "source": [
        "#Generate Fake Data"
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "id": "b8zxhVunjMOb",
        "colab": {
          "base_uri": "https://localhost:8080/"
        },
        "outputId": "205fa8ca-1951-42e8-f243-9ab780d80a29"
      },
      "source": [
        "import pandas as pd\n",
        "import random\n",
        "from faker import Faker\n",
        "from random import randrange\n",
        "from datetime import datetime\n",
        "\n",
        "nr_of_customers = 1000\n",
        "\n",
        "fake = Faker('de_DE')\n",
        "\n",
        "customers = []\n",
        "\n",
        "for customers_id in range(nr_of_customers):\n",
        "\n",
        "    # Create transaction date \n",
        "    d1 = datetime.strptime(f'1/1/2021', '%m/%d/%Y')\n",
        "    d2 = datetime.strptime(f'8/10/2021', '%m/%d/%Y')\n",
        "    transaction_date = fake.date_between(d1, d2)\n",
        "\n",
        "    #create customer's name\n",
        "    name = fake.name()\n",
        "\n",
        "    # Create gender\n",
        "    gender = random.choice([\"M\", \"F\"])\n",
        "\n",
        "    # Create email \n",
        "    email = fake.ascii_email()\n",
        "\n",
        "    #Create city\n",
        "    city = fake.city()\n",
        "\n",
        "    #create product ID in 8-digit barcode\n",
        "    product_ID = fake.ean(length=8)\n",
        "    \n",
        "    #create amount spent\n",
        "    amount_spent = fake.pyfloat(right_digits=2, positive=True, min_value=1, max_value=100)\n",
        "\n",
        "    customers.append([transaction_date, name, gender, email, city, product_ID, amount_spent])\n",
        "\n",
        "customers_df = pd.DataFrame(customers, columns=['Transaction_date','Name', 'Gender','Email', 'City','Product_id', 'Amount_spent']) \n",
        "                \n",
        "pd.pandas.set_option('display.max_columns', None)\n",
        "print(customers_df)"
      ],
      "execution_count": 3,
      "outputs": [
        {
          "output_type": "stream",
          "text": [
            "    Transaction_date                             Name Gender  \\\n",
            "0         2021-03-24      Univ.Prof. Arnim Lübs B.Sc.      F   \n",
            "1         2021-08-04             Herr Frieder Gorlitz      F   \n",
            "2         2021-06-22                     Czeslaw Mans      M   \n",
            "3         2021-03-04                Christiane Heuser      M   \n",
            "4         2021-07-22  Ing. Gunda Jacobi Jäckel B.Eng.      M   \n",
            "..               ...                              ...    ...   \n",
            "995       2021-05-14      Matteo auch Schlauchin MBA.      M   \n",
            "996       2021-04-30                    Jörgen Kramer      M   \n",
            "997       2021-07-29  Prof. Hans-Wilhelm Schäfer MBA.      M   \n",
            "998       2021-07-18       Herr Hardy Mitschke B.Eng.      M   \n",
            "999       2021-03-12                       Alf Dowerg      F   \n",
            "\n",
            "                          Email            City Product_id  Amount_spent  \n",
            "0          uhenk@googlemail.com          Aachen   90298004         68.26  \n",
            "1            halbers@bruder.com        Mainburg   04081906         69.39  \n",
            "2            rustzenon@yahoo.de            Lübz   74519705         58.23  \n",
            "3     charlottehiller@gmail.com     Badalzungen   86032292         28.33  \n",
            "4          xbarkholz@becker.com           Naila   59211815         80.32  \n",
            "..                          ...             ...        ...           ...  \n",
            "995         aloys55@hauffer.com   Fallingbostel   48560610         92.22  \n",
            "996  concettagerlach@seidel.com  Recklinghausen   73321828         47.40  \n",
            "997            guntram32@web.de           Borna   04941859         98.80  \n",
            "998  margaretheweller@gmail.com      Strausberg   40202648         19.90  \n",
            "999           elfi23@wilmsen.de        Konstanz   90937811         53.21  \n",
            "\n",
            "[1000 rows x 7 columns]\n"
          ],
          "name": "stdout"
        }
      ]
    },
    {
      "cell_type": "markdown",
      "metadata": {
        "id": "_1Fn3Yb4UrVI"
      },
      "source": [
        "# Export the data "
      ]
    },
    {
      "cell_type": "code",
      "metadata": {
        "colab": {
          "base_uri": "https://localhost:8080/",
          "height": 16
        },
        "id": "HiWJdXCkU11V",
        "outputId": "81b552bc-b434-4ff6-a370-9f0e6a6cfe1d"
      },
      "source": [
        "from google.colab import files\n",
        "customers_df.to_csv('customers_df.csv') \n",
        "files.download('customers_df.csv')"
      ],
      "execution_count": 4,
      "outputs": [
        {
          "output_type": "display_data",
          "data": {
            "application/javascript": [
              "\n",
              "    async function download(id, filename, size) {\n",
              "      if (!google.colab.kernel.accessAllowed) {\n",
              "        return;\n",
              "      }\n",
              "      const div = document.createElement('div');\n",
              "      const label = document.createElement('label');\n",
              "      label.textContent = `Downloading \"${filename}\": `;\n",
              "      div.appendChild(label);\n",
              "      const progress = document.createElement('progress');\n",
              "      progress.max = size;\n",
              "      div.appendChild(progress);\n",
              "      document.body.appendChild(div);\n",
              "\n",
              "      const buffers = [];\n",
              "      let downloaded = 0;\n",
              "\n",
              "      const channel = await google.colab.kernel.comms.open(id);\n",
              "      // Send a message to notify the kernel that we're ready.\n",
              "      channel.send({})\n",
              "\n",
              "      for await (const message of channel.messages) {\n",
              "        // Send a message to notify the kernel that we're ready.\n",
              "        channel.send({})\n",
              "        if (message.buffers) {\n",
              "          for (const buffer of message.buffers) {\n",
              "            buffers.push(buffer);\n",
              "            downloaded += buffer.byteLength;\n",
              "            progress.value = downloaded;\n",
              "          }\n",
              "        }\n",
              "      }\n",
              "      const blob = new Blob(buffers, {type: 'application/binary'});\n",
              "      const a = document.createElement('a');\n",
              "      a.href = window.URL.createObjectURL(blob);\n",
              "      a.download = filename;\n",
              "      div.appendChild(a);\n",
              "      a.click();\n",
              "      div.remove();\n",
              "    }\n",
              "  "
            ],
            "text/plain": [
              "<IPython.core.display.Javascript object>"
            ]
          },
          "metadata": {
            "tags": []
          }
        },
        {
          "output_type": "display_data",
          "data": {
            "application/javascript": [
              "download(\"download_c6576912-6874-4373-bac2-18ae2a101bc3\", \"customers_df.csv\", 83275)"
            ],
            "text/plain": [
              "<IPython.core.display.Javascript object>"
            ]
          },
          "metadata": {
            "tags": []
          }
        }
      ]
    }
  ]
}