python script to automize data file upload to existing table appending the data

Ringkasan Peraduan

Python developer to automize extracting file from ftp loading into Big Query
Basically looking for an ETL pipeline where you automize the complete ETL on a weekly basis

Extract : Data from FTP server (get data file)(csv,Excel....)

Transform : append Data to existing table in BigQuery. Make sure no duplicates, clean data,do not overwite

Load : Load it to Big Query Table

you can create a small summy sample csv file to use.

Kemahiran Disyorkan

Penyertaan teratas dari peraduan ini

Lihat Lebih Banyak Entri

Papan Penjelasan Umum

  • ashikmohann
    ashikmohann
    • 2 minggu yang lalu

    hi, the script should be scheduled to run weekly?

    • 2 minggu yang lalu
    1. viral15
      Penganjur Peraduan
      • 2 minggu yang lalu

      Yes

      • 2 minggu yang lalu
  • AVKor
    AVKor
    • 2 minggu yang lalu

    Hi, #extended please and upload a samples of your files (what you are going to get from your FTP server and your database schema).

    • 2 minggu yang lalu
    1. AVKor
      AVKor
      • 2 minggu yang lalu

      In this case it will be useless to you since the structure, data types, database schema and so on will be not the same as you have and could not be used for your dataset. But if you are going to rewrite the script yourself for your own needs that's OK.

      • 2 minggu yang lalu
    2. viral15
      Penganjur Peraduan
      • 2 minggu yang lalu

      Yes I will edit all the schemas and additional details
      We are looking to see who can provide python script that would extract - load the files to BigQuery
      You can use a very simple csv file with few columns...
      Just looking to see how the logic is created to automize the process

      Thank you

      • 2 minggu yang lalu
  • viral15
    Penganjur Peraduan
    • 2 minggu yang lalu

    Please not I am specifically looking for a python script

    • 2 minggu yang lalu
  • samiul92
    samiul92
    • 2 minggu yang lalu

    Hi, I am creating a program for you. So I need to know that from which source of FTP(Any Database like Oracle Database/MS SQL/MySQL or Just like Excel Sheet) to extract data and Load into which Database?

    • 2 minggu yang lalu
    1. viral15
      Penganjur Peraduan
      • 2 minggu yang lalu

      Load into Big Query SQL

      • 2 minggu yang lalu
    2. samiul92
      samiul92
      • 2 minggu yang lalu

      Ok, Thanks for answer

      • 2 minggu yang lalu

Tunjukkan lebih banyak komen

Bagaimana untuk mulakan dengan peraduan

  • Paparkan peraduan anda

    Paparkan Peraduan Anda Cepat dan mudah

  • Dapatkan berjuta penyertaan

    Dapatkan Bertan-tan Penyertaan Dari serata dunia

  • Anugerahkan penyertaan terbaik

    Anugerahkan penyertaan terbaik Muat turun fail-fail - Mudah!

Siarkan Peraduan Sekarang atau Sertai kami Hari Ini!