Web Scrap Medical Website

  • Status: Closed
  • Hadiah: $110
  • Penyertaan diterima: 3
  • Pemenang: Verz1Lka

Keterangan Peraduan

I need to scrap a website that contains professional information.

The final product is a .csv (or excel) file with all information along with the python script that you used to scrap the website.

The website is in portguese (brazilian)

url: [url removed, login to view]

You will find a form to search for healthcare professionals.

First line: leave it blank

Second line: The first box should be left blank. The second box is a list of states (loop through all states).

Third line: List of cities. Once you have selected a State, it will show the list of all cities of that state. (loop through all cities)

Fourth line: choose 'ativo'

Fifth line: choose 'todos'

Sixth line: (CIRURGIA DO APARELHO DIGESTIVO) and (CIRURGIA GERAL)


The database should contain all information for every name:

State (UF)
City (município)
Specialty (especialidade)
Name (Nome do Médico)
Situation (situação)
CRM
Tipo de inscrição
Especialidade/Area de atuação (1)
RQE (1)
Especialidade/Area de atuação (2)
RQE (2)
Especialidade/Area de atuação (n)
RQE (n)

p.s.: 'Todos' means 'All'

The website breaks the results in pages, please be aware of that.

I have attached an example of the result I need

Kemahiran-kemahiran Cadangan

Maklum balas Majikan

“Great job! Other people took days to scrap the website, while he took only hours.”

Gambar Profil victorarakawa, Brazil.

Penyertaan teratas dari peraduan ini

Lihat Penyertaan Lain

Papan Penerangan Awam

  • knowledgeexcavat
    knowledgeexcavat
    • 2 tahun yang lalu

    wow... just attached 3 files and it is closed :(

    • 2 tahun yang lalu
    1. knowledgeexcavat
      knowledgeexcavat
      • 2 tahun yang lalu

      and there are 18499 entries...

      • 2 tahun yang lalu
  • knowledgeexcavat
    knowledgeexcavat
    • 2 tahun yang lalu

    What about AREA_ATUACAO_3 RQE_3 ? Some persons have 3.

    • 2 tahun yang lalu
    1. victorarakawa
      Pemegang Peraduan
      • 2 tahun yang lalu

      Yes, you should create AREA_ATUACAO_n for n=1,2,3...

      • 2 tahun yang lalu
  • hwanghendra
    hwanghendra
    • 2 tahun yang lalu

    Hi are you open to using other language, eg php ?

    • 2 tahun yang lalu
  • thenamescarlos
    thenamescarlos
    • 2 tahun yang lalu

    Is there a known issue or specific reason with having "Todos" being the option selected for the box in the second line?

    • 2 tahun yang lalu
    1. victorarakawa
      Pemegang Peraduan
      • 2 tahun yang lalu

      Because I want all options. You can do it by each option, but I dont need that.

      • 2 tahun yang lalu
  • clackkensmith
    clackkensmith
    • 2 tahun yang lalu

    Hi !
    i am a scraper, bellow is project of my last customer :
    demo file : https://mega.co.nz/#!91YXDTzJ!hQOtqZzptKMJhcfKJSu5q120intcp9_0qgUD-xNLpoM or attach file
    Link get : http://www.gassaferegister.co.uk/registersearch/checkbusiness.aspx
    You can check by accountNumber at that page and check information.
    Bid me or message with me for detail about job.
    thank you !

    • 2 tahun yang lalu
  • knowledgeexcavat
    knowledgeexcavat
    • 2 tahun yang lalu

    Could you #increaseprize if work be done in 1 day?

    • 2 tahun yang lalu
  • talhamunir2002
    talhamunir2002
    • 2 tahun yang lalu

    hi cane we made script in c#

    • 2 tahun yang lalu
    1. talhamunir2002
      talhamunir2002
      • 2 tahun yang lalu

      okz....i can provide you data if needed and script in c#,if needed,ping me

      • 2 tahun yang lalu
    2. MEDIAPRONET
      MEDIAPRONET
      • 2 tahun yang lalu

      scrape price:20$ per 1000 records,also,if you want a bot,i can make it for 200$(without code)

      • 2 tahun yang lalu
  • TECHRONYX
    TECHRONYX
    • 2 tahun yang lalu

    # sealed plz

    • 2 tahun yang lalu
  • braedon213
    braedon213
    • 2 tahun yang lalu

    is the search working right now? it was working for me earlier but now anytime i search i get "Não existe nenhum resultado para essa busca"...

    • 2 tahun yang lalu
    1. victorarakawa
      Pemegang Peraduan
      • 2 tahun yang lalu

      Maybe you are trying a combination that has no results to show. E.g., there is no professional in the city with that specialty.

      • 2 tahun yang lalu
  • braedon213
    braedon213
    • 2 tahun yang lalu

    i don't see "CIRURGIA DO SISTEMA DIGESTIVO" under Especialidade.

    • 2 tahun yang lalu
    1. victorarakawa
      Pemegang Peraduan
      • 2 tahun yang lalu

      OK, I have just fixed that, you are right

      • 2 tahun yang lalu
    2. victorarakawa
      Pemegang Peraduan
      • 2 tahun yang lalu

      CIRURGIA DO APARELHO DIGESTIVO is the right option

      • 2 tahun yang lalu
  • braedon213
    braedon213
    • 2 tahun yang lalu

    I see "CIRURGIA DO APARELHO DIGESTIVO" and "CIRURGIA GERAL" however. Is SISTEMA the same as APARELHO?

    • 2 tahun yang lalu

Tunjukkan lebih banyak komen

Bagaimana mula dengan peraduan

  • Papar peraduan anda

    Papar Peraduan Anda Cepat dan senang

  • Dapatkan bertan-tan penyertaan

    Dapatkan Bertan-tan Penyertaan Dari seluruh dunia

  • Anugerahkan penyertaan terbaik

    Anugerahkan penyertaan terbaik Muat turun fail-fail - Senang!

Papar Peraduan Sekarang atau Sertai kami Hari Ini!