Crawler pour trouver des noms de domaines expirés

J'ai que quelqu'un me développe un outil pour trouver des noms de domaines expirés.

Ce qui me faudrait :

Je donne un mot-clé à l'outil, par exemple "annuaire travaux".

1) L'outil va récupérer les 100 premiers résultats de Google.

2) Pour chaque site, il crawle l'ensemble des pages (comme Xenu).

3) Il checke chaque URL sortante pour savoir si elle est KO (c'est à dire qu'il n'y a pas de code retour de 4xx, 5xx, 2xx).

4) Chaque URL sortante KO est listée dans un fichier.

5) L'outil retourne la liste des NDD sous forme de fichier.

Je suis moi-même développeur est j'ai déjà créé cet outil sous PHP. Le seul souci c'est qu'il est très lent. Je pourrais donc vous donner l'algorithme que j'ai créé et des pistes pour optimiser l'outil

Kemahiran: HTML, Scrapy, SEO, Web Crawling, Pengikisan Web

Lihat lagi: sites pour trouver des freelances, site pour trouver des free lancer, site pour trouver des freelance, meilleur site pour trouver des missions freelance, les meilleurs sites pour trouver des freelance, site pour trouver un developpeur d application, trouver des travaille freelance photoshop, trouver des freelance gratuit, site pour trouver des freelancer android, meilleurs site pour trouver un developpeur d application, freelance pour faire des caricature, application pour gestion des tournages, tracker des alias domaines dans analytics, interface pour editer des xml, solution gratuite pour avoir des creditsdans livejasmin

Tentang Majikan:
( 0 ulasan ) Spain

ID Projek: #15811118

18 pekerja bebas membida secara purata €454 untuk pekerjaan ini


-------------------We PASSED FREELANCER.COM SEO LEVEL – 3 EXAM WITH NO.1 RANK. ----------------- We do white hat Research based SEO only. Please if possible Message us; I need some information on your project. Please Lagi

€250 EUR dalam 30 hari
(458 Ulasan)

Bonjour, vous avez besoin de créer un outil pour trouver des noms de domaines expirés ou juste besoin du coup de main sur le travail.? Merci

€555 EUR dalam 10 hari
(127 Ulasan)

Tengo un conocimiento profundo de php, mysql, javascript, jquery, integraciones de paypal, API, css, html, html5, wordpress. Esperaré hablar con usted. Gracias.

€500 EUR dalam 10 hari
(165 Ulasan)
€350 EUR dalam 10 hari
(3 Ulasan)
€555 EUR dalam 10 hari
(27 Ulasan)

Hello, I will provide you active and expire domain and following details. Please let me know if you want a sample? Waiting for your reply. Thank you

€250 EUR dalam 10 hari
(63 Ulasan)

Greeting I am expert Data Miner and Site Crawler. You can check my skills from work history. I can do it quickly and perfectly. Regards.

€250 EUR dalam 2 hari
(28 Ulasan)

A proposal has not yet been provided

€555 EUR dalam 10 hari
(11 Ulasan)

Hello, I read your job description carefully. I have rich experience of web scraping and crawler. I have ever built the script similar with this project. The project is to crawl urls from Google, Yahoo, Bing, and g Lagi

€555 EUR dalam 10 hari
(10 Ulasan)

Hello Sir we provide your website URL for FREE Website Analysis so we will identify SEO technical errors and make the tailored based white hat SEO plan as per new Google Algorithm 2017 for achieving Page #1 Ranking f Lagi

€250 EUR dalam 60 hari
(20 Ulasan)
€555 EUR dalam 10 hari
(16 Ulasan)

We are Expert Team of Making Crawler I give a keyword to the tool, for example "job directory". 1) The tool will recover the first 100 results from Google. answer : we can 2) For each site, it crawl all Lagi

€750 EUR dalam 30 hari
(8 Ulasan)

Hello Sir/mam, As a Web & App development company we have investigate your project and find that we can do this but first i would like to show u my exp. Our specialities: - iOS/Android development - PHP Develope Lagi

€555 EUR dalam 10 hari
(14 Ulasan)

Hi, I understand that what you exactly want in these 5 points. And I have 7 plus years of experience in all the skills that this job require. I will make that tool fast. As, I am a PHP expert so will definitely Lagi

€555 EUR dalam 10 hari
(0 Ulasan)

Hi, I have gone check your projects descriptions so I can do it perfectly. I have 7 years+ experience with all Software development, Programming’s. I have completed lot of projects with Web scraping, Web crawling, PHP Lagi

€250 EUR dalam 5 hari
(0 Ulasan)

We are a team whose members are very experienced in Graphics Design, Template design,web design,logo design, banner design. Our Key Skills HTML| CSS | JavaScript| PSD Template|  Logo Design, Adobe Photoshop Lagi

€555 EUR dalam 10 hari
(0 Ulasan)

Sir i understand your requirement, will complete it ASAP. Kindly give a proper brief. where in we can move forward

€333 EUR dalam 10 hari
(0 Ulasan)

Une petite application développé sous Node.js (Javascript) devrait faire le travail correctement et rapidement.

€555 EUR dalam 10 hari
(0 Ulasan)