tests/仕入れ先問屋さんの各ウェブサイト/prompt

仕事の詳細

御覧いただきありがとうございます。
弊社はAMAZONや楽天等、ネット通販を主とした会社となります。

今回は、仕入れ先問屋さんの各ウェブサイトの
スクレイピング作業ならびに
仕様書作成やサーバー設置・運用等もしていただける方を募集いたします。



■業務内容---------------------------------------------------


①スクレイピング作業
仕様書を元に、指定問屋のWebサイトから全商品データ（約3,000件～50,000件以上）を収集して
xlsx形式で出力するpythonプログラムを作成し、動作確認及び取得データを提出する。
（すでに複数メンバーで対応中です。）


②サーバー設置、運用
スクレイピングのプログラムをX-ServerやVPS等に設置して毎日定期実行する。
※全商品データを毎日取得しDropboxへアップロードする必要があります。
不具合が発生した際は修正や再開等の対応を行い、毎日安定して取得できるようにする。
（すでに稼働中のスクレイピングも多数あり、他の方が作成したプログラムの設置や
不具合対応も必要になります。）
★Linuxの知識やpython定期実行の経験がある方が望ましいです。


③仕様書作成
他の作業者にスクレイピング作業を依頼するため、仕入れ先候補となるウェブサイトを確認し
効率的かつ安定してスクレイピングできる処理手順や各データの取得仕様を考えて仕様書を作成する。
（サーバー設置後の運用も考慮する。）
★小売業や問屋に関わる基本知識のある方が望ましいです。


現在の問屋数は約40社となり週4～5件ペースで追加を目標にしております。

サイトにもよりますが2日でプログラム作成、
1日で修正、完了を目安目標に作業していただいております。


また、PhantomJSでの動作やwindowsでの定期実行、
その他様々な工夫が必要な場合があるため、 経験ないことでも調べて対応頂ける方が望ましいです。