Vị trí công việc này hiện tại đã hết hạn nộp hồ sơ, bạn có thể tham khảo thêm một số công việc liên quan phía dưới
Mô tả công việc
POSITION INTRODUCTION
We are looking for a professional Data Scraping specialist, capable of operating a large-scale data collection system, ensuring stability, accuracy and efficiency.
1. Professional Scraping System Development
Technical Requirements:
System Architecture:
Design cross-platform Python crawling scripts
Build scalable systems
Develop parallel crawling solutions
Manage large, multi-threaded data streams
Technologies:
Scrapy, BeautifulSoup
Selenium
Asyncio, Multiprocessing
Proxy management
IP rotation techniques
2. Data Processing and Normalization
Processing Methods:
Develop API data cleaning processes
Data transformation algorithms
Integrity checks
Remove noisy data
Tools:
Pandas
Data validation techniques
Machine Learning preprocessing
3. Database Management
Specialized Skills:
Advanced SQL:
Complex queries
Performance optimization
4. Monitoring & Optimization
Strategy:
Manage scraping system operations.
Track scraping performance
Challenge handling:
IP blocking
Speed limiting
CAPTCHA
Yêu cầu
PROFESSIONAL REQUIREMENTS
Education
Bachelor's degree (GPA > 3.0)
Major:
Data science
Computer engineering
Data related fields
English: TOEIC > 700 of IELTS >5.5
Technical Skills
Python Ecosystem
Asyncio, Multiprocessing
Data cleaning techniques
Machine Learning preprocessing
Advanced error handling
Database & Big Data
SQL (Intermediate to Advanced)
NoSQL database management
PySpark
Data warehousing
In-depth Experience
Minimum 1-2 years
Project implementation:
Web scraping
Automatic data processing
Big data crawling
SOFT SKILLS
System analysis
Problem solving
Independent & team working
Time management
Logical thinking
NICE TO HAVE EXPERIENCES
Big Data experience
Data pipeline design
Working with diverse APIs
Professional certifications
Creativity and initiative in proposing ideas
Quyền lợi
- Enjoy full social insurance, health insurance, labor contracts, vacation days and other benefits according to state regulations.
- Parking allowance
- Regular annual salary increase
- Training and capacity development to meet job requirements and promotion path
- Participate in courses when necessary
- Weekly/monthly/quarterly/yearly bonuses and project bonuses
- Holiday/Tet bonuses
- Young, friendly and dynamic working environment.
- Travel: 1 time/year
Thông tin khác
Địa điểm làm việc
- 19 Hồ Văn Huê, phường 9, Phú Nhuận, Hồ Chí Minh
Việc làm Hồ Chí Minh
Việc làm Phú Nhuận
Thông tin chung
- Ngày hết hạn: 26/04/2025
- Thu nhập: 12 - 18 triệu VNĐ
Nơi làm việc
- - 19 Hồ Văn Huê, phường 9, Phú Nhuận, Hồ Chí Minh
Bắt đầu vào năm 2018, nhóm của chúng tôi chỉ có ba thành viên cùng nhau phát triển dịch vụ SEO doanh nghiệp này. Nhìn lại, chúng tôi không làm gì ngoài việc đầu tư đam mê và trau dồi kiến thức nhiều nhất có thể. Sau một vài dự án thành công là kết quả của những ngày tháng dài gian khổ, chúng tôi ...
Quy mô công ty
Từ 26 - 100 nhân viên
