使用puppeteer爬取掘金岗位

github地址

请使用node18+版本运行

操作方式

npm i

打开 爬取boss.js 文件

修改爬虫配置

  // 配置
  const city = '101120100'; // 城市代码：济南
  // const city = '101020100'; // 上海
  // const city = '101120200'; // 青岛
  const query = '前端'; // 搜索关键词
  const salary = '405'; // 薪资标准10-20K

  const degreeMap = {
    '202': '专科学历',
    '203': '本科学历'
  }

注释给的都非常OK，可以说一用就OK

后端或者其他技术亦或其他行业修改query就好了

然后执行

npm run start

就可以得到jobs.json文件

再次打开 筛选数据.js文件

修改筛选配置

let data = JSON.parse(fs.readFileSync('./jobs.json', 'utf-8'));
  data = data
    .filter(item => item.job.name.includes('前端')) // 关键词
    // .filter(item => item.job.degree === '大专') // 学历
  console.log(data);
  console.log(data.length);

大家需要根据岗位关键词进行二次筛选，去除一些boss意外查询到的数据

然后执行

npm run filter

即可筛选出来你需要的岗位JSON

还可以将文件再次保存输出，然后筛选适合自己的岗位

本来还想续写一个前端页面，碍于时间原因就暂时搁置罢，希望这个爬虫可以帮助大家快速找到心仪的工作

JSON文件含义拆解

  {
    "job": {
      "name": "岗位名称",
      "area": "地址",
      "salaryMax": "最高月薪W",
      "salaryMin": "最低月薪W",
      "salaryMaxYear": "最高年薪W",
      "salaryMinYear": "最低年薪W",
      "degree": "学历",
      "experience": "年限"
    },
    "link": "招聘链接",
    "company": {
      "name": "公司名称"
    },
    "desc": "具体招聘需求",
    "keywordArray": [
      "招聘关键词",
    ]
  },

使用细节

1. 如果爬取数量太多，期间会出现验证，及时手动验证即可解决该问题

2. 关键词查询方案如下图