八爪鱼增值API文档

1.4.1.获取全新Token

你需要提供一次八爪鱼平台的用户名和密码来获取全新【Access Token】。

{
    "access_token": "ABCD1234", 	     //访问通行证
    "token_type": "bearer",		             //token类型
    "expires_in": 86399,		                 //access_token有效时间（秒）（推荐在有效期间内推荐重复使用） 
    "refresh_token": "refresh_token"	 //刷新access_token的凭证
}

HeaderName: Authorization
Value: bearer {access_token}

1.4.2.刷新Token

上一次请求的【Access Token】实体中的【access_token】过期后，可以使用同一实体中的【refresh_token】刷新【Access Token】，方法与获取全新Token类似，修改【请求包含信息】即可。

注意：同一个【refresh_token】只能使用一次，使用后即失效。

2.1.1.得到该用户所有的任务组

请求

响应

用户任务组Json元素的数组格式和状态信息

信息格式

{
  "data": [
    {
      "taskGroupId": 1,
      "taskGroupName": "示例组1"
    },
    {
      "taskGroupId": 2,
      "taskGroupName": "示例组2"
    }
  ],
  "error": "success",
  "error_Description": "操作成功"
}

2.2.1.获取任务组中的任务

请求

请求包含信息

响应

返回任务Id(taskId)，任务名(taskName)和任务创建者(creationUserId)组成的Json元素的数组和状态信息

信息格式

{
  "data": [
    {
      "taskId": "337fd7d7-aded-4081-9104-2b551161ccc8",
      "taskName": "示例任务1"
    },
    {
      "taskId": "4adf489b-f883-43fa-b958-0cfde945ddb7",
      "taskName": "示例任务2"
    }
  ],
  "error": "success",
  "error_Description": "操作成功"
}

2.2.2.批量获取任务状态

此接口可获取多个任务的运行状态。

请求

请求包含信息

信息格式

{
  "taskIdList": [
    "337fd7d7-aded-4081-9104-2b551161ccc8",
    "4adf489b-f883-43fa-b958-0cfde945ddb7"
  ]
}

响应

任务状态信息(其中status定义为：运行中 = 0，已停止 = 1，已完成 = 2，待运行 = 3，未执行 = 5 )

信息格式

{
  "data": [
    {
      "taskId": "337fd7d7-aded-4081-9104-2b551161ccc8",
      "taskName": "示例任务1",
      "status": 1
    },
    {
      "taskId": "4adf489b-f883-43fa-b958-0cfde945ddb7",
      "taskName": "示例任务2",
      "status": 2
    }
  ],
  "error": "success",
  "error_Description": "操作成功"
}

2.2.3.获取任务规则流程步骤的参数值

此接口可以获取任务规则某流程步骤的参数值，目前支持【打开网页】的Url（navigateAction1.Url）、【输入文本】的文本值（enterTextAction1.Text）、【循环】的文本列表（loopAction1.TextList）和Url列表（loopAction2.UrlList）的参数值获取。

请求

请求包含信息

响应

步骤的参数值集合和状态信息

信息格式

{
  "data": [
    "http://www.bazhuayu.com/",
    "http://www.skieer.com/"
  ],
  "error": "success",
  "error_Description": "操作成功"
}

2.2.4.更新任务规则流程参数值

此接口可更新任务规则流程步骤的参数值，目前支持更新【打开网页】的Url（navigateAction1.Url）、【输入文本】的文本值（enterTextAction1.Text）、【循环】的文本列表（loopAction1.TextList）和Url列表（loopAction2.UrlList）。

注意：对于Url和文本值请直接使用字符串类型："value":"navigateAction1.Url"，对具有N个项的文本列表或Url列表的值(value)，请使用以逗号分隔的数组类型："value":["text1","text2","text3",...,"textN"]。

请求

请求包含信息

信息格式

{
  "taskId": "337fd7d7-aded-4081-9104-2b551161ccc8",
  "name": "loopAction2.TextList",
  "value": "['八爪鱼','视界信息']"
}

响应

更新成功与否

信息格式

{
  "error": "success",
  "error_Description": "操作成功"
}

2.2.5.在任务规则循环列表中添加新项

此接口可在任务规则循环列表中添加新项，目前支持添加【循环】的文本列表和Url列表。

注意：对文本列表和Url列表的参数值(value)，请使用格式["text1","text2","text3",...,"textN"]来表示列表的N个项。

请求

请求包含信息

信息格式

{
  "taskId": "4adf489b-f883-43fa-b958-0cfde945ddb7",
  "name": "loopAction1.UrlList",
  "value": "['http://www.bazhuayu.com/', 'http://www.skieer.com/']"
}

响应

添加成功与否

信息格式

{
  "error": "success",
  "error_Description": "操作成功"
}

2.2.6.启动任务

请求

请求包含信息

响应

启动状态（1：成功，2：任务正在执行中，5：任务规则配置不正确，6：无权使用，100：其他错误）

信息格式

{
  "data": 1,
  "error": "success",
  "error_Description": "操作成功"
}

2.2.7.停止任务

请求

请求包含信息

响应

停止成功与否

信息格式

{
  "error": "success",
  "error_Description": "操作成功"
}

2.2.8.获取任务对应的规则的属性信息

请求

请求包含信息

信息格式

{
  "taskIds": [
    "337fd7d7-aded-4081-9104-2b551161ccc8",
    "4adf489b-f883-43fa-b958-0cfde945ddb7"
  ],
  "propertyTypes": [
    0,
    1
  ]
}

响应

任务ID及其对应的属性信息

信息格式

{
  "data": {
    "337fd7d7-aded-4081-9104-2b551161ccc8": [
      {
        "typeName": "NavigateActionUrl",
        "values": [
          "https://www.bazhuayu.com/"
        ]
      },
      {
        "typeName": "NavigateActionUrl",
        "values": [
          "https://www.bazhuayu.com/"
        ]
      }
    ],
    "4adf489b-f883-43fa-b958-0cfde945ddb7": [
      {
        "typeName": "NavigateActionUrl",
        "values": [
          "https://www.bazhuayu.com/"
        ]
      },
      {
        "typeName": "NavigateActionUrl",
        "values": [
          "https://www.bazhuayu.com/"
        ]
      }
    ]
  },
  "error": "success",
  "error_Description": "操作成功"
}

2.2.9.清空任务数据

请求

请求包含信息

响应

清空任务数据成功与否

信息格式

{
  "error": "success",
  "error_Description": "操作成功"
}

2.3.1.导出一批任务数据

此接口可导出任务未导出过的数据，导出成功后将数据标记为【正在导出】（而非【已导出】）状态，故可多次调用此接口导出同一批数据，在你确认数据被正确接收后再调用【标记数据为已导出状态】接口即可。

注意：若在导出数据时发生了意外（比如网络中断），请再次调用此接口重新导出未成功传输的这批数据（不记录断点）。

请求

请求包含信息

响应

任务数据和状态信息

信息格式

{
  "data": {
    "total": 100000,
    "currentTotal": 4,
    "dataList": [
      {
        "词条": "深圳视界",
        "简介": "领先的信息化解决方案提供商，致力于企业级数据整合，网页数据采集，整理，分析和挖掘。"
      },
      {
        "词条": "八爪鱼",
        "简介": "它彻底改变了大家对爬虫和采集器的认知，让网页数据采集变得前所未有的简单。"
      },
      {
        "词条": "数多多",
        "简介": "致力于打造大数据共享与交易平台。"
      },
      {
        "词条": "微图",
        "简介": "一款简单易用的数据分析及可视化工具，支持自然语言分析及文本挖掘。"
      }
    ]
  },
  "error": "success",
  "error_Description": "操作成功"
}

2.3.2.标记数据为已导出状态

当调用【导出一批任务数据】导出某任务一批数据后，这批数据状态从【未导出】变为【正在导出】，调用此接口会将该任务当前所有【正在导出】状态的数据更新为【已导出】状态。

注意：请确认通过【导出一批任务数据】(api/notexportdata/gettop)接口返回的结果被正确完整接收后再调用此接口。

请求

请求包含信息

响应

是否更新成功

信息格式

{
  "error": "success",
  "error_Description": "操作成功"
}

2.4.1.根据起始偏移量获取任务数据

此接口根据数据起始偏移量（offset）和请求数据量获取任务数据，初始请求请将偏移量设置为0（offset = 0），数据量size ∈[1,1000]，每次通过此接口请求数据返回的偏移量（offset > 0）可以作为读取下一批数据的起始偏移量。例如某任务有1000条数据， 第一次调用offset = 0, size = 100，则将会返回任务的头100条数据，以及下一次的起始偏移量offset = x（x不一定等于100）。第二次调用时请求参数设置为offset = x，size = 100，则返回任务的第101-200条数据，以及下一次起始偏移量offset=x1，然后用x1作为下次的起始偏移量，以此类推。

注意：此接口只用来读取数据，不会影响数据的导出状态，有关导出状态的详细介绍请参考【标记数据为已导出状态】。

请求

请求包含信息

响应

任务数据和状态信息

信息格式

{
  "data": {
    "offset": 4,
    "total": 100000,
    "restTotal": 99996,
    "dataList": [
      {
        "词条": "深圳视界",
        "简介": "领先的信息化解决方案提供商，致力于企业级数据整合，网页数据采集，整理，分析和挖掘。"
      },
      {
        "词条": "八爪鱼",
        "简介": "它彻底改变了我对爬虫和采集器的认识，让网页数据采集变得前所未有的简单。"
      },
      {
        "词条": "数多多",
        "简介": "致力于打造大数据共享与交易平台。"
      },
      {
        "词条": "微图",
        "简介": "一款简单易用的数据分析及可视化工具，支持自然语言分析及文本挖掘。"
      }
    ]
  },
  "error": "success",
  "error_Description": "操作成功"
}