离线开发OpenAPI

此手册用于记录大数据开发与管理平台中，离线开发产品所有对外开放的OpenAPI，阅读此手册，你将了解离线开发产品开放的OpenAPI能力与调用方法。

一、离线开发公共参数

1.1 提示

1.1.1 任务

说明

任务是一个DAG图（有向无环图），其描述了作业中多个节点之间的逻辑（依赖关系）和规则（运行约束）。

标识

标识：由project标识和flow标识组成，唯一确定一个任务，不可变。

名称：标识为flowAliasName，代表任务名称，可变。

节点：通过上下游依赖关系组成任务DAG图。

标识：节点由job标识，唯一确定一个节点，不可变。

名称：标识为jobAliasName,代表节点名称，可变。

1.1.2 队列

说明

执行调度任务的yarn资源队列。

标识

队列展示名：yarnQueue

被调度系统最终引用的队列名：yarnFullQueue

队列类型：ntv，代表原生队列；sla，代表具有优先级功能的队列。

是否为高优先级：标识为highPriority，队列类型为sla时使用。highPriority=true，开启高优先级；highPriority=false，不开启高优先级。

分类

原生队列：主要指社区版原生队列，队列类型标识为ntv。yarnFullQueue直接传队列展示名yarnQueue。

优先级队列：网易自研队列，队列类型标识为sla，当开启高优先级功能，即highPriority为true，yarnFullQueue传 root.yarnQueue.sla；当不开启高优先级，即highPriority为false，yarnFullQueue传 root.yarnQueue.default。

1.2 响应格式

1.3 响应码

1.3.1 系统正常码

1.3.2 系统异常码（小于0）

1.3.3 业务公共异常码（1000 ～ 1999）

1.3.4 子产品操作异常码（2000 ～ 2999）

1.3.5 文件夹异常码（3000 ～ 3199）

1.3.6 任务异常码（3200 ～ 3399）

1.3.7 调度异常码（3400 ～ 3599）

1.4 枚举列表

1.4.1 文件夹

FolderTypeEnum

描述：文件夹类型

1.4.2 任务

JobTypeEnum

描述：节点类型

FlowModeEnum

描述：任务模式

ResourceGroupModeEnum

描述：资源组模式

ExecNofityConditionEnum

描述：立即运行告警通知场景

JobExecStatusEnum

描述：立即运行状态

FlowExecStatusEnum

描述：立即运行状态

FilterTypeEnum（v6.6.3新增）

描述：任务过滤类型枚举。

LockStatus（v6.6.3新增）

描述：锁状态

LockTypeEnum（v6.6.3新增）

描述：任务锁类型枚举

IssueUpdateResultEnum（v6.6.5.1新增）

描述：任务关联的工单变更结果

1.4.3 调度

FailureActionEnum

描述：运行失败策略

ScheduleStatusEnum

描述：调度状态

ConcurrentSettingEnum

描述：并行策略

CalendarEffectModeEnum

描述：交易日日历调度生效方式

CalendarStatusEnum

描述：交易日日历状态

SchedulePeriodEnum

描述：调度周期类型

ScheduleTypeEnum

描述：调度设置方式

1.5 响应实体列表

1.5.1 基础实体

Pagination

描述：分页查询结果

UserBase

描述：用户基本信息

1.5.2 文件夹

FolderSimple

描述：文件夹信息

1.5.3 任务

JobBase

描述：节点基本信息

JobSimple

描述：节点简要信息

FlowBase（v6.6.5.1新增）

描述：任务基础信息

FlowSimple

描述：任务简要信息

FlowDetail

描述：任务详情

JobExecDetail

描述：节点运行详情

FlowExecDetail

描述：任务运行详情

FLowLock（v6.6.3新增）

描述：任务锁

TaskIssueInfo（v6.6.5.1新增）

描述：任务提交上线绑定issue变更信息

1.5.4 调度

DependJobSimple

描述：某节点依赖其他节点的依赖信息

ExecutionSetting

描述：执行参数

ScheduleCalendarSimple

描述：交易日日历信息

ScheduleTimeSetting

描述：调度信息中的时间信息

SchedulePeriodSimple

描述：调度周期信息

RetrySetting

描述：重试设置

ScheduleDetail

描述：调度详情

ExecDetail

1.6 请求实体列表

基础实体

1.6.1 任务

1.6.2 调度

AlertSettingReq

描述：告警设置

RetrySettingReq

ExecutionSettingReq

描述：执行参数

ScheduleTimeSettingReq

描述：调度信息中的时间信息

ScheduleCalendarSimpleReq

描述：交易日日历信息

SchedulePeriodSimpleReq

描述：调度周期信息

DependJobSimpleReq

描述：某节点依赖其他节点的依赖信息

二、OpenAPI列表

2.1 OpenApi总览

2.2 文件夹

2.2.1 查询文件夹列表

GET /folder/v1/list

产品版本：

描述：查询文件夹列表

URL参数/请求体

请求示例（参数未编码，调用时请编码）：

curl 'http://127.0.0.1:8080/folder/v1/list?product=intern&user=test@163.com&clusterId=dev4&pageSize=1&pageNum=25&keyword=test'

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": {

    "pageNo": 25,

    "pageNum": 25,

    "pageSize": 1,

    "total": 26,

    "totalCount": 26,

    "totalPage": 26,

    "list": \[

        {

            "parentid": 4067,

            "id": 4871,

            "name": "test1dk",

            "folderType": "common"

        }

    \]

},

"reqId": "618351931e7c423e9d1d1e95e0c59889",

"cost": 922

}

2.2.2 创建文件夹

POST /folder/v1/create

产品版本：

描述：创建文件夹

URL参数/请求体

请求示例：

{

"product":"intern",

"clusterId":"dev4",

"user":"test1@corp.netease.com",

"parentId":4186,

"name":"test\_openapi\_folder\_name"

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": 4964,

"reqId": "16f077b0ec5740839ca585977a03b3db",

"cost": 894

}

2.2.3 删除文件夹

POST /folder/v1/delete

产品版本：

描述：删除文件夹

URL参数/请求体

请求示例：

{

"product":"intern",

"clusterId":"dev4",

"user":"test01@corp.netease.com",

"id":4964

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": null,

"reqId": "81d1a212455640aca5fde309bee5b4ee",

"cost": 257

}

2.2.4 修改文件夹

POST /folder/v1/update

产品版本：

描述：修改文件夹

URL参数/请求体

请求示例：

{

"product":"intern",

"clusterId":"dev4",

"user":"test01@corp.netease.com",

"id":4966,

"name":"test\_folder\_rename"

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": null,

"reqId": "ce9fd3466f6242e6bf41b97389b7b0ad",

"cost": 936

}

2.2.5 移动文件夹

POST /folder/v1/move

产品版本：

描述：移动文件夹

URL参数/请求体

请求示例：

{

"product":"intern",

"user":"test01@corp.netease.com",

"clusterId":"dev4",

"id":4966,

"targetParentId":4186

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": null,

"reqId": "8f2e169846e44cc6b753abd0bdb8475c",

"cost": 264

}

2.3 任务

2.3.1 查询任务列表

GET /task/v1/list

产品版本：

描述：查询任务列表，只返回开发模式任务

URL参数/请求体

请求示例（参数未编码，调用时请编码）：

curl 'http://127.0.0.1:8080/task/v1/list?product=intern&user=test01@corp.netease.com&pageNum=1&pageSize=1000&clusterId=dev4&keyword=dianxin'

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": {

    "pageNo": 1,

    "pageNum": 1,

    "pageSize": 1000,

    "total": 4,

    "totalCount": 4,

    "totalPage": 1,

    "list": \[

        {

            "folderId": 4580,

            "folderName": "OFR",

            "owner": {

                "user": "test01@corp.netease.com",

                "fullName": "孙xx"

            },

            "project": "ea5ef048e64143939e79d54005952570$$dev",

            "projectAliasName": "B\_dianxin02",

            "flow": "B\_dianxin02",

            "flowAliasName": "B\_dianxin02",

            "comment": "VTC:代理商领卡信息1",

            "lockInfo": null

        },

        {

            "folderId": 4580,

            "folderName": "OFR",

            "owner": {

                "user": "test0201@corp.netease.com",

                "fullName": "孙xx"

            },

            "project": "cad926ea77044e178c423239a874c91f$$dev",

            "projectAliasName": "C\_dianxin02",

            "flow": "C\_dianxin02",

            "flowAliasName": "C\_dianxin02",

            "comment": "VTC:代理商领卡信息1",

            "lockInfo": null

        }

    \]

},

"reqId": "1cb0d8fbcf714c8d83151664a2e83d92",

"cost": 1545

}

2.3.2 查询任务详情

GET /task/v1/detail/get

产品版本：

描述：查询任务详情

URL参数/请求体

请求示例（参数未编码，调用时请编码）：

curl 'dev&flow=C\_dianxin02&mode=dev"">http://127.0.0.1:8080/task/v1/detail/get?product=intern&user=test01@corp.netease.com&clusterId=dev4&project=cad926ea77044e178c423239a874c91fdev&flow=C\_dianxin02&mode=dev'

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": {

    "jobInfos": \[

        {

            "job": "C\_dianxin02",

            "jobAliasName": "C\_dianxin02",

            "type": "noop",

            "forbidden": false,

            "upstreamJobs": \[

                "trigger\_node"

            \]

        },

        {

            "job": "trigger\_node",

            "jobAliasName": "trigger\_node",

            "type": "mysql",

            "forbidden": false,

            "upstreamJobs": \[

                "va\_ofr\_main\_asset\_hist\_a0501"

            \]

        },

        {

            "job": "va\_ofr\_main\_asset\_hist\_a0501",

            "jobAliasName": "va\_ofr\_main\_asset\_hist\_a0501",

            "type": "vertica\_sql",

            "forbidden": false,

            "upstreamJobs": \[\]

        }

    \],

    "folderId": 4580,

    "folderName": "OFR",

    "owner": {

        "user": "test01@corp.netease.com",

        "fullName": "xxx"

    },

    "project": "cad926ea77044e178c423239a874c91f$$dev",

    "projectAliasName": "C\_dianxin02$$dev",

    "flow": "C\_dianxin02",

    "flowAliasName": "C\_dianxin02",

    "comment": null,

    "lockInfo": null

},

"reqId": "2889f3ffd0374c5c95c77ad9accb0936",

"cost": 682

}

2.3.3 删除任务

POST /task/v1/delete

产品版本：

描述：删除任务，必须传开发模式任务标识，若有对应线上模式任务且未设置调度将一同删除

URL参数/请求体

请求示例：

{

"product":"intern",

"user":"test01@corp.netease.com",

"clusterId":"dev4",

"project":"ea5ef048e64143939e79d54005952570$$dev"

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": null,

"reqId": "f7450aedbc6e4718b6ab3ea0d12a0635",

"cost": 5166

}

2.3.4 发布任务

POST /task/v1/release

产品版本：

描述：发布任务，只允许发布开发模式任务

注意：

任务提交上线前会做一遍任务的卡点检测，如果未通过检测，则提交上线失败。

任务如果被DataOps锁锁定，在上线完成后会自动把数据研发平台记录的DataOps锁清理掉。调用方的DataOps锁需要调用方自己清理，不会有解锁的回调通知。

URL参数/请求体

请求示例：

{

"product":"intern",

"user":"test01@corp.netease.com",

"clusterId":"dev4",

"project":"c531515684c243e89a0ffd90328f30d0$$dev",

"comment":"woshuohhei",

"flow":"C\_dianxin02",

"lockId":"one\_lock"

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": null,

"reqId": "e33417fffb574e6d827114a04380f733",

"cost": 9375

}

2.3.5 开发模式立即运行

POST /task/v1/execute

产品版本：

描述：立即运行，只允许运行开发模式任务

URL参数/请求体

请求示例：

{

"product":"intern",

"user":"test01@corp.netease.com",

"clusterId":"dev4",

"project":"045236c1c43f4dcca7c20de2594d0b97$$dev",

"flow":"F\_dianxin",

"scheduleTime":1680858311,

"testModeEnable":true,

"alertSetting":{

    "conditions":\[

        "succeed",

        "failed"

    \],

    "channelIds":\[

        1,

        2,

        3

    \]

},

"resourceGroupMode":"online",

"disableJobs":\[

\],

"execSetting":{

    "yarnId":"default",

    "yarnFullQueue":"default.intern\_new.sla",

    "retrySetting":{

        "enable":true,

        "maxTimes":3,

        "interval":3000

    },

    "failureAction":"CANCEL\_ALL",

    "concurrentSetting":"skip",

    "parameters":{

    }

}

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": {

    "project": "045236c1c43f4dcca7c20de2594d0b97$$dev",

    "flow": "F\_dianxin",

    "msg": null,

    "execId": 15355132

},

"reqId": "6bd81fdb969c4e3e8b81c27b4ff5526f",

"cost": 1877

}

2.3.6 开发模式取消立即运行

POST /task/v1/execute/cancel

产品版本：

描述：取消立即运行

URL参数/请求体

请求示例：

{

"product":"intern",

"user":"test01@corp.netease.com",

"clusterId":"dev4",

"project":"045236c1c43f4dcca7c20de2594d0b97$$dev",

"flow":"F\_dianxin",

"execId":15355161

}

响应体

响应示例：

{

"code": -2,

"msg": "OpenApi调用失败：取消任务立即运行失败：任务运行status=SUCCEEDED，任务运行实例已是终态",

"result": null,

"reqId": "6ffaa78c1c714332a935fa2905094314",

"cost": 968

}

2.3.7 开发模式查询立即运行状态

GET /task/v1/execute/status/get

产品版本：

描述：查询立即运行状态

URL参数/请求体

请求示例：

curl 'http://127.0.0.1:8080/task/v1/execute/status/get?product=intern&user=test01@corp.netease.com&clusterId=dev4&execId=15355161'

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": {

    "project": "045236c1c43f4dcca7c20de2594d0b97$$dev",

    "projectAliasName": "F\_dianxin",

    "flow": "F\_dianxin",

    "flowAliasName": "F\_dianxin",

    "startTime": 1680858597631,

    "endTime": 1680858598213,

    "status": "SUCCEEDED",

    "execDuration": 582,

    "jobExecDetails": \[

        {

            "job": "F\_dianxin",

            "jobAliasName": "F\_dianxin",

            "startTime": 1680858597648,

            "endTime": 1680858597687,

            "execDuration": 39,

            "status": "SUCCEEDED"

        }

    \]

},

"reqId": "742387e443cf4c0a865b554c41bcb4a7",

"cost": 3304

}

2.3.8 创建任务

POST /task/v1/create

产品版本：

描述：创建任务，只支持多节点任务

URL参数/请求体

请求示例：

{

"product":"intern",

"clusterId":"dev4",

"user":"test01@corp.netease.com",

"folderId":4967,

"flowAliasName":"test\_create\_openapi\_task",

"comment":"这是一个测试任务包"

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": {

    "folderId": 4967,

    "folderName": "test\_openapi\_folder\_name",

    "owner": null,

    "project": "18c8c519f0cc45e4aa9c3b0ce72206bd$$dev",

    "projectAliasName": null,

    "flow": "test\_create\_openapi\_task",

    "flowAliasName": "test\_create\_openapi\_task",

    "comment": "这是一个测试任务包",

    "lockInfo": null

},

"reqId": "9daabe3628b54bb29d10e2977a3adcee",

"cost": 2145

}

2.3.9 上传任务包

POST /task/v1/upload

产品版本：

描述：上传任务包，只支持多节点任务

URL参数/请求体

请求示例：

curl -H

"Content-Type: multipart/form-data; boundary=----------0x15f0e7eb752"

--data "

------------0x15f0e7eb752

Content-Disposition: form-data; name=

"file"; filename="test_task.zip"

Content-Type: form-data

------------0x15f0e7eb752--"

http://ip:port/flow/v1/upload

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": null,

"reqId": "febbc95cbfa744ff94dfd42fd3ff7571",

"cost": 321

}

2.3.10 移动文件夹下任务

POST /task/v1/move

产品版本：

描述：移动文件夹下任务

URL参数/请求体

请求示例：

{

"product":"intern",

"user":"sunweipeng01@corp.netease.com",

"clusterId":"dev4",

"project":"18c8c519f0cc45e4aa9c3b0ce72206bd$$dev",

"oldFolderId":4967,

"newFolderId":4871

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": null,

"reqId": "500d2c04463441e2b00ba680eee10e95",

"cost": 1019

}

2.3.11 查询任务关联issue上线变更统计(v6.6.5.1新增)

GET /task/v1/issue-statistic/list

产品版本：

描述：查询任务关联issue上线变更统计

URL参数/请求体

请求示例：

http://127.0.0.1:8080/task/v1/issue-statistic/list?product=intern&user=test01@corp.netease.com&clusterId=dev4&pageNum=1&pageSize=25&startTime=2022-11-14&endTime=""&submitterEmail=""

响应体

响应示例：

2.4 调度

2.4.1 查询调度详情

GET /schedule/v1/detail/get

产品版本：

描述：查询调度详情

URL参数/请求体

请求示例（参数未编码，调用时请编码）：

curl 'dev&flow=C\_dianxin02"">http://127.0.0.1:8080/open-api/schedule//v1/detail/get?product=intern&user=test01@corp.netease.com&clusterId=dev4&project=cad926ea77044e178c423239a874c91fdev&flow=C\_dianxin02'

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": {

    "scheduleId": 13480,

    "project": "cad926ea77044e178c423239a874c91f",

    "flow": "C\_dianxin02",

    "flowAliasName": "C\_dianxin02",

    "crossSelfDepend": false,

    "dependSamePeriod": true,

    "periodInfo": {

        "type": "PERIOD",

        "periodValue": 1,

        "periodUnit": "DAY",

        "cron": null

    },

    "timeSetting": {

        "scheduleStartTime": 1680859500000,

        "scheduleStartTimeString": "2023-04-07 17:25:00",

        "nextExecTime": 1680859500000,

        "nextExecTimeString": "2023-04-07 17:25:00",

        "scheduleExpireTime": null,

        "scheduleExpireTimeString": ""

    },

    "status": "READY",

    "calendarInfo": {

        "calendar": "",

        "calendarName": "",

        "status": 0,

        "effectMode": ""

    },

    "scheduleDependencies": \[

        {

            "product": "intern",

            "project": "1e7ed3de841f4322aa2ae25064decd70",

            "flow": "12324222222",

            "flowAliasName": "12324222222",

            "dependentJobInfo": {

                "job": "12324222222",

                "jobAliasName": "12324222222"

            },

            "jobInfo": null,

            "offset": 0

        },

        {

            "product": "intern",

            "project": "a19780547dd548daa35434d050f24af8",

            "flow": "1111111",

            "flowAliasName": "1111111",

            "dependentJobInfo": {

                "job": "script",

                "jobAliasName": "script"

            },

            "jobInfo": {

                "job": "C\_dianxin02",

                "jobAliasName": "C\_dianxin02"

            },

            "offset": 0

        }

    \],

    "executionSetting": {

        "highPriority": true,

        "yarnId": "default",

        "yarnQueue": "intern\_new",

        "retrySetting": {

            "enable": true,

            "maxTimes": 2,

            "interval": 30000

        },

        "failureAction": "FINISH\_CURRENTLY\_RUNNING",

        "concurrentSetting": "CONCURRENT\_OPTION\_SKIP",

        "parameters": {

            "name": "test"

        }

    },

    "disableJobInfos": \[\]

},

"reqId": "b7d141fb488b44ed8cf67ed1535ce20d",

"cost": 3106

}

2.4.2 设置调度

POST /schedule/v1/set

产品版本：

描述：设置调度

URL参数/请求体

请求body

{

"project":"cad926ea77044e178c423239a874c91f$$dev",

"flow":"C\_dianxin02",

"crossSelfDepend":false,

"dependSamePeriod":true,

"periodInfo":{

    "type":"PERIOD",

    "periodValue":1,

    "periodUnit":"DAY",

    "cron":"34 22 \* \* \*"

},

"timeSetting":{

    "scheduleStartTime":16560504000000,

    "scheduleExpireTime":-1

},

"calendarInfo":{

    "calendar":"sys\_sch\_hs",

    "effectMode":"currentDay"

},

"scheduleDependencies":\[

    {

        "product":"intern",

        "project":"af91385082ee46ddb3ae69cf8e64fc51$$dev",

        "flow":"TestAuthInfo",

        "dependentJob":"失败的",

        "job":"trigger\_node",

        "offset":0

    }

\],

"execSetting":{

    "yarnId":"default",

    "yarnFullQueue":"default.intern\_new.sla",

    "retrySetting":{

        "enable":true,

        "maxTimes":3,

        "interval":3000

    },

    "failureAction":"FINISH\_ALL\_POSSIBLE",

    "concurrentSetting":"CONCURRENT\_OPTION\_IGNORE",

    "parameters":{

        "name":"swp"

    }

},

"disableJobs":\[

    "C\_dianxin02"

\],

"product":"intern",

"user":"test01@corp.netease.com",

"clusterId":"dev4"

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": 13482,

"reqId": "ab125cf8f7764879a65922d68d5baa4b",

"cost": 2492

}

2.4.3 更新调度

POST /schedule/v1/update

产品版本：

描述：更新调度

URL参数/请求体

请求body

{

"scheduleId":13482,

"project":"cad926ea77044e178c423239a874c91f$$dev",

"flow":"C\_dianxin02",

"crossSelfDepend":false,

"dependSamePeriod":true,

"periodInfo":{

    "type":"PERIOD",

    "periodValue":1,

    "periodUnit":"DAY",

    "cron":"34 22 \* \* \*"

},

"timeSetting":{

    "scheduleStartTime":16560504000000,

    "scheduleExpireTime":-1

},

"calendarInfo":{

    "calendar":"sys\_sch\_hs",

    "effectMode":"currentDay"

},

"scheduleDependencies":\[

    {

        "product":"intern",

        "project":"af91385082ee46ddb3ae69cf8e64fc51$$dev",

        "flow":"TestAuthInfo",

        "dependentJob":"失败的",

        "job":"trigger\_node",

        "offset":0

    }

\],

"execSetting":{

    "yarnId":"default",

    "yarnFullQueue":"default.intern\_new.sla",

    "retrySetting":{

        "enable":true,

        "maxTimes":3,

        "interval":3000

    },

    "failureAction":"FINISH\_ALL\_POSSIBLE",

    "concurrentSetting":"CONCURRENT\_OPTION\_IGNORE",

    "parameters":{

        "name":"swp"

    }

},

"disableJobs":\[

    "C\_dianxin02"

\],

"product":"intern",

"user":"sunweipeng01@corp.netease.com",

"clusterId":"dev4"

}

响应体

响应示例：

{

"code": 0,

"msg": null,

"result": 13482,

"reqId": "ab125cf8f7764879a65922d68d5baa4b",

"cost": 2492

}

2.4.4 取消调度

POST /schedule/v1/cancel

产品版本：

描述：取消调度

URL参数/请求体

请求body

{

"product":"intern",

"user":"test01@corp.netease.com",

"clusterId":"dev4",

"project":"cad926ea77044e178c423239a874c91f$$dev",

"flow":"C\_dianxin02"

}

响应体