用Node.js发送API Request获得网站数据小例一则

Node.js是一个JavaScript 的 runtime 环境，允许你在浏览器外执行js代码，提供了更多和文件系统交互的可能，比如读写本地文件，获得计算机信息等。
有一些网站提供API交互，使你可以不通过普通用户的使用方式（键鼠输入，靠点击在网页内容间跳转等等），而是使用代码直接和其互动，因此也有更多自动化的可能。比如通过微博的API，写一段代码来自动发布博文等。

---

以下是一个完整的JS文件，只有这几行，如果你打开网站https://jsonplaceholder.typicode.com/todos，会看到一堆数据，这段代码就是用来得到/下载这一页数据的。（这个网站的内容没有什么实际意义，人如其名jsonplaceholder，其创建的初衷就是用来发送一些无意义的JSON数据做展示用的）

这个https的URL就是我们API的endpoint（端点）。
根据它们的网页介绍 https://jsonplaceholder.typicode.com/，你可以使用的端点有：

/posts	100 posts
/comments	500 comments
/albums	100 albums
/photos	5000 photos
/todos	200 todos
/users	10 users

fetch不同的端点，你会得到不同的数据。

const URL = "https://jsonplaceholder.typicode.com/todos";

fetch(URL)
  .then((response) => response.json())
  .then((json) => console.log(json))
  .catch((err) => console.error(err));

这个网页只是一个很简单的不需要验证用户身份（不需要账号登录）的例子，但很多时候你是需要账号信息来交互的。

---

Outline是一个类似简书这样可以发文章的，面向小团队的类WIKI网站，提供API交互。
我现在想要试试怎么和它的API交互。
首先根据它们的文档https://www.getoutline.com/developers，我需要在个人用户设置里先创建API key，
然后构建fetch的header，把API key输入到Authorization里。
body部分是request的内容，在文档里我们可以看到很多类别的request例子，比如我们想要使用Retrieve a collection，

Screenshot from 2023-04-18 15-04-38.png

request samples 里的

{
  "id": "497f6eca-6276-4993-bfeb-53cbbbba6f08"
}

即是我们fetch的body部分。
用JSON.stringify()加入。
这个request需要文章的id或shareID，这种一般都是document页面URL的最后一段。

const fs = require("fs");

async function outlineRequest() {
  console.log("Sending request...");

  const response = await fetch(
    "https://app.getoutline.com/api/documents.list",
    {
      method: "POST",
      headers: {
        Accept: "application/json",
        "Content-Type": "application/json",
        Authorization: "Bearer ol_api_tV0AwsFOBclRHIUWA9OYuLz******",
      },
      body: JSON.stringify({

        shareId: "abe2b1b9-d302-4650-a57c-136e*****",

      }),
    }
  );

  const body = response.body;
  const document = body.data;
  const statusText = body.statusText;
  console.log("----body");
  console.log(body);
  console.log("----response.json()");
  j = await response.json();
  console.log(j);
  towrite = j.data.text;
  console.log("-----towrite");
  console.log(towrite);
  fs.writeFileSync("./content_Test.txt", towrite);
}
outlineRequest();

用命令行运行此JS

$ node getoutline.js

返回结果如下 （部分）：

Sending request...
----body
ReadableStream { locked: false, state: 'readable', supportsBYOB: false }
----response.json()
{
  data: {
    id: '7e71b7c3-4269-46a7-91df-2c24e05c3d46',
    url: '/doc/hfdgh-Hpnq5GmOwc',
    urlId: 'Hpnq5GmOwc',
    title: 'hfdgh',
    text: 'fghfdghfg\n' +
      '\n' +
      'fdghfd\n' +
      '\n' +
      'hfd\n' +
      '\n' +
      'h\n' +
      '\n' +
      'fh\n' +
      '\n' +

‘text’部分即是我获取的这篇文章的正文部分了，我可以通过json的语法获取各部分内容，写入本地txt文档。