网页-网页外包-北京网页外包

搜 索

Search:网页


node js 调用kimi 接口批量生成网页

目录结构: src src/htmlsrc/jssrc/json package.json{  "author": "Your Name",  "license": "ISC",  "type": "module",...目录结构: src src/htmlsrc/jssrc/json package.json{  "author": "Your Name",  "license": "ISC",  "type": "module",  "dependencies": {    "fs": "^0.0.1-security",    "marked": "^14.1.1",    "openai": "^4.58.0"  }}js/config.js // 指定要创建的 JSON 文件的路径const filePathJson = '../json/data.json'; export { filePathJson } fsHandle.js内容import fs from 'fs'; // 导入 fs 模块 export function creatJson(filePath, jsonContent) {    // 使用 fs.writeFile 方法写入 JSON 文件    fs.writeFile(filePath, jsonContent, (err) => {        if (err) {            console.error('An error occurred:', err);            return;        }        console.log('JSON data has been saved to', filePath);    });} libkimi.js  内容 import {  OpenAI } from "openai"; const client = new OpenAI({    apiKey: "", // 在这里将 MOONSHOT_API_KEY 替换为你从 Kimi 开放平台申请的 API Key    baseURL: "https://api.moonshot.cn/v1",}) export async function someAsyncOperation(obj) {    // 模拟一个异步操作,比如从API获取数据    return new Promise(async (resolve) => {         const completion = await client.chat.completions.create({            model: "moonshot-v1-8k",            messages: [                {"role": "system", "content": "你是 Kimi,由 Moonshot AI 提供的人工智能助手,你更擅长中文和英文的对话。你会为用户提供安全,有帮助,准确的回答。同时,你会拒绝一切涉及恐怖主义,种族歧视,黄色暴力等问题的回答。Moonshot AI 为专有名词,不可翻译成其他语言。"},                {"role": "user", "content":obj.title}            ],            temperature: 0.3,        })        resolve(completion.choices[0].message.content)    });  } test.js 执行文件import { someAsyncOperation } from './libkimi.js';import { marked } from 'marked';import { creatJson } from './fsHandle.js';import { filePathJson } from './config.js';import fs from 'fs'; // 导入 fs 模块 let array = [{    title: "帮我写理财融资最好的方案都有哪些"}, {    title: "帮我写提升工作效率的方案"}, {    title: "帮我写如何更好的向上管理"}] async function asyncMapWithAwait(array, asyncFunction) {    const results = [];    for (const item of array) {        let markdownText = await asyncFunction(item);        console.log(markdownText); //单独数据        let htmlText = marked.parse(markdownText)        fs.writeFileSync(`../html/${item.title}.html`, htmlText);         let tempJson = {            title: item.title,            content: marked.parse(htmlText)        }        results.push(tempJson);    }    return results;} console.log("config.filePath.json",filePathJson) // 使用asyncMapWithAwait(array, someAsyncOperation).then((results) => {    console.log(results); // 输出: [2, 4, 6, 8, 10]    // 将 JSON 对象转换为字符串    let jsonContent = JSON.stringify(results, null, 2); // 使用缩进为 2 空格的格式    creatJson(filePathJson, jsonContent)});     
标签:

Chrome插件轻松抓取网络数据,Chrome插件轻松抓取网页源码数据

 访问互联网并抓取所需信息是一件非常普遍的事情。chrome插件则成为了许多人的首选,它可以为我们提供方便快捷的操作方式。本文将从9个方面详细分析chrome插件访问网络抓取的方法和技巧,为大家带来更好的使用体验。 一、chrome插件简介 Chrome插件是一种运行在谷歌浏览器上的软件程序,可以改变浏览器功能或添加新功能。Chrome插件可以用于数据采集、自动化测试、广告过滤、开发调试等方面。其主要优点是安装方便,使用简单。... 访问互联网并抓取所需信息是一件非常普遍的事情。chrome插件则成为了许多人的首选,它可以为我们提供方便快捷的操作方式。本文将从9个方面详细分析chrome插件访问网络抓取的方法和技巧,为大家带来更好的使用体验。 一、chrome插件简介 Chrome插件是一种运行在谷歌浏览器上的软件程序,可以改变浏览器功能或添加新功能。Chrome插件可以用于数据采集、自动化测试、广告过滤、开发调试等方面。其主要优点是安装方便,使用简单。 二、访问网络抓取 Chrome插件可以通过HTTP请求访问网络获取数据。HTTP请求是一个客户端向服务器发送请求并接收响应的过程。在Chrome插件中,可以使用XMLHttpRequest对象或fetch API来发起HTTP请求。 三、抓取页面内容 在Chrome中,可以通过content script注入到页面中来获取页面内容。content script是指在浏览器渲染页面时注入到DOM中执行的脚本,它可以与页面交互并修改页面内容。 四、解析HTML内容 在抓取页面内容后,往往需要对HTML内容进行解析。Chrome插件可以使用jQuery或原生的DOM API来解析HTML内容。其中,jQuery是一种流行的JavaScript库,可以使DOM操作更加简单。 五、处理JSON数据 在访问网络抓取数据时,往往会返回JSON格式的数据。Chrome插件可以使用JSON.parse()方法将JSON字符串转换为JavaScript对象,并使用对象的属性来获取数据。 六、处理XML数据 除了JSON格式的数据外,访问网络时还会返回XML格式的数据。Chrome插件可以使用XMLHttpRequest对象或fetch API来获取XML数据,并使用DOMParser对象将XML字符串转换为DOM对象进行解析。 七、保存数据到本地 在抓取到所需数据后,我们往往需要将其保存到本地。Chrome插件可以使用chrome.storage API将数据保存到浏览器本地存储中。  八、导出数据到文件 除了保存到本地外,有时候我们还需要将数据导出到文件中。Chrome插件可以使用FileSaver.js库将数据导出为CSV或Excel格式的文件。 九、注意事项 在进行网络抓取时,需要注意一些法律和道德问题。例如不得侵犯他人隐私、不得盗用他人知识产权等。此外,在进行大规模爬虫操作时还需要注意网站是否允许爬虫,避免造成不必要的麻烦。 本文详细分析了chrome插件访问网络抓取数据的方法和技巧,希望能够为大家提供帮助。在使用时需要注意法律和道德问题,并遵守网站规定。