nodered里用http节点获取网页数据不完整

zhengyvxiang · 发表于 2023-2-27 13:19:42

本帖最后由 zhengyvxiang 于 2023-2-27 14:14 编辑

我在http节点里编辑好了header，设置好访问的页面，然后通过HTML标签选取我要的数据发现总是显示empty，哪位朋友给指条路该怎么解决啊，谢谢啦

lyg21883 · 发表于 2023-2-27 14:16:21

多给点信息吧，最起码把节点贴出来看看啊

zhengyvxiang · 发表于 2023-2-27 14:37:50

[attachimg]45727[/att Screenshot_20230227_142559_com.microsoft.emmx.jpg

achimg]
这个是是我的截图
下面是debug10的输出
<!DOCTYPE html>
<html class="wp-toolbar"
lang="zh-CN">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=UTF-8" />
<title>数据总览 &lsaquo; bravezzz — WordPress</title>
<script type="text/javascript">
addLoadEvent = function(func){if(typeof jQuery!=='undefined')jQuery(function(){func();});else if(typeof wpOnload!=='function'){wpOnload=func;}else{var oldonload=wpOnload;wpOnload=function(){oldonload();func();}}};
var ajaxurl = '/wp-admin/admin-ajax.php',
pagenow = 'toplevel_page_wps_overview_page',
typenow = '',
adminpage = 'toplevel_page_wps_overview_page',
thousandsSeparator = ',',
decimalPoint = '.',
isRtl = 0;
</script>
<link rel='dns-prefetch' href='//xxxxxxx.com.cn' />
<style type="text/css">
img.wp-smiley,
img.emoji {
display: inline !important;
border: none !important;
box-shadow: none !important;
height: 1em !important;
width: 1em !important;
margin: 0 0.07em !important;
vertical-align: -0.1em !important;
background: none !important;
padding:...

louis_lee · 发表于 2023-2-27 14:55:01

数据是js动态加载的吧？

xiaohuoya888 · 发表于 2023-2-27 17:08:18

检查一下路径，你贴出来的HTML并没有看到你要获取的节点

zhengyvxiang · 发表于 2023-2-27 17:33:47

louis_lee 发表于 2023-2-27 14:55
数据是js动态加载的吧？

动态加载的话应该怎么获取呢？

zhengyvxiang · 发表于 2023-2-27 17:35:44

xiaohuoya888 发表于 2023-2-27 17:08
检查一下路径，你贴出来的HTML并没有看到你要获取的节点

我的路径是用浏览器打开完整网页后复制的，这里的http节点输出的内容不是完整的呀，所以就显示获取的内容为空

louis_lee · 发表于 2023-2-27 18:10:06

zhengyvxiang 发表于 2023-2-27 17:33
动态加载的话应该怎么获取呢？

可以使用诸如selenium等web自动化框架，需要一定学习成本，可以网上了解下

zhengyvxiang · 发表于 2023-2-27 18:29:39

本帖最后由 zhengyvxiang 于 2023-2-27 18:32 编辑

louis_lee 发表于 2023-2-27 18:10
可以使用诸如selenium等web自动化框架，需要一定学习成本，可以网上了解下

selenium我会用，但是怎么在nodered使用啊，能直接用吗，需不需要安装什么包

hackyjso · 发表于 2023-2-27 21:56:29

debug 就打印不了多少内容，好像有字数限制

		自动登录	找回密码
密码			立即注册

[求助] nodered里用http节点获取网页数据不完整