数据-python 实现爬取网页的审查元素,求大神路过

问题描述

python 实现爬取网页的审查元素,求大神路过

网页源代码只有 JavaScript,没有我想要的数据。只能通过审查元素看到,怎样才能抓取审查元素的内容 暂时用的是selenium,但只能看源代码。求大神路过

解决方案

selenium拿到数据后,用lxml来解析节点,获取你对应的数据

解决方案二:

beautifulsoup试试吧。。

解决方案三:

我发现了一个在云上写和运行爬虫的网站,http://www.shenjianshou.cn/。被吓到了,之前就有过这种想法,终于有人帮我实现了。哈哈,推荐给大家,官方技术真牛逼!

解决方案四:

beautifulsoup试试看?

时间: 2016-01-13

数据-python 实现爬取网页的审查元素,求大神路过的相关文章

ubuntu上python无法爬取网页

问题描述 ubuntu上python无法爬取网页 在ubuntu12.04下写了个简单的python测试代码: -*- coding: UTF-8 -*- import time,urllib2,urllib,StringIO,sys,os,multiprocessing,sqlite3 if name == '__main__': stockUrl="http://www.baidu.com" stockWeb = urllib.urlopen(stockUrl).read() pr

javaweb-通过request获取表单数据,但封装不到对象中,求大神解答!

问题描述 通过request获取表单数据,但封装不到对象中,求大神解答! # User类有username和password两个属性,封装的时候只能封装进去password,输出map的值的时候,里面是有的-- 以下是封装语句: User form = CommonUtils.toBean(request.getParameterMap(),User.class); 以下是CommonUtils类的toBean()方法:(不允许使用尖括号,泛型就用圆括号代替了-) public static (

net文件流 下载-用流下载文件时,下载文件名后的文件名为什么老是当前网页的名称,求大神指导

问题描述 用流下载文件时,下载文件名后的文件名为什么老是当前网页的名称,求大神指导 System.IO.FileInfo file = new System.IO.FileInfo(xpath); Response.Clear(); Response.Charset = "GB2312 "; Response.ContentEncoding = System.Text.Encoding.UTF8; //Response.ContentType = "application/o

c语言取小数问题,急求大神解答!

问题描述 c语言取小数问题,急求大神解答! 程序是#include int main() { float a,b; int n; scanf("%f",&a); n=(1000*a+0.5); b=(n*1.0)/1000; printf("%f",b); return 0; } 输入123.4567 输出是123.457001 输入1234.567 输出时1234.567017 输入12345.67 输出是12345.669922 为什么会这样呢?求大神解

一个小的python作业系统,看不懂,急求大神指点

问题描述 一个小的python作业系统,看不懂,急求大神指点 主要就是可以发布作业,查看提交作业的系统,是后台的程序 #!/usr/bin/env python -*- coding: utf-8 -*- import os.path import sys import time import tornado.httpserver import tornado.ioloop import tornado.options import tornado.web from tornado.option

c#这段代码向数据库批量添加数据为何1000行就需要10分钟啊求大神帮忙优化啊

问题描述 c#这段代码向数据库批量添加数据为何1000行就需要10分钟啊求大神帮忙优化啊 public void ShuaXin() { SqlCommand com = new SqlCommand(""delete from priceavg"" DBHelper.con); DBHelper.con.Open(); com.ExecuteNonQuery(); adapter = new SqlDataAdapter(""select *

httpurlconnection-Android 向远程网站发送数据问题,变量和常量的区别。求大神解答。。。

问题描述 Android 向远程网站发送数据问题,变量和常量的区别.求大神解答... Button button = (Button) findViewById(R.id.button); button.setOnClickListener( new View.OnClickListener() { @Override public void onClick(View view) { // boolean flag = sendUserInfo(); Map<String, String> p

html5-jsp页面取值延迟问题,求大神们指点一下

问题描述 jsp页面取值延迟问题,求大神们指点一下 求助大神们,有三个jsp页面,分别为a.jsp b.jsp header.jsp a , b 都include了header.jsp 现在在a和b中分别对属性赋值: a:<%session.setAttribute("isReturn", "return");%> b:<%session.setAttribute("isReturn", "quit");%&

自己写的一个抓取网页内容的小东西,但是不知道提示网页报错,求大神看看!

问题描述 usingSystem;usingSystem.Collections.Generic;usingSystem.Linq;usingSystem.Text;usingSystem.Net;usingSystem.IO;usingSystem.Text.RegularExpressions;namespaceConsoleApplication3{classProgram{staticvoidMain(string[]args){//stringurl="http://172.16.10