今天看到新闻说代码审查也可以自动化，搜索了一下确实还有不少工具。
https://wenku.baidu.com/view/8f28edd507a1b0717fd5360cba1aa81144318fa1.html
但似乎自动化代码审查只是lint吗? 我希望是AI智能一些的.

情感分析

一件事情给人造成正负面情感影响, 将会促使人进行相应的行动, 因此具有预测性.
百度的API分析情感还是比较准确的.只是只能分析2048个字符, 换成汉字就只有1024个.
百度多实体情感倾向分析可以在文章中分析不同实体的情感倾向.目前邀测阶段. 可以分析娱乐/财经/体育类型, 输入包括标题和正文, 正文可达6000字节.

判断两段文本说的是「同一件事情」

某一件事情第一次出现是新闻, 第二次就不是了. 所以怎么判断第二次说的和第一次的是同一件事情?
知乎上有个问题是问这个的, 答案有这么几种:

• 语义匹配
• 语义角色标注（SRL, semantic role labelling）
  百度API有短文本相似度, 最大512字节. 似乎不能判断英文和中文的相似度, 不过对中文判断似乎还好. 如"笔记本"和"膝上型电脑"相似度为0.70, 与"手提电脑"相似度为0.60, 与"手机"相似度为0.36,判断还算正确.
  还有词义相似度, 最大64字节.
  但对于文章相似度分析还差得很远.

另一个思路, 从文章中抽取高频关键词, 看关键词是否有一致的.

scrapy直接用并不好用, 对于需要js渲染或动态dom的网页, scrapy爬不到.
这时候需要splash 中文文档 英文原档, 动态解析js并返回其最终渲染结果. splash实际上是一个docker image, 需要预先安装docker,然后拉取下来就可以用. 另外splash是基于lua的, 嗯, 感觉python+docker+lua,真是个缝合怪啊
介绍文章: https://www.bilibili.com/read/cv12375274
github上有一个scrapy-splash的项目.

scrapy-splash使用方法

安装scrapy, splash, scrapy-splash

pip install scrapy
docker pull scrapinghub/splash
docker run -p 8050:8050 -p 5023:5023 scrapinghub/splash
# 在上一步命令以后,命令行界面将挂起运行docker, 此时需要新建一个命令行继续运行后面的命令
pip install scrapy-splash

新建一个scrapy项目

scrapy startproject tutorial

修改其中的settings.py文件, 简便起见, 加入下面内容即可

SPLASH_URL = 'http://127.0.0.1:8050'
DUPEFILTER_CLASS = 'scrapy_splash.SplashAwareDupeFilter'
HTTPCACHE_STORAGE = 'scrapy_splash.SplashAwareFSCacheStorage'
FEED_EXPORT_ENCODING = 'UTF-8' 
SPIDER_MIDDLEWARES = {
  'scrapy_splash.SplashDeduplicateArgsMiddleware': 100,
}
DOWNLOADER_MIDDLEWARES = {
  'scrapy_splash.SplashCookiesMiddleware': 723,
  'scrapy_splash.SplashMiddleware': 725,
  'scrapy.downloadermiddlewares.httpcompression.HttpCompressionMiddleware': 810,
}

在spiders目录下, 新建一个爬虫文件, 比如爬虫名字叫df, 文件名字叫df_spider.py

import scrapy
from scrapy_splash import SplashRequest

class MySpider(scrapy.Spider):
    name = 'df'
    start_urls = ["http://example.com", "http://example.com/foo"]

    def start_requests(self):
        for url in self.start_urls:
            yield SplashRequest(url, self.parse, args={'wait': 0.5})

    def parse(self, response):
        page = '1' # response.url.split("/")[-2]
        filename = f'df-{page}.html'
        with open(filename, 'wb') as f:
            f.write(response.body)

项目目录下运行爬虫,会得到一个df-1.html的文件.

scrapy crawl df

查看这个文件是不是已经有js渲染, 如果还是没有渲染, 可增加爬虫文件中splash的wait时间, 上面设置的是0.5秒.
splash click一个元素的方式:

  assert(splash:runjs('document.querySelector(".next a[href]").click()'))

正常来说是不支持的. 看了很多文章, 这一篇https://www.helpwire.app/blog/allow-multiple-remote-desktop-connections-windows-10/是讲的最好的.
里面提到了几种方式, 一种是用github项目RDP Wrapper, 我试过好像不起作用. 另一个是修改Termsrv.dll文件, 用到hex编辑器, 这个管用.

copy c:\Windows\System32\termsrv.dll termsrv.dll_backup
takeown /F c:\Windows\System32\termsrv.dll /A
icacls c:\Windows\System32\termsrv.dll /grant Administrators:F
Net stop TermService

接着在十六进制编辑器里面搜索39 81 3C 06 00 00 0F 84 XX XX XX XX, 替换为B8 00 01 00 00 89 81 38 06 00 00 90,然后运行Net start TermService或者重启就可以了

C语言宏#define中#，##，#@和\的用法: https://blog.csdn.net/yishizuofei/article/details/81022590

define还有自动拼接字符串的功能, 如:

#define str "a" "b"  // 相当于str是"ab"
#define x "+"
#define str2 "a" x "b" //相当于str2是"a+b"
void main(){
  printf(str);
  printf(str2);
}
//将打印出 aba+b

四种基础要素

消费级产品是四种基础要素, 简称四要素. 这四个要素是消费市场对产品认可的关键. 包括:

• 外观. 外观至少占一半购买决策因素. 一眼看上去是不是喜欢, 值不值钱, 品质如何等等.
• 功能. 功能和价格构成另一半购买决策因素. 功能也是形成产品差异化的重要因素. 所谓同质化竞争一般就是指功能同质化.
• 品质. 品质是内在属性, 在购买决策时难以被消费者迅速感知. 消费者只能间接通过外观/价格/品牌/网上评价等因素判断.品质与价格一般会呈现此消彼长的关系.
• 价格. 价格区分消费层级. 人们对自己的预算以及这个产品应该值多少钱有自己的判断, 并将预算与目标价格产品形成匹配. 市场同质化竞争激烈的时候产品变成价格战, 进而牺牲难以感知的品质要素, 市场劣币驱逐良币, 不适合创业项目进入.

杠杆要素

杠杆要素是对基础要素组合成的产品形成杠杆加倍效果的. 是让消费者快速对产品形成认知的手段.
基础要素是1, 杠杆要素是后面的0. 基础要素做的不好, 杠杆越大越会反噬产品.

• 市场. 是通过市场宣传形成消费者对产品本身或产品品牌的认知, 影响消费者决策.
• 销售. 是直接让消费者或渠道形成购买决策并产生收入.
• 生态. 构建或融入一个生态, 利用生态促进消费者决策.

规模要素

规模要素影响这款产品能形成什么样的销售规模.

• 周期. 包括市场周期, 产品开发周期和产品量产周期. 市场是瞬息万变的, 适合一个品牌的产品的市场, 都有一个时间窗口, 这就是市场周期. 开发周期越长越不能及时对市场时间窗口的变化迅速反应. 导致市场错失良机. 量产周期影响库存备货和销售,进一步影响资金占用和现金流, 量产周期过长使得一段时间内备货过多,不能对市场淡旺季和临时加单及时反应, 导致库存或者积压或者不足.
• 数量. 产品生产能达到什么样的数量, 日产能/月产能是多少.

投入一个产品的节奏

创业项目或者小微企业, 先应该选择产品赛道. 选择赛道应该评估:

• 市场周期是否在上升前期.
• 产品功能是否有差异化, 是否在自己能力范围内.
• 是否有个优秀的愿意合作的代工工厂.
• 是否能在上升期之前将产品上市.

本着最小投入最大收益, 应从最重要的要素外观和功能起开始投入, 价格方面应有充裕余量, 不应切入以相同功能切入同质化严重的价格战市场.
切入顺序:

1. 有自己的软硬件的开发能力, 确保功能的差异化. 软硬件开发当然有第三方的方案公司可以提供, 然而这种方案一般已经比较成熟, 也就没有什么门槛, 容易同质化. 即使差异化的功能对方开发出来, 卖得好了要升级, 对方也很可能漫天要价. 此时ID/结构/供应链/项目管理都可以找一家优秀的代工企业完成. 只是需要注意: ID设计要按照自己的市场调研的想法进行.
2. ID设计能力. ID设计在消费决策中占比大, 对于公司的持续发展, 也需要持续储备产品ID设计. 因此在公司每年有4款以上产品推出时，应有自己的自己ID设计能力。
3. PMC物控和供应链管理能力。物控与供应链管理紧密结合，是确保公司利润、降低产品成本的重要手段。这里假设一个优秀的代工厂已经设计了优秀的结构和产品组装流程，下一步管控交期和成本的责任不能完全交给供应商，因为这不是他的利益所在。通过降低MOQ、交期、成本等降低公司最终成本，获得收益。
4. 项目管理和结构设计能力。结构设计承上启下，一方面实现ID设计，另一方面实现量产设计。好的结构设计能降低产品各个方面的成本，包括原料价格、模具可实现性、组装难度等等。拥有这项能力，对代工厂的要求可以大大降低。
5. 产线设计和品控能力。设计合理的作业指导书，对各个环节IQC、IPQC、OQC进行控制。此时工厂变成了单纯的代工角色，对产品的成本和品质有较好的控制，在产品市场成熟期也能建立品牌，进入主流价格区间，甚至有一定价格战的底牌。

人们遇到比自己更优秀的人，要么丑化他，要么神话他。我觉得这是刻在基因里面的。基因要求更优秀的人塑造更好的基因环境。
可一旦神化了一个人，这个人就没有缺点了，他大概每天要做的事情就是正确的事情，别的事情他大概都不会做了。现在可以把这么一个人代入想象一下：这个人是不是要吃饭？要不要做爱？会不会放屁拉屎尿尿？
更重要的是，这个人真的不会说错话做错事吗？想想那些现在的和过去的伟大的人物，他们有这样那样的称号：伟人、圣贤、活佛、神……互联网时代还会叫某某爸爸。当然也感谢这个时代，信息每分每秒从地球各地传来，能让我们认识到，即使是做到顶级优秀的人，他也是在不断地犯错。乔布斯会犯错，他也出过失败的产品比如Lisa。马斯克也会犯错，他回顾自己在做Roadster的时候拿着创业团队的开发手板当做量产，还买了莲花汽车的油车底盘当电车底盘，可谓是一错再错。做领导到顶级的，美国总统应该算是其一了吧，那么川普和拜登满嘴跑火车的可就更多了。
既然商界神一样的人物乔布斯马斯克会犯错，既然政界顶级的大佬也会犯错，那么不如他们的大批大批人类————或许我该说所有人类————当然也会大把大把的犯错。推而广之，历史上的所有人类概莫能外。我们之所以没看到他们犯错，大概率是因为他们自己或者他们身边的人不让我们看到。既然家丑都不得外扬，圣贤伟人之错就更不能说了。还有，在他们作为圣贤伟人的时间和地域之内看不到错误，在这之外可就大把错误了。比如当朝皇上不会有错，后世评价可就未必了。朝鲜总书记在朝鲜不会有错，在朝鲜之外可是调侃对象了。
还有孔圣人，活着的时候没当成圣人，都没有国家接纳，那时候看起来肯定很多错。汉朝董仲舒“罢黜百家，独尊儒术”之后才成了圣人，此时孔子已经死了300多年。到了20世纪初期新文化运动，孔子被鲁迅为代表的一众人骂的狗血喷头，直到十年之劫时期还要打倒孔家店。到今日，我们又在全球到处开办孔子学院，又开始尊儒术，不知孔子他老人家的问题还说不说得了。
那么，圣贤伟人为什么可以成为圣贤伟人？有时候是运气，有时候是认准了方向与自己能力匹配坚持了下去（也即是准确预测了未来并投资了未来）。皇帝太子当了皇帝，必然有运气，投胎不对基本没戏。另外商界成功运气之外还是看综合预测能力，即使我小错不断，但大方向对了，而且还有能力比别人提前实现，那就能最后成功，成功之后成了神，就“没有错误了”。
所以，不能怕犯错，关键要做决策。方向要搞对，搞对就得坚持。

是需要解决以下矛盾:

1. 物品多而杂, 收纳困难-->电器和家具功能集成化小型化
2. 各人因学习需要上网课, 工作需要在线会议, 娱乐需要看各自的视频, 需要解决独享私密空间和共享公共空间之间的矛盾.
3. 需要解决在家办公学习更便利却产生的紧张感, 和家庭温馨舒适环境的矛盾-->办公用品/电器/软装从冷酷变得家居化.

办公室的办公环境喜欢用黑白或者蓝色等冷色调, (暖色调限于员工办公桌面)以及大量的玻璃隔断, 老板房间喜欢用棕红色木纹, 小到只摆放一套茶具, 达到整个房间用红木装修, 体现自己和公司的气派. 所有装饰横平竖直, 几乎看不到大圆角和曲线, 展示的是一种规矩. 人接触的大多数平面为硬表面, 办公椅千篇一律, 除了老板的大皮椅子, 大多数椅子采用绒布表面, 椅垫不厚. 不柔软就缺少温暖.

所以目标是既实用又温馨.

有舍才有得, 哪些家具应该被换掉?

• 房间较小的家庭, 儿童房二层为床,一层可以作为专注力的学习空间.
• 房间较大的家庭, 已经购置学习桌或者打算购置学习桌的, 可以替换掉学习桌所占用的面积.
• 对于主卧, 也可以做成双层, 两种方案, 一是上面床下面办公, 这种方式感觉多了一层疲惫感, 每次还要爬上去; 另一种是下面床上面办公. 这种方式要一定防止大的噪音, 如脚步声和挪动桌椅的声音.
• 对于客厅,可以把沙发换成学习办公房. 学习办公的时候最好可以把电视收起来或者隐蔽起来.

从B站视频https://www.bilibili.com/video/BV1D34y1e7Yh?spm_id_from=333.337.search-card.all.click拆解两个蓝牙遥控器的方案中发现线索, 大款的遥控器采用的是Yichip 易兆微 的YC1039芯片.
从易兆微的官网上开到YC10xx系列主要用于防丢器,蓝牙自拍等方案.
除了1039外, YC1021是百度搜索时自动推荐的关键词, 有可能用得也很广泛.

搞了半天的PlayWright, 忽然想到这不应该有无代码的爬虫工具么? 比如叫数据采集器? Data Collector?
查了一下国内的火车头采集器和国外的有些采集器真的收费不菲, 然后就发现Chrome应用商店里有crx应用, 尝试了1个, 发现真香,哈哈.
名称: Instant Data Scraper 和 NoCoding Data Scraper - Easy Web Scraping
这里还有一篇文章https://zapier.com/blog/best-data-collection-apps/介绍了5个, 不过还没有细看.

Instant Data Scraper

尝试了Instant Data Scraper, 体验很好, 非常好用. 强烈推荐.
它的特点是可以对翻页表格数据和无限流数据进行爬取, 配置速度极快. 问题是不能爬取表格内的详情页.
基本使用方式: 点击try another table, 切换到数据区域后, 点击Locate "next" button, 选择下一页按钮, 如果是无限流页面,则选择无限流, 然后对列进行删减选择, 点击start crawling开始爬取.

Web Scraper - Free Web Scraping

它就可以一级一级的深入到详情页爬取, 相对强大一些, 但配置起来也也要慢一些. 每一个要爬取的参数都要单独配置.

油猴

油猴里搜索scraper也有一些脚本. 有空可以体验.

讲得蛮好.

1. 如果通胀高于利率, 负债是有利的. 另外比如美国是负利率, 负债还能赚钱.
2. 2008~2018年贷款是有折扣甚至是低于五年期LPR 4.6%的,都不用急着还钱. 公积金一定不用还, 利息只有3.25%. 2019年10月由个人基准贷款利率转变为LPR利率是比较高的,首套5.5%以上, 二套6%以上, 就不划算了, 可以早点还完.
3. 在不同的城市有普惠金融, 可以抵押房产获取4%的贷款, 这样可以换完申请这种低息贷款.
4. 如果等额本息先还的是利息, 超过1/3, 再还是一样的. 等额本金比较适合提交前还贷.
5. 有房贷的个税抵扣每个月可以抵扣1000元.

主要能源对比

注意:都没有计算封装, 如装气的气管, 装油的油箱, 装电池的封装.装电池的封装应该体积和重量还是比较高的.
另外, 实际还需要考虑生产该项能源所需要花费的能量或者成本, 下面也没有列出来.

单位换算

1大卡(千卡) = 4.19 千焦耳
1Wh(瓦时) = 3.6 千焦耳

以秦对比

刀片电池参数

参考文章

以下都是基于Python的. playwright也支持js和java
强大易用！新一代爬虫利器 Playwright 的介绍
playwright 爬虫使用, 这篇参考了上一篇, 算是学习笔记, 另外增加了cookie使用
Scraping the web with Playwright
官方文档

概述

Playwright用作爬虫入门最麻烦的就是, 一开始看官方介绍文档最费劲没用. 官方文档上来就是介绍怎么测试, 运行用的命令也不一样, 其实完全不需要那么麻烦.

安装

npm i playwright

正常的安装方式. 如果是官方文档 ,这一步就麻烦很多.

使用

官方文档上来就导入了test库, 而用于爬虫完全不需要. 以爬取eastmoney的新闻为例:

const playwright = require('playwright');
async function main() {
    const browser = await playwright.chromium.launch({
        headless: false // setting this to true will not run the UI
    });

    const page = await browser.newPage();
    await page.goto('https://so.eastmoney.com/news/s?keyword=%E5%90%9B%E5%AE%9E%E7%94%9F%E7%89%A9');
    const titles = await page.$$eval('.news_item', ele=>{
      // return ele.innerText
      let t = []
      for(e of ele){
        t.push({
          title: e.querySelector('.news_item_t a').text,
          link: e.querySelector('.news_item_t a').href,
          time: e.querySelector('.news_item_time').textContent,
        })
      }
      return t
    })
    console.log(titles)
    await page.waitForTimeout(5000); // wait for 5 seconds
    await browser.close();
}

main();

正式进入爬虫前有三步: 1. playwright打开浏览器; 2. 浏览器打开空页面; 3. 空页面打开网址;
正式爬虫就是用page.$eval或者page.$$eval函数从页面的上下文环境(等同于浏览器的console)中运行js并返回.
$eval相当于浏览器console中的$, 而$==document.querySelector, 必填参数第一个是选择器, 第二个是回调函数element=>{}, element是第一个选择到的元素
$$eval相当于浏览器console中的$$, 而$$==document.querySelectorAll, , 必填参数第一个是选择器, 第二个是回调函数elements=>{}, elements是选择到的所有元素数组.
然后在console环境整理好所有内容, return出来就好了.
这一步真的so easy, 比scrapy+splash+scrapy_splash不要强太多.

但值得注意的一点是, 很多网站上都是用了jquery导致$被jquery占用后无法正常选择,这时候还是老老实实用回document.querySelector吧

神器 selectorgadget

用这个做选择器非常舒爽

代码结构优化

const playwright = require('playwright');

async function main() {
  const browser = await playwright.chromium.launch({
      headless: false // setting this to true will not run the UI
  });

  const page = await browser.newPage();
  await page.goto('https://so.eastmoney.com/news/s?keyword=%E5%90%9B%E5%AE%9E%E7%94%9F%E7%89%A9');
  await scraper(page)
  await scraper(page)

  await page.waitForTimeout(5000); // wait for 5 seconds
  await browser.close();
}

async function scraper(page){
  let titles = await page.$eval('body', scraperCb)
  console.log(titles)
  await page.waitForTimeout(500); // wait for 5 seconds
}

function scraperCb(body){
  let t = []

  function getTitles(){
    let ele = body.querySelectorAll('.news_item')
    for(e of ele){
      t.push({
        title: e.querySelector('.news_item_t a').text,
        link: e.querySelector('.news_item_t a').href,
        time: e.querySelector('.news_item_time').textContent,
      })
    }
  }

  getTitles()
  body.querySelector('.fydot~ a+ a').click()

  return t
}

main();

改成三个函数的结构:

• main函数: 负责进入页面, 循环运行爬虫抓取下一页
• scraper函数: 负责运行$eval函数, 获取页面返回值, 并点击下一页, 等待执行完毕.
• scraperCb函数: 为$eval回调的函数, 内容在页面上下文运行, 其中的变量与爬虫主程序完全隔离.
  另外, scraper函数选择器改为body, 便于在回调函数中抓取并处理所有的元素

文章1链接: https://baijiahao.baidu.com/s?id=1728142987776616748&wfr=spider&for=pc
转发如下:
1：如果对方为个人，不能开具发票，可以让对方提供身份信息，通过税收园区自然人代开发票给企业。通过税收园区自然人代开发票，可以0.6%核定个人所得税，1%的增值税，总税率仅为1.66%，100万只需交1.66万的税。每个人代开额度限制为2499万，代开额度高，非常适合高额的发票代开。开票品目基本不限，服务类发票，材料发票，设备发票等等都可以开出。发票最快当天就能开出，出票后都会附有完税凭证，因此不用担心后期还会再补缴个税。
2：如果公司是因为采购，上游供货商不给开发票，那么公司可以选择在税收园区，注册一家个体户的采购中心，由个体户去向供货商进行采购，然后个体户再出售给公司，并给公司开具发票。
个体户注册在税收园区，可以享受核定征收，1.2%核定所得税，增值税为1%，附加税为0.06%，综合总税率仅为2.26%，100万开票只需交2.26万的税。另外个体户还可以开具1%的专票，受票方公司可以抵扣增值税，抵扣后实际纳税只有1.26%。不过个体户年开票有限制，因为享受核定征收的原因，个体户年开票不能超过500万，超过500万就会改为查账征收，个人经营所得税，就会按照5%—35%进行征收，因此个体户享受核定征收后，年开票一定不要超过500万。

https://dan-suciu.medium.com/web-scraping-in-node-js-top-7-best-tools-67f451fcfda3

python爬虫scrapy更新一直很频繁, 直到最近还在有更新, 可能因为如此, 所以很多网站都有针对性反爬措施.
上文推荐了7个基于node.js的爬虫. 下面按是否基于浏览器技术分类:

基于浏览器技术的爬虫

JSDom, 自实现的一个无头浏览器, 跟PhantomJs比较接近. 意图是纯JS实现Web标准. 5个月前更新.
Puppeteer, 谷歌开发的用于控制chrome的高级API
PlayWright, 据说是跟Puppeteer一个团队, 这个除了chrome外还可以控制firefox和safari, 目的是统一浏览器控制. 本意是浏览器自动化测试工具. 目前挂在微软名下, 到现在都还有更新. 也因为挂着微软,所以在vscode中有插件使用.
Nightmare, 基于ELectron, 可模拟用户操作. 本来是用来对无API网站跨站点自动化访问用的, 现在多用于自动化测试和爬虫. 三年前更新

基于HTTP Request的爬虫

Axios, 其实就是http request的优化, 当然也很好用
CheerIO, 用来做选择器, 语法和Jquery类似.
X-ray. 这是一个实际意义的爬虫, 和其他不同, 这个开发来就是做爬虫的. 但是好几年都不更新了.
Osmosis. 也是爬虫, 感觉和x-ray类似. 同样好几年不更新了.

在线爬虫服务

webscrapingapi, 本质是收费运营的, 但还是有一些免费的api.

对比

基于浏览器的爬虫和基于http request的爬虫区别在于, 前者会运行js, 做css渲染, 后者不会. 因此前者比较慢, 但接近或达到人工浏览, 能更好应对反爬, 后者速度快, 但可能应对反爬困难.