<div dir="ltr"><div>hello,</div><div><br></div><a href="https://gist.github.com/ryr/6a2d8997057a70be7eb3">https://gist.github.com/ryr/6a2d8997057a70be7eb3</a><br><div>it's my working site crawler.</div><div>it consumes 20gb+ of memory</div>
<div><br></div><div>how to optimize the cache usage?</div></div>