SCRAPPING con Python extrayendo Unicode para Criptografia!!! [Mini Curso Python] by sethroot

spanish · @sethroot · Sep 28 '17

$8.29

SCRAPPING con Python extrayendo Unicode para Criptografia!!! [Mini Curso Python]

<html>
<p>Hoy vamos a extraer una tabla de Internet que contiene: Valor de un String o el UTF-8, sus equivalentes en Binario, Octal, Decimal, Hexadecimal y una breve descripción.</p>
<p>La tabla la saque de aqui: https://www.sciencebuddies.org/science-fair-projects/references/table-of-8-bit-ascii-character-codes</p>
<p>Lo interesante de todo sera usar el Scrapping de python con BeutifullSoup para extraer una estructura de Lista, luego esta lista puede traer errores así que la filtramos a listas de Python, y luego la pasamos a un diccionario para tener una llave y un valor de esta manera por ejemplo:</p>
<blockquote>dictionary_unicode = {"A": ['065', '101', '041', '0100 0001']}</blockquote>
<p>Donde al llamar a:</p>
<blockquote><code>dictionary_unicode['A'][0]</code> dará como resultado <code>065</code> que no es mas que la parte decimal de "A" si queremos la parte binaria seria asi <code>dictionary_unicode['A'][3]</code></blockquote>
<p>Aquí tenemos el primer código iré comentándolo que vamos haciendo entre códigos incluso puede q repita la clase por que como STEEMIT no tiene una buena forma de hacer series es mejor repetirlas, refrescar mejorar y agregar..</p>
<pre><code># -*- coding: utf-8 -*-</code></pre>
<pre><code>import urllib2</code></pre>
<pre><code>from bs4 import BeautifulSoup</code></pre>
<pre><code>import re</code></pre>
<pre><code>from prettytable import PrettyTable</code></pre>
<pre><code>import os, subprocess</code></pre>
<pre><code>url_unicode = "https://www.sciencebuddies.org/science-fair-projects/references/table-of-8-bit-ascii-character-codes"</code></pre>
<pre><code>page = urllib2.urlopen(url_unicode)</code></pre>
<pre><code>soup = BeautifulSoup(page, "lxml")</code></pre>
<pre><code>name_box = soup.find('div', attrs={'class': 'content-table page-break-avoid'})&nbsp;</code></pre>
<pre><code>name_boxaaa = soup.find('table') &nbsp;</code></pre>
<pre><code>table_headers = name_boxaaa.find_all('tr')</code></pre>
<p><br></p>
<p>A ver vamos a entender un poco el código, en esta primera entrada llegaremos a mandar la lista a un archivo esto para que cuando ya tengamos la lista no tengamos que descargarla de nuevo :D</p>
<pre><code>import urllib2</code></pre>
<p>Esta librería es para importar urls completas o mejor dicho lo que tienen dentro de esa url.</p>
<pre><code>from bs4 import BeautifulSoup</code></pre>
<p>importamos BeautifulSoup desde la librería bs4 para manejar mejor la Sopa del Html que necesitamos extraer o XML.</p>
<pre><code>import re</code></pre>
<p>re es Expresiones regulare como dicen los Pro es un mundo aparte de programación, que todo programador ya sea de Java, Python o &nbsp;los que sea debería conocer.</p>
<pre><code>import os, subprocess</code></pre>
<p>Estas son librerías que solo funcionaran en Sistemas Linux según entiendo nunca las he usado en Windows...</p>
<p>Ahora se viene lo bueno:</p>
<pre><code>url_unicode = "https://www.sciencebuddies.org/science-fair-projects/references/table-of-8-bit-ascii-character-codes"</code></pre>
<pre><code>page = urllib2.urlopen(url_unicode)</code></pre>
<p>aqui abrimos la url con urllib2, hacemos un request por decirlo mejor.</p>
<pre><code>soup = BeautifulSoup(page, "lxml")</code></pre>
<p>Ya luego la pasamos a un formato mas legible por si algun programador no hizo su trabajo y lo ponemos en XML o una estructura mas amigable, si quiere saber de que hablo coloque un <code>print page </code>Antes de soup.</p>
<p>Ahora necesitamos extraer la tabla que necesitamos lo hacemos asi:</p>
<pre><code>name_box = soup.find('div', attrs={'class': 'content-table page-break-avoid'})&nbsp;</code></pre>
<p>La clase &nbsp;<code>content-table page-break-avoid </code>es la que contiene la tabla que necesitamos recuerden que podríamos tener muchas tablas y div es donde se encuentra esa clase.</p>
<pre><code>name_boxaaa = soup.find('table') &nbsp;</code></pre>
<p>Luego ya tenemos todo mas compacto, te invito a meter un <code>print name_box</code> antes de &nbsp;<code>name_boxaaa </code>en la linea anterior buscamos con find la etiqueta table.</p>
<pre><code>table_headers = name_boxaaa.find_all('tr')</code></pre>
<p>Ahora buscamos las etiqueta ""tr"" y aprovechamos BeautifullSoup y usamos el find_all propio de las expresiones regulares para crear una lista de cada "tr", esta lista necesitamos enviarla a un archivo para no tener que descargarla siempre.</p>
<p><br></p>
<p>Ahora mismo la tenemos en una lista todos los "tr" pero necesitamos leerla mucho y no &nbsp;deberíamos tener que conectarnos a Internet siempre.</p>
<p>lo hacemos así:</p>
<pre><code>crear_LISTA_unicode = subprocess.call("touch lista_en.txt", shell=True)</code></pre>
<p>Aqui usamos <code>subprocess.call</code> para ejecutar comandos de Linux desde Python.</p>
<pre><code>f=open("lista_en.txt","w")</code></pre>
<p>Abrimos el Archivo anteriormente creado.</p>
<pre><code>f.write(lista_unicode)</code></pre>
<p>escribimos la lista que hemos descargado "lista_unicode"</p>
<pre><code>f.close()</code></pre>
<p>Y cerramos si queremos ver la lista simplemente colocamos un <code>print lista_unicode </code>al terminar.</p>
<p><br></p>
<p>En la Próxima sesión estaremos viendo como leer la lista desde el Archivo y pasarla a un Diccionario del tipo que comente al principio, nos vemos hasta la próxima.</p>
<p><br></p>
<p><br></p>
</html>

👍 planter, cervantes, lafona-miner, wackou, heiditravels, pgarcgo, pharesim, gargon, bue, tincho, don.quijote, jgcastrillo19, titin, wartrapa, jocra, sethroot, ivan-perez-anies, nenio, dresden, nelyp, betamusic, aniestudio, moisesmcardona, oscarps, mdcomes, aneblueberry, dulcinea, carlos-cabeza, loreennaa, criptorafa, jackelinlopez, alfredozofio, teo, tanyaxhren, sosiyapettr, mitplahov, starovoy, allatsova, livochkin, muliya, boguzhina, zhene, lyudamaychi, fakj94, alexvvolko, stash, ivanlyub, cookie1225, vtchernof, koshkinnao, peskovviktt, truanev, dinamit, gesterfoz, zinnkazim, nuxut, xesys, cinyf, jduarte, pilgigin, elfictron, lari, kilianmiguel, samaraj, and 84 others

`author`	sethroot
`permlink`	scrapping-con-python-extrayendo-unicode-para-criptografia-mini-curso-python
`category`	spanish
`json_metadata`	{"tags":["spanish","python","programming","linux","cryptography"],"links":["https://www.sciencebuddies.org/science-fair-projects/references/table-of-8-bit-ascii-character-codes"],"app":"steemit/0.1","format":"html"}
`created`	2017-09-28 21:22:18
`last_update`	2017-09-28 21:22:18
`depth`	0
`children`	4
`last_payout`	2017-10-05 21:22:18
`cashout_time`	1969-12-31 23:59:59
`total_payout_value`	6.391 HBD
`curator_payout_value`	1.898 HBD
`pending_payout_value`	0.000 HBD
`promoted`	0.000 HBD
`body_length`	5,338
`author_reputation`	15,716,888,530,282
`root_title`	"SCRAPPING con Python extrayendo Unicode para Criptografia!!! [Mini Curso Python]"
`beneficiaries`	`[]`
`max_accepted_payout`	1,000,000.000 HBD
`percent_hbd`	0
`post_id`	16,218,506
`net_rshares`	2,981,067,454,358
`author_curate_reward`	""

properties (23)vote details (148)

voter	rshares	pct
wackou	314,351,628,776	3.6%
pharesim	103,146,602,990	0.23%
lafona-miner	336,683,357,916	4.5%
boy	347,550,375	100%
bue-witness	423,778,990	100%
bunny	70,966,788	100%
bue	95,492,948,748	100%
mini	185,759,907	100%
healthcare	79,116,643	100%
daniel.pan	109,518,837	100%
ivan-perez-anies	9,294,641,417	9%
carlos-cabeza	1,689,445,413	9%
heiditravels	117,789,169,168	9%
luisucv34	517,886,490	9%
coliraver	303,974,156	9%
craigslist	60,225,846	100%
gargon	100,156,097,864	9%
pgarcgo	110,279,690,759	9%
wartrapa	16,626,888,650	9%
moisesmcardona	4,831,263,518	9%
albagargon	546,463,738	9%
titin	17,763,114,905	9%
betamusic	7,001,829,756	9%
jgcastrillo19	26,315,723,997	9%
nelyp	7,009,347,452	9%
sivila	106,020,672	100%
kebarshale	108,116,211	100%
teo	1,162,165,445	9%
moonrayakim	107,636,507	100%
natree	85,342,537	100%
dresden	8,287,348,425	9%
alfredozofio	1,215,243,145	9%
dulcinea	1,769,748,973	9%
mdcomes	3,129,169,839	9%
cervantes	383,976,694,488	9%
aneblueberry	2,660,803,553	9%
sethroot	9,305,470,553	100%
aniestudio	6,742,354,410	9%
loreennaa	1,648,137,824	9%
mendezand	237,507,674	10%
jduarte	950,481,646	20%
francis228	283,733,939	9%
don.quijote	34,877,079,012	90%
ibiza	87,526,337	9%
teacher	87,739,359	9%
tincho	88,380,806,595	9%
oscarps	3,525,988,218	15%
fidel-castro	241,708,511	9%
kaask	531,922,822	100%
giovis	60,476,041	20%
jocra	11,381,075,984	15%
zhanm	472,570,328	100%
ropaga	226,982,277	9%
kulagin	491,038,293	100%
pofigistka	498,142,497	100%
barboss	518,335,476	100%
tonem	517,934,972	100%
lovu	437,529,839	100%
sexa	432,339,799	100%
planter	1,082,081,640,111	35%
mikimaus	476,782,958	100%
ana2410	56,632,662	20%
ienrikex	165,073,250	0.9%
kilofasr	467,785,347	100%
nicolaslundy	527,765,286	100%
elfictron	855,166,767	10%
fakj94	1,158,042,102	9%
nenio	8,868,374,327	33%
jackelinlopez	1,346,236,562	10%
mpandrew	549,559,194	9%
kilianmiguel	741,820,340	9%
jkj	321,565,106	9%
odic3o1	640,650,592	100%
jmromero	128,520,856	9%
introspectiva	222,067,495	9%
magoia	375,784,995	9%
spanishchef	368,679,146	9%
soymanu	334,538,485	9%
pagejustin	625,759,894	100%
freecreative	145,590,138	9%
ficciones	182,967,860	9%
fabianacarolina	53,045,219	20%
magia	333,649,165	9%
yaniria1	195,316,287	9%
hermes1666	101,251,637	9%
caspell	626,917,954	15%
rubo	241,636,096	10%
eilin	81,112,246	9%
drmaizo	108,998,379	9%
tranceart	79,958,193	15%
lari	805,975,697	100%
ypervuxin	600,934,400	100%
noticias	333,621,113	9%
pilgigin	924,563,566	100%
esstachi	545,867,158	100%
ermachins	610,999,434	100%
savit	620,716,261	100%
dpereboev	619,520,000	100%
kazakov	613,324,800	100%
bogomolov	619,520,000	100%
tikho	558,125,190	100%
makler	614,018,969	100%
opracksech	619,520,000	100%
florov	613,324,800	100%
foredovliga	602,775,766	100%
vseslavkogan	620,179,930	100%
lizainova	619,520,000	100%
katyr	620,427,393	100%
samaraj	678,253,474	100%
mayvil	219,529,102	27%
veastasya	622,735,945	100%
lechibys	534,226,634	100%
hegaby	110,343,467	10%
trailhispano	72,301,440	10%
supercarlos1994	187,878,155	10%
dinocreative	84,782,098	9%
cinyf	951,727,276	100%
zinnkazim	1,086,279,488	100%
cookie1225	1,143,224,307	100%
vtchernof	1,143,224,286	100%
nuxut	1,015,554,489	100%
ibaf04	87,775,756	5%
tanyaxhren	1,160,632,950	100%
alexvvolko	1,149,026,353	100%
criptorafa	1,604,576,322	10%
sosiyapettr	1,160,630,776	100%
mitplahov	1,160,627,505	100%
koshkinnao	1,143,216,105	100%
starovoy	1,160,623,076	100%
orez	50,766,216	80%
critic-on	58,620,344	10%
stash	1,149,016,496	100%
allatsova	1,160,622,517	100%
livochkin	1,160,622,399	100%
jacobper	109,348,774	10%
xesys	957,512,187	100%
peskovviktt	1,143,211,413	100%
muliya	1,160,617,521	100%
dinamit	1,137,403,603	100%
truanev	1,143,206,106	100%
boguzhina	1,160,608,345	100%
erfiguera	72,458,669	20%
zhene	1,160,605,418	100%
lyudamaychi	1,160,604,706	100%
ivanlyub	1,148,998,541	100%
gesterfoz	1,114,176,656	100%
preguntame	55,975,371	5%
truffier	237,921,646	100%