DEDIBOX-NEWS.COM

JalaL a écrit:

Bonjour à tous.

Je souhaite créer un "vrai" moteur de recherche avec son propre crawler, le crawler c'est le programme qui va indexer toutes les pages appartenant aux sites indexés, et se charge aussi de mettre a jour le contenu des pages déja indexées. Je ne vais pas concurrencer Google, donc je mise sur la langue Arabe où j'aurai plus de chance de trouver des adeptes de mon moteur de recherche

Pour l'instant tout fonctionne bien, j'ai pris en compte la possibilité d'utiliser des operateurs logiques (and/or/not). Et aussi l'utilisation de + et - si on veut que les mots recherchés existent ou pas dans les resultant (+ = and, - = not, rien = or). Reste a faire, un systeme de cache des resultats de recherche du meme jour (semaine ou mois) pour accelerer l'affichage des resultats avec les memes mots clés. Je suppose que meme google "cache" les resultats de recherche puisque ca donne toujours le meme resultat avec les memes mots clés.

Je mise beaucoup sur l'utilisation de mon moteur de recherche par les webmasters qui m'aideront beaucoup a le faire connaitre, donc je voudrais ajouter des fonctionnalités des moteurs de recherche modernes du genre
- link:www.site.com ou lien:www.site.com qui permet de trouver tous les sites qui contiennent un lien vers www.site.com
- site:www.site.com mot clé qui permet de chercher des mot clés dans www.site.com

Les probleme qui se posent :
- Comment savoir que les techniques link:www.site.com et site:www.site.com mot clé sont (ou ne sont pas) brevetées ? faut-il avoir une autorisation pour les utiliser ?
- Où puis-je trouver une liste de mots clés a bannir (sites pour adultes, pedophiles et compagnie...)

J'apprecie toute aide.

Salut,

Est-ce que tu veu tout développer toi meme ou t'appuyer sur quelque chose d'existant ? il y a l'excellent projet nutch qui me semble une très bonne base pour un moteur de recherche ( de la fondation mozilla ) en java qui a un crawler très performant ? Si tu as des questions sur les tehnologies à utiliser, n'hésite pas ( jai fé un master sur ce sujet )

@+

JalaL a écrit:

Les probleme qui se posent :
- Comment savoir que les techniques link:www.site.com et site:www.site.com mot clé sont (ou ne sont pas) brevetées ? faut-il avoir une autorisation pour les utiliser ?

Matter sur le site de l'US Patent Office ?

C'est pas forcément la première question qui me serait venue à l'esprit. Surtout si tu envisages pas de fonder ton éventuelle société aux US (un éventuel brevet là dessus ne serait pas valable en Europe, dans la situation actuelle).

JalaL a écrit:

- Où puis-je trouver une liste de mots clés a bannir (sites pour adultes, pedophiles et compagnie...)

Ca me semble être une mauvaise solution. Tu risques de te retrouver à bloquer des sites légitimes (par exemple les associations de défense, ou les pages d'information de la police, articles de presse...).

J'utilise perl pour le crawler, et php pour le moteur (la consultation), j'avais commencé avec un algo en full text, donc je stoquais le contenu html de chaque page sans les balises html (pour economiser l'espace), le titre de la page egalement. et je faisais une recherche dans le texte uniquement avec comptage des mots clés trouvés...

Maintenant que je veux rendre mes resultats plus pertinents, je veux chercher dans l'url et le titre de la page egalement : un resultat qui contient le maximum de mots recherchés (mots uniques)
1. dans le titre de la page est plus pertinent
2. dans l'url est moins pertinent que 1
3. dans le corps de la page est moins pertinent que 1 et 2

Avec un systeme de notes pour chaque resultat trouvé selon le nombre de mots clés trouvé dans chaque niveau de pertinence me donnera une note finale pour chaque resultat. Je peux donc trier tous les resultats et afficher les plus pertinents en premier.

J'utilise donc une table qui repertorie tous les mots existants avec leurs identifiants. Et une autre table pour stocker les infos relatives a chaque mot dans chaque page indexée (id_mot, id_page, existe_dans_le_titre, existe_dans_l_url, existe_dans_l_html)

A prioris il n'y aura pas de probleme pour coder les fonctions qui cherchent, par contre ca va etre dur pour les fonctions qui crawlent.

Je vais essayer de mettre une page dans l'admin qui montre les sites les plus indexes (nombre de pages), les plus consultés, ca va me permetter de virer ceux qui n'ont rien a faire dans le moteur surtout s'il y en a un qui prend trop de place dans la base de données.

J'avais deja codé un annuaire avec arborescence infinie... qui crawle les titres et meta de la page, il n'a pas eu le success que je lui souhaitais...

Le crawler va tourner sur un serveur chez moi, et la base de données sera synchronisée tous les 2-3 jours. D'où l'interet du cache des resultats, quisqu'il ne changeront pas pour la meme requette avant la prochaine synchro.

L'idée d'un moteur de recherche est bien, mais j'ai eu une idée récement, ça serait de créer un plug-in firefox (et autres navigateurs) qui enregistrerait et scannerais les sites consultés par les utilisateurs, le tout rapporté automatiquement de temps en temps au moteur de recherche.

Non?

XaT

Non pas spyware, avec autorisations de la personne et possibilité de filtrage, etc. :-]
Si ça existe déjà

XaT ^^

JalaL a écrit:

Pour compresser :
INSERT INTO table (html, ...) VALUES (COMPRESS($html), ...)

Pour decompresser
SELECT UNCOMPRESS(html) FROM table WHERE ...

Je te coseille postgresql pour ce genre de requete, javais deja testé avec mysql les performances sont pas terribles sur une 10 ene de resultats par exemple, avc postgresql ca dechire tout. Sinon cest une bonne idée. Moi je suis en train de faire un script qui fait des screenshot des sites tout seul, mais cest pas évident, il faut installer l'interface graphique pour faire ca ou alors je vois pas comment.

Pour les "faux domaines", c'est une plaie. Il semblerait d'ailleurs que ce soit la majorité des domaines enregistrés. Et c'est d'autant plus volatile que certains profitent de la possibilité de se faire rembourser un domaine sous 5 jours pour "tester" des domaines et voir s'ils attirent du monde.

Sinon, le spamdexing c'est l'ensemble des techniques pour augmenter la visibilité d'un site: des div cachés dans la page, bourrés de mots clés. Des tonnes de fausses pages qui se linkent entre elles. Répétitions multiples de la même page sous différentes URL.... Bref, plein de techniques pour tromper les bots d'analyse.

Calimero a écrit:

Pour les "faux domaines", c'est une plaie. Il semblerait d'ailleurs que ce soit la majorité des domaines enregistrés. Et c'est d'autant plus volatile que certains profitent de la possibilité de se faire rembourser un domaine sous 5 jours pour "tester" des domaines et voir s'ils attirent du monde.

Sinon, le spamdexing c'est l'ensemble des techniques pour augmenter la visibilité d'un site: des div cachés dans la page, bourrés de mots clés. Des tonnes de fausses pages qui se linkent entre elles. Répétitions multiples de la même page sous différentes URL.... Bref, plein de techniques pour tromper les bots d'analyse.

Exactement les faux domaines que j'appelais sites de spam ce sont en fait des registrars ou des societes de referencment qui utilisent ses domaines inactifs pour faire du traffic ou augmenter leur pagerank artificiellement.  Pour contrer cela jai indentifier manuellement une blacklist mais ce n'est pas automatique. Voila un exemple de crawl : pour 30mn de crawl je récupère en moyenne entre 50000 et 100000 urls si les conditions sont bonnes apres passage de la blacklist des sites de spam et du controle parental ( les sites de cul represente beaucoup trop de sites ) jen retire environ 5000 de bonne vu que je prends que les racines de sites ca en fait au final 400 ou 500, toi cest pas le meme cas jalal mais tu vois environ la perte et j'essaye que Lookdir.net contienne des sites de qualité et sans liens morts.

Il faut penser a vos visteurs qui ont en marre de cliquer dans le vide et de faire des recherches infructueuses. Je test également une sorte base de connaissance de requetes effectuées qui me permettront prochainement de prendre filtrer encore + les sites pourris.

Et pis je dois amélioré aussi mes algo de full text qui ont quelques problemes sur les requetes qui comportent beaucoup de mots clés...cest du travail un bon moteur.
Mais franchement entre nous je déteste les moteurs qui utilisent l'API google pour en faire leur commerce, vive les moteurs libres cela diversifie internet

Dernière modification par copyme (2006-07-28 19:30:29)

Calimero a écrit:

Ca permettra de réduire, c'est sûr. Mais faut pas croire, y a pas qu'une seule boite avec un seul serveur. Puis méfiance quand même, on peut imaginer d'avoir de tels "faux sites" sur des hébergements mutualisés, qui partagent donc leur IP avec des sites légitimes...

un exemple concret cest les sites genre 99-hotel-en-france.com 98-hotel-en-france.com 97-hotel-en-france.com ceux la sont terribles

Apres les premieres heures de pompage, j'ai trouvé que 99.99% des serveurs qui hebergent 1 seul faux site sont dediés aux faux sites.

Il a fallut que je crée une page qui liste tous les domaines hebergés par serveur.

Certains sites utilisent plusieurs domaines pour pointer sur le meme contenu (www.site.com/.net/.org/...), j'en garde un seul seulement pour ne pas pomper le meme contenu plusieures fois.

Certains sites utilisent des sessions pour garder une trace du visiteur, j'ai trouvé le moyen de m'en debarasser parce que le crawler peut pomper la meme page si l'identifiant de session a changé.

JalaL a écrit:

Je viens de decouvrir un gros bug, ma fonction qui enleve les tags html etait mal codée... certes elle enleve les tags html mais elle ne met rien a la place

... du coup si mon texte se trouve dans <td>texte1</td><td>text2</td> cela donne texte1texte2 ce qui n'a absolument aucune valeur dans l'index de recherche, et la page concernée ne sera pas affichée dans le resultat si je cherche texte1 par exemple...

Je me disais bien pourquoi mon truc colle les mots... il fallait bien y reflechir et mettre un espace a la place du tag enlevé...

est ce que tas deja une url à nous donner pour qu'on voit un petit résultat ?