DEDIBOX-NEWS.COM

Je suis presque a 500 000 pages indexées, plus j'en indexe, plus le moteur est lent. (7 Go de données)

La seule astuce d'optimisation que j'ai pu trouver c'est de garder uniquement les indexes des mots clés pour les pages les plus pertinentes. Par exemple si je cherche "toto", je ne vais afficher qu'une seule page de chaque site contenant le terme "toto" (la page la plus pertinente), si le mot "toto" existe dans d'autres pages non pertinentes du meme site je les supprime de mon index de recherche (id_mot, id_url, ....)

Si quelqu'un a une astuce a donner, je suis preneur

Tu peut donner un lien vers ton moteur de recherche j'aimerai bien, le voir

Enfin, j'avais l'impression de parler tout seul

J'ai pas finit avec les ameliorations, j'ai meme reussi a soumettre le moteur dans Dmoz.org, il a été inclut dans moins de 24h, super non ? avec tous les sites qui reproduisent l'annuaire Dmoz je risque de voir mon pagerank monter en fleche

Le seul probleme que je rencontre en ce moment c'est que pas mal de texte est ecrit en caracteres non reconnus du genre &#xxxx; et la table de traduction des caracteres de ce type ne reconnait que les 256 premier caracteres (get_html_translation_table), malheureusement pour le reste je ne peu pas faire grand chose a apart trouver tous les caracteres et créer ma probre table...

Une petite traduction approximative

http://translate.google.com/translate?h … 26pwst%3D1

Merci pour les infos, je sais pas comment ils font pour inventer des programmes qui indexent 10 Mo de données par seconde...

Faut te faire embaucher !

JalaL a écrit:

Un moteur de recherche arabe (que je ne vais pas citer) vient d'etre lancé a Dubai.

Le projet leur a couté plusieurs millions de dollars, et fonctionne avec une structure de plusieurs centaines de serveurs... selon eux.

Je n'ai aucune chance de m'imposer, ils ont des sous (des centaines de serveurs, campagnes publicitaires) mais je vais essayer quand meme

quel est ce moteur de recherche ?

Ca finit pas avec les optimisations...

Je viens d'avoir l'idée de faire deux indexes de recherche avec la meme structure; un pour les mots latins + chiffres, et un autre pour les mots arabes seulement.

Ma table "mots" contiendra toujours tous les mots qui existent qu'ils soient en arabe ou en latin.

Les mots arabes sont 2 fois plus frequents que les mots latins, donc comparé à la rapidité de cherche actuelle je vais gagner :
33% de rapidité en cas de recherce avec des mots arabes seulement (ce qui est le cas le plus probable).
66% dans les autres cas (mots latins ou chiffres).

En cas de recherche avec des mots arabes+latins+chiffres en meme temps, il doit y avoir un moyen pour gerer ca dans la requette sql.

Un "union" à la volée va pas ?

Calimero a écrit:

Un "union" à la volée va pas ?

J'ai pas testé, mais ca peux etre interessant si c'est plus rapide

J'ai commencé a faire de la recherche d'images, et c'est pas encore gagné. Je vais appliquer le meme principe pour le reste des fichiers (video, audio...)... le principe est "simple" exrtaire le texte dans les champs alt et title des liens ou images avec le texte entre <a></a>, extraire le texte autour du lien qui mene vers la ressource et le tour est joué. Je ne sais pas si c'est aussi simple que ca (d'où les "..."). Par contre ca necessite enormement de ressources CPU.

Il faudra prevoir un truc pour la correction d'orthographe, synonymes... et surtout un bon index de recherche. Par exemple faire une table index pour chaque lettre de l'alphabet arabe et latin, plus l'index est petit, plus la recherche sera rapide.

JalaL a écrit:

Calimero a écrit:

Un "union" à la volée va pas ?

J'ai pas testé, mais ca peux etre interessant si c'est plus rapide

Je connais pas trop MERGE, donc je sais pas trop comment ca perform. C'était plutôt une suggestion en passant. :+

Par contre, j'en déduis que tu n'utilises pas/plus les fonctions FULLTEXT, vu que c'est pas supporté en MERGE, apparemment.

@ Jalal : ton projet m'intéresse, si tu as du temps et que tu passes par la, écris moi !

je te laisse un email antispamming :     b7f5cvpfkixw1q1@jetable.org

@++

JalaL a écrit:

FULLTEXT devient trop lent a partir d'une certaine quantité de données, en plus ca ne m'aide pas dans le calcul de pertinence. J'ai créé une table d'index inversé avec plusieures options pour chaque mot. Je prend en compte l'existance du mot dans le titre, l'host, le chemin... et pour eviter le spam par mots clés dans le titre/host/path (ce qui augmente la pertinence) je n'indexe que les mots qui existent dans le corps de l'html, ex: si un mot existe dans le titre/host/path mais pas dans le body => je ne l'indexe pas pour eviter le spam. Je ne sais pas si peux avoir une telle liberté avec FULLTEXT

C'est a dire t'en est ou avec ta quantité de donnée parce que le fulltext peut supporter d'énorme table de plusieurs centaines de mega sans probleme, au dessus il faut compilé mysql pour qu'il accepte +. J'ai eu le meme probleme et tu peux monter à 1 go par table sans probleme ( théoriquement jusqua 2go mais bon faut y aller pour avoir des tables de 2go ), apres jai pas tester sur dedibox, p-e que le HD va pas assez vite.