YaCy (Кто нибудь пользуется?)

Здесь можно поговорить о чём угодно и сколько угодно.

Модератор: Модераторы разделов

Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

YaCy

Сообщение devilr »

subj
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

А как им пользоваться то? Там нет ничего.
Может если свой индекс создавать?
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

Почему нет? Просто локальная база обновляется не мгновенно. Может надо просто подождать?
Как по мне, так против всяких *надзоров и блокировки какого-то сайта поисковиками - в самый раз. Хотя с релевантностью там да, проблема так полностью и не решена.
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

Может я им просто пользоваться не умею? У меня при поиске linux
1-10 из 470 ; (105 local, 4,258,427 remote), 365 из 48 удалённых узлов YaCy.

При этом поиск по нескольким фразам чаще всего даёт 0 результатов. Очень много повторов, то есть один домен несколько раз в топ 10.
У Вас это не так?
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

По тому же запросу прямо сейчас:
0-10 из 9 618 ; (9 618 local, 0 remote), 0 из 0 удалённых узлов YaCy.
P.S. Вообще, синхронизация в этом поисковике очень важна. У меня он, обычно, включен почти всю рабочую сессию.
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

У меня он, обычно, включен почти всю рабочую сессию.

что надо делать?
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

Просто запустить. :)
Там есть скрипт запуска startYACY.sh. Либо батник startYACY.bat (последнее не проверял, ввиду отсутствия винды).
Стартует на localhost:8090 (у меня)
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

Точно, теперь по linux у меня 762 ссылки.
Выдача -- ужас.
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

Возможно, что ваша локальная база слишком маленькая.
Впрочем - каждому свое! :)
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

Возможно, что ваша локальная база слишком маленькая.

Стоит сутки запущенный.
Я, конечно, иногда буду проверять поиск в yacy ради интереса хотя бы. Раньше я его запускал, пробовал поискать, выключал. Не думал, что надо включенным держать.
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

Ну, так если это "децентрализованная поисковая система, построенная по принципу одноранговой сети (P2P)" - то понятно, что база будет наполняться постоянно и медленно. Кстати, одним из недостатком такого способа является размер базы - можно насобирать на терабайты.
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

фигасе... И сколько у вас уже "локальная копия инета" занимает?
Спасибо сказали:
Аватара пользователя
chitatel
Сообщения: 2063

Re: YaCy

Сообщение chitatel »

Основной программный модуль, написанный на Java,
:suicide2:
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

azsx писал(а):
14.12.2017 13:02
фигасе... И сколько у вас уже "локальная копия инета" занимает?

Пока около гигабайта. На старой машине было около десяти. Но, как я уже говорил: каждому свое! :)

chitatel писал(а):
14.12.2017 13:14
Основной программный модуль, написанный на Java,
suicide2.gif

Ну так можно переписать, кому не нравится. Заодно и прибив гвоздями к своей любимой системе. :)
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

Вы случайно не знаете, есть ли работающий yacy открытый для мира? Ну чтобы я не локально базу качал, а где то на чужом сервере она была.
http://search.yacy.net/ у меня почему то не работает, пишет на "linux"
The search service is not available right now. Please try again.
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

А разве может быть у децентрализованной поисковой системы центр? Тем более, что ее основная задача - избавиться от доброго дяди майора, который может запросто выкинуть любой сайт из поисковой выдачи.
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

Мне же не нужен центр. Надо, чтобы кто то запустил на своём сервере года два назад и открыл для мира поиск.
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

Ну так открывайте, если надо. Можно, для начала, просто открыть свой порт (8090) наружу.
А халява - она у гугля. :)
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

Так как google в РФ планируют забанить за то, что они бумажку о подключении к ФГИС не подписали, я снова запустил свой yacy. Вывел его наружу, посадил на домен.
Вопросы.
1. Можно ли его как то защитить от хакеров?
2. Можно ли как то убрать всякую левую информацию, типа донэйт, логотип, чтобы на мой домен ссылался, а не их (логотип можно оставить прежним).
зы
вот что это?
If you run a YaCy server, feel free to replace our donation plea with your own support message, use the Portal Configuration servlet.
3. Можно ли вывести своё меню и размещать свою информацию (хтмл, php)?
4. Какие настройки посоветуете сделать и изменить?
зы
и может кто знает ответ про пароль yacy как настроить пароль админа?
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: YaCy

Сообщение Bizdelnick »

azsx писал(а):
13.12.2018 15:10
google в РФ планируют забанить
Чё, серьёзно?
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

YaCy - это "свободно распространяемая децентрализованная поисковая система, построенная по принципу одноранговой сети". Сама по себе подобная система ничего не ищет (в отличии от того же гугла). Пользователи сами в нее (у себя локально) добавляют адрес какого-либо хоста, после сканирования которого данные сохраняются в локально БД, а затем, остальные участники сети их синхронизируют между собой.
Соответственно, в этой сети есть и политика и прочие запрещённые вещи.
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

devilr писал(а):
13.12.2018 15:55
Соответственно, в этой сети есть и политика и прочие запрещённые вещи (типа ЦП).
Я же не собираюсь всякую фигню искать. Так, чисто на чёрный день :)
зы
мне очень нравится в yacy отсутствие ИИ. То есть он ищет дословно то, что я набираю. Не додумывает синонимов и не думает, что я пьян и на самом деле хочу смотреть совсем другое.
Но минус есть -- нифига в нём нет.
Bizdelnick писал:
13.12.2018 15:50
Чё, серьёзно?
Да. В google
фгис google
Спасибо сказали:
Аватара пользователя
devilr
Сообщения: 3665
ОС: Mandriva => Gentoo (~amd64)
Контактная информация:

Re: YaCy

Сообщение devilr »

azsx
На чёрный день можно просто взять отдельную машину, запустить на ней YaCy и запнуть под стол. Без всякого "Вывел его наружу, посадил на домен." При круглосуточной работе оно и так соберёт большую БД.
Мудрость приходит с возрастом.
Иногда возраст приходит один.
Эхо разума
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

devilr писал(а):
13.12.2018 16:13
"Вывел его наружу, посадил на домен.
А как мне тогда из мира на своём поиске искать? На флешке его носить?
зы
чо то я поломал. Из мира зашёл по ссылке "Portal Configuration servlet." наменял настроек теперь такой ссылки нет про донэйт. А логотип так и ссылается не туда :(
По /Status.html открывается совсем не то.
зызы
наполовину разобрался, пока работает.
Спасибо сказали:
Аватара пользователя
serzh-z
Бывший модератор
Сообщения: 8259
Статус: Маньяк
ОС: Arch, Fedora, Ubuntu
Контактная информация:

Re: YaCy

Сообщение serzh-z »

azsx писал(а):
13.12.2018 16:24
А как мне тогда из мира на своём поиске искать?
Зачем вам из мира искать на чем-то кроме Sputnik и Yandex?
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

Следующие слова являются стоп-словами и были исключены из поиска: [как].
А как сделать, что "как" не исключалась?
Например
как сделать мороженое
Зачем вам из мира искать на чем-то кроме Sputnik и Yandex?
Забыли, ещё mail наш :)
Спасибо сказали:
Аватара пользователя
/dev/random
Администратор
Сообщения: 5282
ОС: Gentoo

Re: YaCy

Сообщение /dev/random »

azsx писал(а):
13.12.2018 16:45
А как сделать, что "как" не исключалась?
Например
как сделать мороженое
YaCy не пользовался, отвечаю исходя из теоретических принципов полнотекстового поиска.

Даже если это и возможно (в чём я сомневаюсь), я не думаю, что это хорошая идея. Полнотекстовый поиск осуществляется по токенам. Запрос разбивается на токены, для каждого из них из базы загружается список страниц, в которых этот токен содержится, а потом выбираются страницы, содержащиеся во всех списках. Если же какое-то слово содержится почти везде, то хранить список страниц с ним - безумие. Тут есть 2 варианта: либо исключить его из поиска совсем (судя по всему, именно этот вариант используется в YaCy), либо временно исключить его из поиска, получить список страниц для остальных слов, загрузить содержимое этих страниц из кеша, посмотреть, в каких из них оно содержится, и скрыть остальные. Если в YaCy нет кеша страниц, то в нём этого сделать нельзя (а если бы был, то эта возможность, скорее всего, была бы включена по умолчанию). Если вы сумеете убрать "как" из списка стоп-слов, то он просто будет выдавать пустые результаты для запросов, содержащих это слово, т.к. ему неоткуда будет загрузить список содержащих его страниц.
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

Мне более привычно поиск по неделимым пассажам.
Ну ладно, посмотрю, может и так нормально.
зы
запрос
"сделать мороженое"
я ожидаю найти только те страницы, где данное словосочетание встречается как есть. А мне показыватся все страницы, где в мешке слов есть эти слова подряд, даже если они точкой отделены.
Тоже плохо :(
Спасибо сказали:
azsx
Сообщения: 3684
ОС: calculate linux, debian, ubuntu

Re: YaCy

Сообщение azsx »

------------------------
Пытаюсь разобраться в поисковике (который нифига не ищет). Добавил туда десяток полезных урл, поставил вложенность 99, поставил возможность уходить на другие домены -- запустил индексацию.
В параметре написано:
---
Остановить индексаторы при достижении 100000 MiB свободного места.
---
Вот эта цифра, что значит?
Спасибо сказали:
Аватара пользователя
Bizdelnick
Модератор
Сообщения: 20752
Статус: nulla salus bello
ОС: Debian GNU/Linux

Re: YaCy

Сообщение Bizdelnick »

azsx писал(а):
14.12.2018 19:25
В параметре написано:
---
Остановить индексаторы при достижении 100000 MiB свободного места.
---
Вот эта цифра, что значит?
А по-английски это как выглядит?
Пишите правильно:
в консоли
вку́пе (с чем-либо)
в общем
вообще
в течение (часа)
новичок
нюанс
по умолчанию
приемлемо
проблема
пробовать
трафик
Спасибо сказали:
Ответить